К содержимому

Логи и проверка готовности ​

Проверяйте отдельно API, коннектор и выполнение задач.

ПроверкаАдрес в быстром стартеЧто означает
API healthhttp://localhost:9100/healthПроцесс отвечает
API readyhttp://localhost:9100/readyAPI готов принимать запросы
Метрики HTTP-запросовhttp://localhost:9100/metricsЛокальный счётчик запросов API
Метрики аккаунтовhttp://localhost:9100/metrics/serviceПоследние сохранённые квоты и доступные сбросы
Mattermost readyhttp://localhost:8081/readyzСостояние последней сверки коннектора
Mattermost metricshttp://localhost:8081/metricsМетрики обработки, ошибок и задержек

У worker нет HTTP healthcheck. Проверяйте процесс, его логи и продвижение задач.

sh
docker compose logs --since=10m api worker mattermost
curl -fsS http://localhost:9100/ready
curl -fsS http://localhost:8081/readyz

Сохраняйте session_id и run_id при разборе проблемы. Сопоставляйте их с карточкой в веб-интерфейсе и логами сервиса.

Метрики коннектора включают активные задачи, ошибки, переподключения, задержку обработки и возраст ожидающих результатов. Настройте оповещения на устойчивые ошибки и рост задержки, а не на единичный сетевой разрыв.

Успешная проверка процесса не подтверждает доступ к модели. Для этого периодически выполняйте контролируемую тестовую задачу, учитывая расход внешних сервисов.

Квоты и доступные сбросы ​

Для аккаунтов с аккаунтной авторизацией можно отслеживать остаток квоты и число доступных сбросов лимита. Эти данные доступны через API лимитов и сервисные метрики.

Поле reset_credits_available содержит число доступных сбросов для всего аккаунта: 0 означает, что их нет, null — что число неизвестно. Сбросы не относятся к отдельному окну квоты и не являются денежным балансом. Orpheus показывает их число и не расходует их.

Данные обновляются примерно раз в минуту, пока есть активная Codex-сессия аккаунта. Чтение API или метрик не обновляет наблюдение и не запускает песочницу. Снимок становится stale через пять минут без обновлений, при неустранённой ошибке чтения или после указанного времени сброса окна. Последние проценты и число сбросов сохраняются — их нельзя считать заново подтверждёнными. Состояния лимитов помогают отличить свежие данные от устаревших и неизвестных.

Метрики HTTP-запросов ​

GET /metrics на системном порту отдаёт orpheus_http_requests_total{method, route, status}. Счётчик учитывает завершённые публичные HTTP-запросы, включая ошибки авторизации и валидации. Маршруты представлены шаблонами без ID сессий. SSE учитывается при завершении обработчика. Проверки здоровья и сбор метрик не учитываются.

Собирайте этот счётчик с каждого API pod. Балансируемый адрес нельзя опрашивать как один счётчик. После перезапуска значение обнуляется, поэтому сначала применяйте rate(), затем суммируйте:

promql
sum by (method, route, status) (rate(orpheus_http_requests_total[5m]))

Ограничьте запрос метками job/cluster/namespace своей установки. Метод читает память процесса и доступен без PostgreSQL. Авторизация не требуется, поэтому системный порт должен оставаться в доверенной сети.

Сервисные метрики ​

GET /metrics/service отдаёт Prometheus text или OpenMetrics на системном порту, по умолчанию 9100. Авторизация не требуется, поэтому оставьте порт доступным только в доверенной сети. Публичный API-порт метрики не отдаёт.

sh
curl -fsS http://localhost:9100/metrics/service

Все показатели — gauge. Они описывают аккаунты всей установки. При нескольких репликах API собирайте метрики один раз через внутренний Service, а не отдельно с каждого pod. В Kubernetes используйте ClusterIP и путь /metrics/service, без публикации через Ingress или HTTPRoute.

МетрикаLabelsЗначение
orpheus_account_limit_remaining_percentaccount_id, limit_id, windowПоследний известный остаток квоты в процентах
orpheus_account_limit_stateaccount_id, stateТекущее состояние равно 1, остальные три — 0
orpheus_account_limit_observed_timestamp_secondsaccount_idUnix-время последнего успешного наблюдения
orpheus_account_limit_reset_timestamp_secondsaccount_id, limit_id, windowUnix-время следующего автоматического сброса окна
orpheus_account_reset_credits_availableaccount_idПоследнее известное число доступных сбросов

window принимает primary или secondary, state — fresh, stale, unknown, unavailable. account_id объединяет профили одного аккаунта. Длительность окна задаёт провайдер, её нельзя определять по имени primary или secondary.

Неизвестные числа и даты не создают серий, подтверждённый ноль передаётся как 0. Устаревшие значения остаются вместе с состоянием stale и временем наблюдения. Удалённые аккаунты и окна исчезают при следующем успешном сборе. Установка только с API-ключами возвращает пустой набор метрик аккаунтов.

Если данные недоступны или чтение не укладывается в три секунды, endpoint возвращает HTTP 503. Контролируйте такие сбои обычным алертом по up. Успешный scrape подтверждает доступность метрик, но не свежесть квот провайдера.

Алерт на низкую квоту ​

Пример срабатывает, когда остаток любого окна не превышает 7% в течение двух минут и снимок аккаунта остаётся свежим. Замените job="orpheus-service" в обеих частях выражения на selector вашей установки.

yaml
alert: OrpheusAccountQuotaLow
expr: |
  (
    orpheus_account_limit_remaining_percent{job="orpheus-service"} <= 7
  )
  and on (account_id)
  (
    orpheus_account_limit_state{job="orpheus-service", state="fresh"} == 1
  )
for: 2m
labels:
  severity: warning

Если один job собирает несколько установок, ограничьте обе части выражения labels нужного кластера и namespace или добавьте идентичность установки в on (...).

Наличие доступных сбросов не подавляет алерт. Исчезновение алерта при переходе в stale не подтверждает восстановление квоты. Отсутствие активных сессий само по себе не является аварией. Правило и доставку уведомлений настраивает команда мониторинга.

Диагностика