Логи и проверка готовности
Проверяйте отдельно API, коннектор и выполнение задач.
| Проверка | Адрес в быстром старте | Что означает |
|---|---|---|
| API health | http://localhost:9100/health | Процесс отвечает |
| API ready | http://localhost:9100/ready | API готов принимать запросы |
| Метрики HTTP-запросов | http://localhost:9100/metrics | Локальный счётчик запросов API |
| Метрики аккаунтов | http://localhost:9100/metrics/service | Последние сохранённые квоты и доступные сбросы |
| Mattermost ready | http://localhost:8081/readyz | Состояние последней сверки коннектора |
| Mattermost metrics | http://localhost:8081/metrics | Метрики обработки, ошибок и задержек |
У worker нет HTTP healthcheck. Проверяйте процесс, его логи и продвижение задач.
docker compose logs --since=10m api worker mattermost
curl -fsS http://localhost:9100/ready
curl -fsS http://localhost:8081/readyzСохраняйте session_id и run_id при разборе проблемы. Сопоставляйте их с карточкой в веб-интерфейсе и логами сервиса.
Метрики коннектора включают активные задачи, ошибки, переподключения, задержку обработки и возраст ожидающих результатов. Настройте оповещения на устойчивые ошибки и рост задержки, а не на единичный сетевой разрыв.
Успешная проверка процесса не подтверждает доступ к модели. Для этого периодически выполняйте контролируемую тестовую задачу, учитывая расход внешних сервисов.
Квоты и доступные сбросы
Для аккаунтов с аккаунтной авторизацией можно отслеживать остаток квоты и число доступных сбросов лимита. Эти данные доступны через API лимитов и сервисные метрики.
Поле reset_credits_available содержит число доступных сбросов для всего аккаунта: 0 означает, что их нет, null — что число неизвестно. Сбросы не относятся к отдельному окну квоты и не являются денежным балансом. Orpheus показывает их число и не расходует их.
Данные обновляются примерно раз в минуту, пока есть активная Codex-сессия аккаунта. Чтение API или метрик не обновляет наблюдение и не запускает песочницу. Снимок становится stale через пять минут без обновлений, при неустранённой ошибке чтения или после указанного времени сброса окна. Последние проценты и число сбросов сохраняются — их нельзя считать заново подтверждёнными. Состояния лимитов помогают отличить свежие данные от устаревших и неизвестных.
Метрики HTTP-запросов
GET /metrics на системном порту отдаёт orpheus_http_requests_total{method, route, status}. Счётчик учитывает завершённые публичные HTTP-запросы, включая ошибки авторизации и валидации. Маршруты представлены шаблонами без ID сессий. SSE учитывается при завершении обработчика. Проверки здоровья и сбор метрик не учитываются.
Собирайте этот счётчик с каждого API pod. Балансируемый адрес нельзя опрашивать как один счётчик. После перезапуска значение обнуляется, поэтому сначала применяйте rate(), затем суммируйте:
sum by (method, route, status) (rate(orpheus_http_requests_total[5m]))Ограничьте запрос метками job/cluster/namespace своей установки. Метод читает память процесса и доступен без PostgreSQL. Авторизация не требуется, поэтому системный порт должен оставаться в доверенной сети.
Сервисные метрики
GET /metrics/service отдаёт Prometheus text или OpenMetrics на системном порту, по умолчанию 9100. Авторизация не требуется, поэтому оставьте порт доступным только в доверенной сети. Публичный API-порт метрики не отдаёт.
curl -fsS http://localhost:9100/metrics/serviceВсе показатели — gauge. Они описывают аккаунты всей установки. При нескольких репликах API собирайте метрики один раз через внутренний Service, а не отдельно с каждого pod. В Kubernetes используйте ClusterIP и путь /metrics/service, без публикации через Ingress или HTTPRoute.
| Метрика | Labels | Значение |
|---|---|---|
orpheus_account_limit_remaining_percent | account_id, limit_id, window | Последний известный остаток квоты в процентах |
orpheus_account_limit_state | account_id, state | Текущее состояние равно 1, остальные три — 0 |
orpheus_account_limit_observed_timestamp_seconds | account_id | Unix-время последнего успешного наблюдения |
orpheus_account_limit_reset_timestamp_seconds | account_id, limit_id, window | Unix-время следующего автоматического сброса окна |
orpheus_account_reset_credits_available | account_id | Последнее известное число доступных сбросов |
window принимает primary или secondary, state — fresh, stale, unknown, unavailable. account_id объединяет профили одного аккаунта. Длительность окна задаёт провайдер, её нельзя определять по имени primary или secondary.
Неизвестные числа и даты не создают серий, подтверждённый ноль передаётся как 0. Устаревшие значения остаются вместе с состоянием stale и временем наблюдения. Удалённые аккаунты и окна исчезают при следующем успешном сборе. Установка только с API-ключами возвращает пустой набор метрик аккаунтов.
Если данные недоступны или чтение не укладывается в три секунды, endpoint возвращает HTTP 503. Контролируйте такие сбои обычным алертом по up. Успешный scrape подтверждает доступность метрик, но не свежесть квот провайдера.
Алерт на низкую квоту
Пример срабатывает, когда остаток любого окна не превышает 7% в течение двух минут и снимок аккаунта остаётся свежим. Замените job="orpheus-service" в обеих частях выражения на selector вашей установки.
alert: OrpheusAccountQuotaLow
expr: |
(
orpheus_account_limit_remaining_percent{job="orpheus-service"} <= 7
)
and on (account_id)
(
orpheus_account_limit_state{job="orpheus-service", state="fresh"} == 1
)
for: 2m
labels:
severity: warningЕсли один job собирает несколько установок, ограничьте обе части выражения labels нужного кластера и namespace или добавьте идентичность установки в on (...).
Наличие доступных сбросов не подавляет алерт. Исчезновение алерта при переходе в stale не подтверждает восстановление квоты. Отсутствие активных сессий само по себе не является аварией. Правило и доставку уведомлений настраивает команда мониторинга.