К содержимому

Эксплуатация Space ​

Процессы и проверки ​

Образ Space запускается командами serve, worker и migrate up. API можно масштабировать независимо. Worker должен быть один. Если выполнение уже закреплено за другим worker, новый процесс ждёт освобождения блокировки и не отправляет задания. В Kubernetes используйте для worker одну реплику и стратегию Recreate.

API и worker имеют отдельные системные HTTP-порты, по умолчанию 9100:

ПроверкаНазначение
/healthПроцесс отвечает
/readyГотовность процесса и БД с применёнными миграциями. Worker также должен получить блокировку выполнения

Во время ожидания worker отвечает 200 на /health и 503 на /ready. Он один раз пишет reason=lock_busy, а после получения блокировки — reason=lock_acquired. Если ожидание затянулось, проверьте, работает ли прежний worker. Сохраняйте одну реплику. При завершении процесса из-за ошибки БД его должен перезапустить супервизор.

Пробы доступны во внутренней сети. Не публикуйте системный порт вместе с пользовательским API. Готовность сама по себе не подтверждает доступность Orpheus или провайдера модели.

Выполняйте команды из каталога примера Space. При локальном подключении сохраните COMPOSE_FILE в .env:

sh
docker compose ps
docker compose logs --tail=100 api worker migrate
curl -fsS http://localhost:9110/ready

Данные и обновление ​

Резервируйте БД Space отдельно от БД Orpheus. В Space находятся задания, история срабатываний и сессии браузера. Сообщения и полные результаты хранятся в Orpheus. Сохраняйте также конфигурацию, SAML-пару и API-ключи в принятом у вас хранилище секретов.

Для обновления примера остановите worker, измените версии образов в .env, выполните миграции и запустите процессы:

sh
docker compose stop worker
docker compose --profile execution pull
docker compose run --rm migrate
docker compose up -d api web worker

Перед обновлением сделайте резервную копию. После него проверьте readiness, вход и ближайшее срабатывание. После простоя исполняется только последнее актуальное срабатывание. Поведение заданий.

Диагностика ​

При ошибке запуска или завершении процесса смотрите поля phase, reason и error_type в логах. Ошибки БД могут также содержать sqlstate. Эти поля помогают определить этап сбоя без раскрытия строк подключения и учётных данных.

Смотрите отдельно state отправки и run_status выполнения в Orpheus.

Состояние отправкиЗначение
pendingСрабатывание ожидает отправки
dispatchingЗапрос отправляется или его исход уточняется
acceptedOrpheus принял запуск. Итог смотрите в run_status
skippedСрабатывание пропущено
failedОтправка завершилась ошибкой
cancelledОжидавшая отправки работа отменена

В карточке observed_at показывает, когда Space последний раз получил состояние Orpheus. sync_error_code обозначает ошибку последующей синхронизации. Прежний статус при этом сохраняется. run_error_code относится к выполнению агента, а error_code — к отправке срабатывания.

СимптомДействие
dispatching с core_unavailableПроверьте адрес и сетевую доступность Orpheus из Space. Worker может оставаться healthy
Нет новых срабатыванийПроверьте статус задания, часовой пояс, worker, его readiness и связь с Orpheus
run_not_found / session_not_foundПроверьте адрес Orpheus и восстановите доступ к исходному запуску. Отсутствие записи не доказывает завершение, поэтому новые запуски блокируются
Результат отвечает 503Проверьте адрес и ключ Orpheus на Space API. История при этом остаётся доступной
403 при сохраненииСверьте browser origin с публичным URL и прохождение CSRF-заголовка через прокси
422 при сохранении сервисовКода нет в каталоге ядра. Выберите доступный сервис или обновите каталог
Отправка failed, код unknown_serviceВыбранный сервис удалён до отправки. Исправьте выбор или восстановите запись каталога
Запуск принят, затем завершился ошибкой из-за ENVПередайте значение переменной worker Orpheus и проверьте ошибку запуска
error_code=session_unavailable или run_error_code=sandbox_lostПродолжение окружения невозможно. Нажмите Сбросить контекст в карточке, когда нет активного срабатывания. Для длинных интервалов проверьте срок хранения
Запустить сейчас или сброс контекста отвечает 409 schedule_busyПроверьте незавершённое срабатывание, в том числе неизвестный исход отправки. Дождитесь завершения или восстановления синхронизации
Ручная команда остаётся в pendingПроверьте readiness worker Space. Принятие команды не означает, что Orpheus уже получил её

Пауза отменяет ожидающие срабатывания cron, но сохраняет ожидающие ручные команды. Удаление отменяет оба вида. Для подготовленных запросов и принятой работы сохраняются правила уточнения исхода. Пауза и ожидающие команды.

Если запись запуска потеряна ​

Проверьте, что Space подключён к исходному Orpheus, а не другой инсталляции. Восстановите запись из резервной копии вместе с данными Orpheus. После успешного чтения конечного статуса Space продолжит планирование.

Если восстановить данные невозможно, проверьте состояние отправки:

  • accepted: Orpheus уже принял запуск, Space повторно его не отправит. Убедитесь, что прежняя работа не выполняется и не сможет возобновиться. Затем удалите задание и создайте новое. История старого задания сохранится. Space может продолжать попытки чтения потерянного запуска, но они не блокируют новое задание.
  • dispatching: исход отправки неизвестен. Удаление задания не прекращает попытки отправки. Сначала восстановите связь с исходным Orpheus и выясните исход запроса. До этого не создавайте замену, чтобы не запустить работу дважды.

Получение результата не перезаписывает сохранённую историю. Поля и коды ошибок.