Эксплуатация Space
Процессы и проверки
Образ Space запускается командами serve, worker и migrate up. API можно масштабировать независимо. Worker должен быть один. Если выполнение уже закреплено за другим worker, новый процесс ждёт освобождения блокировки и не отправляет задания. В Kubernetes используйте для worker одну реплику и стратегию Recreate.
API и worker имеют отдельные системные HTTP-порты, по умолчанию 9100:
| Проверка | Назначение |
|---|---|
/health | Процесс отвечает |
/ready | Готовность процесса и БД с применёнными миграциями. Worker также должен получить блокировку выполнения |
Во время ожидания worker отвечает 200 на /health и 503 на /ready. Он один раз пишет reason=lock_busy, а после получения блокировки — reason=lock_acquired. Если ожидание затянулось, проверьте, работает ли прежний worker. Сохраняйте одну реплику. При завершении процесса из-за ошибки БД его должен перезапустить супервизор.
Пробы доступны во внутренней сети. Не публикуйте системный порт вместе с пользовательским API. Готовность сама по себе не подтверждает доступность Orpheus или провайдера модели.
Выполняйте команды из каталога примера Space. При локальном подключении сохраните COMPOSE_FILE в .env:
docker compose ps
docker compose logs --tail=100 api worker migrate
curl -fsS http://localhost:9110/readyДанные и обновление
Резервируйте БД Space отдельно от БД Orpheus. В Space находятся задания, история срабатываний и сессии браузера. Сообщения и полные результаты хранятся в Orpheus. Сохраняйте также конфигурацию, SAML-пару и API-ключи в принятом у вас хранилище секретов.
Для обновления примера остановите worker, измените версии образов в .env, выполните миграции и запустите процессы:
docker compose stop worker
docker compose --profile execution pull
docker compose run --rm migrate
docker compose up -d api web workerПеред обновлением сделайте резервную копию. После него проверьте readiness, вход и ближайшее срабатывание. После простоя исполняется только последнее актуальное срабатывание. Поведение заданий.
Диагностика
При ошибке запуска или завершении процесса смотрите поля phase, reason и error_type в логах. Ошибки БД могут также содержать sqlstate. Эти поля помогают определить этап сбоя без раскрытия строк подключения и учётных данных.
Смотрите отдельно state отправки и run_status выполнения в Orpheus.
| Состояние отправки | Значение |
|---|---|
pending | Срабатывание ожидает отправки |
dispatching | Запрос отправляется или его исход уточняется |
accepted | Orpheus принял запуск. Итог смотрите в run_status |
skipped | Срабатывание пропущено |
failed | Отправка завершилась ошибкой |
cancelled | Ожидавшая отправки работа отменена |
В карточке observed_at показывает, когда Space последний раз получил состояние Orpheus. sync_error_code обозначает ошибку последующей синхронизации. Прежний статус при этом сохраняется. run_error_code относится к выполнению агента, а error_code — к отправке срабатывания.
| Симптом | Действие |
|---|---|
dispatching с core_unavailable | Проверьте адрес и сетевую доступность Orpheus из Space. Worker может оставаться healthy |
| Нет новых срабатываний | Проверьте статус задания, часовой пояс, worker, его readiness и связь с Orpheus |
run_not_found / session_not_found | Проверьте адрес Orpheus и восстановите доступ к исходному запуску. Отсутствие записи не доказывает завершение, поэтому новые запуски блокируются |
Результат отвечает 503 | Проверьте адрес и ключ Orpheus на Space API. История при этом остаётся доступной |
403 при сохранении | Сверьте browser origin с публичным URL и прохождение CSRF-заголовка через прокси |
422 при сохранении сервисов | Кода нет в каталоге ядра. Выберите доступный сервис или обновите каталог |
Отправка failed, код unknown_service | Выбранный сервис удалён до отправки. Исправьте выбор или восстановите запись каталога |
| Запуск принят, затем завершился ошибкой из-за ENV | Передайте значение переменной worker Orpheus и проверьте ошибку запуска |
error_code=session_unavailable или run_error_code=sandbox_lost | Продолжение окружения невозможно. Нажмите Сбросить контекст в карточке, когда нет активного срабатывания. Для длинных интервалов проверьте срок хранения |
Запустить сейчас или сброс контекста отвечает 409 schedule_busy | Проверьте незавершённое срабатывание, в том числе неизвестный исход отправки. Дождитесь завершения или восстановления синхронизации |
Ручная команда остаётся в pending | Проверьте readiness worker Space. Принятие команды не означает, что Orpheus уже получил её |
Пауза отменяет ожидающие срабатывания cron, но сохраняет ожидающие ручные команды. Удаление отменяет оба вида. Для подготовленных запросов и принятой работы сохраняются правила уточнения исхода. Пауза и ожидающие команды.
Если запись запуска потеряна
Проверьте, что Space подключён к исходному Orpheus, а не другой инсталляции. Восстановите запись из резервной копии вместе с данными Orpheus. После успешного чтения конечного статуса Space продолжит планирование.
Если восстановить данные невозможно, проверьте состояние отправки:
accepted: Orpheus уже принял запуск, Space повторно его не отправит. Убедитесь, что прежняя работа не выполняется и не сможет возобновиться. Затем удалите задание и создайте новое. История старого задания сохранится. Space может продолжать попытки чтения потерянного запуска, но они не блокируют новое задание.dispatching: исход отправки неизвестен. Удаление задания не прекращает попытки отправки. Сначала восстановите связь с исходным Orpheus и выясните исход запроса. До этого не создавайте замену, чтобы не запустить работу дважды.
Получение результата не перезаписывает сохранённую историю. Поля и коды ошибок.