Models & Routing
Model catalog, dynamic routing, state affinity и caching behavior.
Model catalog
GET /v1/models возвращает ID, display name, context length и capabilities, включая streaming, vision и tools, если поддерживаются.
Model onboarding
Для новых OpenAI/Anthropic models operational target подключения — до 24 часов после production API availability при технической возможности. Для off-catalog model: feasibility review до 48 часов; при подтверждении — target до 7 календарных дней. Это operational targets, не финансовый SLA.
Dynamic routing
Для независимых запросов upstream выбирается динамически.
State affinity
Для связанных запросов сохраняется upstream affinity. Если continuation требует исходный upstream, но affinity неизвестна, возвращается HTTP 409 state_affinity_unknown.
Caching
Caching используется там, где поддерживается model/upstream. Cross-client prompt-content cache не используется; sticky affinity сохраняет cache locality.