Performance & SLA

Latency, availability, capacity, monitoring и support model AI Gate.

Gateway first-response overheadp95 ≤ 100 msпредлагаемая enterprise SLA-модель за календарный месяц
Gateway availability≥ 99.9%контролируемый API gateway
Synthetic test3,000 RPSдо 180,000 RPM; concurrency до 150,000
Token test1B TPMsynthetic test собственного gateway
Availability check60 secпредлагаемый external synthetic monitoring cadence
P1 first response≤ 1 hour24×7 support model
SLA значения отражают предлагаемую договорно-техническую enterprise модель; подписанный договор имеет приоритет.

gateway_overhead_ms

Дополнительная задержка собственного gateway до первого ответа. Для streaming используется TTFT, для non-streaming — TTFB. Внешняя сеть, upstream queue/inference и payload transfer в эту метрику не входят.

Observability

Request history включает duration_ms, upstream_first_token_ms, e2e_first_token_ms и gateway_overhead_ms; агрегированная статистика — p50/p95/p99.

Availability methodology

Предлагаемая модель: внешний synthetic monitoring /health/ready каждые 60 секунд, timeout 5 секунд. Downtime фиксируется после двух последовательных failed checks. Client network и external upstream failures не включаются, если собственный gateway работоспособен.