Supplier Timeout Incident Playbook

Supplier timeout incident'ında amaç her request'i kurtarmaya çalışmak değil, toplam search deneyimini korurken upstream bağımlılığı kontrollü biçimde izole etmektir.

Trigger / belirti

Provider p95/p99 latency yükselir, timeout rate threshold'u aşar, partial-result oranı artar veya worker thread/connection pool dolmaya başlar.

Amaç ve kapsam

Bu playbook search/read path içindir. Booking/create-order gibi non-idempotent write işlemlerinde retry politikası ayrıca tasarlanmalıdır.

Gerekli kanıt

• provider adı ve endpoint,
• timeout rate,
• p50/p95/p99 latency,
• concurrency,
• connection pool usage,
• request volume,
• HTTP/network error dağılımı,
• retry count,
• provider status/incident bilgisi.

Uygulama adımları

1. Blast radius belirle: tek endpoint mi, region mı, tüm provider mı?
2. Timeout budget doğrula: client timeout upstream SLA'dan anlamsız uzun mu?
3. Retry storm var mı kontrol et: timeout başına kaç ek request üretiliyor?
4. Concurrency sınırla: bulkhead/connection pool ile diğer supplier'ları koru.
5. Circuit breaker uygula: hata oranı belirli eşiği geçince kısa süre request kes.
6. Fallback seç: cached/indicative result, alternate provider veya partial response.
7. UI contract'ı koru: eksik provider yüzünden tüm search'ü fail etme.
8. Recovery probe: circuit half-open iken küçük kontrollü trafik gönder.

Retry kararı

Retry yalnız idempotent request'te ve remaining latency budget yeterliyse yapılmalıdır. Exponential backoff + jitter kullanın; aynı anda tüm instance'ların retry yapmasına izin vermeyin.

Stop condition

Timeout rate normal baseline'a dönmüş, circuit breaker kapalı state'e geçmiş ve queue/connection pool iyileşmiş olmalıdır.

Escalation

Provider birden fazla region/endpoint'te bozuksa, SLA breach sürüyorsa veya booking-critical path etkileniyorsa supplier operasyon ekibine incident evidence ile escalate edin.

Çözüldüğünü kanıtlayan metrikler

Provider success rate, p95 latency, partial-result rate, retry amplification, circuit-open duration ve search completion rate.

Önleme

Her supplier için ayrı timeout, concurrency, circuit-breaker ve fallback policy tanımlayın. Tek global timeout değeri kullanmayın.