Provider Partial Outage / Degraded Mode Troubleshooting

Provider outage her zaman %100 failure değildir. En zor olaylar, search çalışırken reprice/booking'in bozulduğu veya sadece belirli market/capability'nin degrade olduğu kısmi arızalardır.

Symptom

• latency p95/p99 yükselir,
• timeout oranı artar,
• bazı endpoint/market'ler çalışır bazıları çalışmaz,
• search sonuç verir ama booking fail olur,
• stale cache oranı yükselir.

Possible causes

• provider regional incident,
• rate limit/throttling,
• downstream dependency failure,
• capacity saturation,
• auth/token service problemi,
• specific product/capability outage.

Diagnosis

1. Error rate'i operation bazında ayırın.
2. Market/provider endpoint breakdown çıkarın.
3. p50/p95/p99 latency karşılaştırın.
4. Rate-limit ve auth errors'ı ayırın.
5. Synthetic smoke ile read/write operations test edin.
6. Provider status communication varsa correlate edin.

Recovery

• unhealthy capability'yi eligibility'den çıkarın,
• timeout budget küçültün,
• circuit breaker/bulkhead uygulayın,
• cached/partial search sonucu sunun,
• booking/reprice için fail-closed davranın,
• kullanıcıya unavailable/degraded state gösterin.

Prevention

• provider health score,
• operation-level circuit breaker,
• bounded concurrency,
• retry budget,
• capability-specific health,
• graceful degradation runbook.

Observability

• provider success rate,
• operation-level error rate,
• latency percentiles,
• circuit-open time,
• degraded-mode traffic share,
• partial-result rate,
• recovery time.