Doğruluk Kaymasının Ötesinde Canlı Model İzleme (Monitoring)

Önemli çıkarımlar

• Doğruluk (accuracy) kayması en son tetiklenir; o zamana kadar müşteri sorunu çoktan fark etmiştir.
• Girdi dağılımı kayması en erken uyarıyı verir; bazen doğruluk düşüşünden haftalar önce sinyal üretir.
• Tahmin dağılımı kayması, girdiler normal görünse bile modelin davranış değiştirdiği durumları yakalar.
• Özellik tazeliği (freshness), bayat bir özellik canlı sunum penceresini bozana kadar görünmezdir.

On sekiz aydır canlıda dolandırıcılık tespit modeli çalıştıran bir ekibin gösterge paneli doğruluğu %94’te sabit gösteriyordu. Ancak tek bir çeyrek içinde yanlış pozitif oranı ikiye katlandı ve müşteri şikayetleri patladı. İncelediğimizde, yeni devreye alınan bir ödeme kuruluşunun farklı bir işlem dağılımı gönderdiğini ve girdi dağılımının üç aydır kaydığını gördük. Gerçek etiketler müşteri itiraz süreci nedeniyle 6 ila 10 hafta geriden geldiği için, doğruluk paneli her zaman sorun başlamadan önceki geçmişi gösteriyordu.

Doğruluk (accuracy) en görünür sinyaldir ancak her zaman en son ateşlenir. Regresyonu müşteri vakasına dönüşmeden yakalamak için beş öncül sinyali kuruyoruz:

1. Özellik Tazeliği (Feature Freshness): En ucuz ve en utanç verici hataları yakalayan sinyaldir. Saatlik güncellenmesi gereken bir özellik 18 saattir güncellenmediyse boru hattı kırılmıştır; model bayat veriyle tahmin üretmeden önce alarm verir.
2. Girdi Dağılımı Kayması (Input Drift): En önemli 10 özellik için haftalık Popülasyon Kararlılık İndeksi (PSI) hesaplanır. PSI > 0.1 anlamlı değişimi, PSI > 0.2 ise incelenmesi gereken ciddi kaymayı haftalar öncesinden haber verir.
3. Tahmin Dağılımı Kayması (Prediction Drift): Model çıktılarının kayan histogramını referans dağılımla karşılaştırır; yüksek boyutlu girdilerde modelin belirli bir sınıfa yığılmasını günler içinde yakalar.
4. İş Metriği Korelasyonu: Modelin tahminleri ile etkilemesi beklenen iş sonucu (dönüşüm oranı, iade oranı) arasındaki korelasyon koparsa model işlevini yitirmiştir.
5. Etiket Varış Gecikmesi (Label Latency): Doğruluk grafiğinin yanına etiketlerin kaç gün geriden geldiğini basar; ekibin ne kadar eski bir veriye baktığını bilmesini sağlar.

Uyarı Hiyerarşisi ve Haftalık İnceleme Ritüeli

Her kayma sinyali nöbetçi mühendisi gece uyandırmamalıdır. SLA altı doğruluk, iş metriği çöküşü ve sert özellik bayatlaması kritik alarm üretir; PSI > 0.2 ve tahmin dağılımı kayması yalnızca görev bileti açar. Otomatik alarmların kaçırdığı kademeli kaymaları yakalamanın en etkili yolu ise ML ekibinin her hafta 30 dakika toplanarak tüm canlı modellerin panellerini birlikte incelemesidir.

Sıkça sorulanlar

Sıkça sorulan sorular

Başlamak için en basit kayma (drift) metriği hangisidir?

En önemli ilk 10 özellik üzerinde hesaplanan Popülasyon Kararlılık İndeksi (PSI). Hesaplaması ucuzdur, yorumlaması sezgiseldir (PSI > 0.2 anlamlı bir kaymayı gösterir) ve önemli dağılım değişimlerinin çoğunu yakalar.

Etiketleri geç gelen bir modeli nasıl izlerim?

Gerçek etiketten daha hızlı ulaşan vekil (proxy) metrikler kullanın. Satın alma için tıklama oranı, kredi temerrüdü için ilk taksit ödeme sinyali iyi birer vekildir. Vekili günlük, gerçek etiketi haftalık veya aylık izleyin.

İzleme sistemi nöbetçiyi uyandırmalı mı yoksa sadece panelde mi görünmeli?

İkisi de. Dağılım kaymaları uyarı bileti açmalı (nöbetçiyi uyandırmamalı), SLA altındaki doğruluk çöküşleri ve bayat özellikler ise doğrudan nöbetçiyi uyandırmalıdır. Her PSI artışında alarm çalan ekip kısa sürede tükenir.