Araştırma Ekibi Olmadan LLM Değerlendirmesi (Eval) Kurmak
- Her PR'da çalışan 30 vakalık bir eval paketi, kimsenin çalıştırmadığı 300 vakalık paketten çok daha fazlasını yakalar.
- Üç doğrulama tipi çoğu ihtiyacı karşılar: tam eşleşme, yapısal şema eşleşmesi ve rubrik puanlı eşleşme.
- Eval kapısı birleştirmeyi (merge) bloklamalıdır. Sadece Slack bildirimi gönderen bir eval kapı değil, bildirimdir.
- Yaşanan her canlı vaka için pakete bir regresyon testi ekleyin; paket ekibin kurumsal hafızasına dönüşür.
Canlı ortamdaki yapay zeka sistemlerinde en çok işe yarayan iki mekanizma, aynı zamanda mühendislik ekiplerinin en uzun süre ertelediği iki mekanizmadır: istem kayıt defteri ve değerlendirme kapısı (eval gate). Bir eval kapısı, LLM’in çıktı üretme biçiminde herhangi bir değişiklik olduğunda çalışan, yeni çıktıyı kayıtlı referansla karşılaştıran ve başarı oranı eşiğin altına düşerse kodu birleştirmeyi (merge) engelleyen otomatik bir test adımıdır.
Çoğu Senaryoyu Kapsayan Üç Doğrulama Tipi
Sağlıklı bir eval paketinde hedef dağılım %60 tam eşleşme, %30 yapısal eşleşme ve %10 rubrik puanlamadır:
- Tam veya tama yakın eşleşme (Exact match): Modelin girdiden tarih, kategori, evet/hayır kararı veya isim listesi çıkardığı istemlerde kullanılır. Mikrosaniyeler sürer ve çok güvenilirdir.
- Yapısal eşleşme (Structural match): Çıktının geçerli bir JSON/XML şemasına uymasını, zorunlu alanların bulunmasını ve uzunluk/tip sınırlarını sağlamasını denetler. Canlı istemlerin yaklaşık %40’ını tek başına korur.
- Rubrik puanlı eşleşme (Rubric-graded): Açık uçlu özetleri veya çok adımlı yanıtları yazılı bir rubriğe göre başka bir modelle puanlar. Maliyetli ve gürültülü olduğu için yalnızca ilk iki yöntemin yetmediği %10-30’luk dilimde kullanılmalıdır.
Bir Mühendis-Haftada Çalışan Kapı ve Altın Kural
Minimum uygulanabilir eval kapısı dört parçadan oluşur: gerçek canlı trafikten çekilip elle etiketlenmiş 30 vakalık bir cases.yaml dosyası, istemi modele gönderip doğrulamaları koşan 100 satırlık bir eval/run.py betiği, istem kayıt defterindeki passing_threshold: 0.92 alanı ve prompts/ dizinine dokunan her PR’da bu betiği çalıştıran CI adımı.
2025 ve 2026’da incelediğimiz 12 canlı AI vakasının %42’si testsiz istem düzenlemesinden, %25’i model yükseltme kaymasından ve %8’i sağlayıcı tarafındaki sessiz model değişiminden kaynaklanıyordu; yani vakaların %75’i bu basit kapıyla PR aşamasında veya gece koşusunda yakalanabilirdi. En önemli kuralımız şudur: canlıda yaşanan her hata için eval paketine yeni bir regresyon vakası ekleyin. Bir yılın sonunda bu dosya, üç model geçişini ve iki ekip değişimini hasarsız atlatan en değerli kurumsal hafızanız olacaktır.
Sıkça sorulan sorular
Barındırılan (hosted) bir eval ürünü satın almamız gerekiyor mu?
Hayır. İlk yüz test vakası için bir YAML dosyası ve küçük bir Python veya TypeScript koşucusu yeterlidir. Braintrust, Langsmith veya Promptfoo gibi araçlar ekipler arası ortak paneller gerektiğinde değer kazanır; kapıyı kurmak için ön koşul değildir.
Açık uçlu model çıktılarını nasıl puanlarız?
En ucuzdan pahalıya üç yöntem vardır: anahtar kelime varlığı, yapısal doğrulama (JSON şeması, uzunluk sınırları) ve başka bir LLM ile rubrik puanlama. İlgilendiğiniz regresyonu yakalayan en ucuz doğrulamayı seçin; LLM hakemliğini yalnızca diğer ikisinin yetmediği durumlara saklayın.
Eval paketi ne sıklıkla çalışmalı?
Bir isteme dokunan her PR'da, her model yükseltmesinde ve ana dal üzerinde her gece (nightly). Gece koşuları, sabitlenmiş bir model sürümünde sağlayıcı tarafında yapılan sessiz değişiklikleri yakalamak için kritiktir.