RAG Ne Zaman Gerçekten İşe Yarar, Ne Zaman Kötü Aramayı Gizler?

Veri Platformu rag, bilgi-erisimi

RAG her bilgi problemine çözüm gibi görünür. Gerçekte RAG'a mı, ince ayara (fine-tuning) mı yoksa daha temiz bir arama indeksine mi ihtiyacınız olduğunun testi.

  • Yazar: Orzed Team
  • 1 dk okuma
Önemli çıkarımlar
  • RAG bir akıl yürütme veya eylem çözümü değil, bir bilgi erişim (retrieval) çözümüdür.
  • Erişim duyarlılığınız (recall@5) %70'in altındaysa, LLM değer üretmiyor; kötü çalışan bir arama indeksini gizliyordur.
  • Ölçülebilir bir RAG sistemi üç ayrı eval yüzeyine ihtiyaç duyar: erişim kalitesi, üretim kalitesi ve uçtan uca yanıt kalitesi.
  • Yanıtlar sabitse, derlem yavaş değişiyorsa ve sorgu hacmi yüksekse ince ayar (fine-tuning) RAG'dan daha ucuz ve tutarlıdır.

Dokuz aydır canlıda çalışan bir müşteri destek RAG sistemini denetlememiz istendi. Ekip Pinecone, OpenAI gömmeleri, hibrit arama ve GPT-4 ile özenli bir yapı kurmuştu ancak müşteri memnuniyeti düşüyordu. Etiketli bir soru seti üzerinde erişim duyarlılığını (recall@5) ölçtüğümüzde oranın %41 olduğunu gördük. Vakaların yarısından fazlasında doğru bilgi modele hiç ulaşmıyor, LLM ise yarım yamalak bağlamdan ikna edici görünen yanlış yanıtlar üretiyordu.

RAG bir sihir değil, önüne bir LLM yapıştırılmış arama motorudur. Refleks olarak RAG kurmadan önce şu dört soruluk testi uyguluyoruz:

Dört Soruluk Mimari Testi ve Üç Ölçüm Yüzeyi

  1. Sorunun cevabı gerçekten erişilebilir bir metin derleminde mi? Cevap birçok kaynaktan sentez veya hesaplama gerektiriyorsa bu bir erişim değil akıl yürütme problemidir; “X müşterisine iade oluştur” gibi bir talep ise RAG değil araç kullanımı (tool use) problemidir.
  2. Derlem ne sıklıkla değişiyor? Veri günlük/haftalık değişiyorsa RAG doğrudur. Ancak ürün dokümantasyonu aylarca sabit kalıyor ve aynı yüz soru milyonlarca kez soruluyorsa ince ayar (fine-tuning) veya hibrit yapı hem daha ucuz hem daha hızlıdır.
  3. Erişim kalitesini üretimden bağımsız ölçebiliyor muyuz?
  4. Sorgu başı birim ekonomi nedir?

RAG doğru mimari olduğunda sistemi iyileştirebilmek için üç katmanı birbirinden bağımsız ölçmek şarttır: Erişim kalitesi (etiketli sorularda recall@5 > 0.85), Üretim kalitesi (elle verilmiş altın bağlamda doğru yanıt oranı > 0.92) ve Uçtan uca yanıt kalitesi (> 0.80). Ekipler genellikle vektör veritabanı değiştirmeye veya gömme modeli yükseltmeye haftalar harcar; oysa gerçek sıçrama sorgu yeniden yazma (query rewriting), çapraz kodlayıcıyla yeniden sıralama (reranking) ve etiketli bir test seti oluşturmaktan gelir.

Sıkça sorulanlar

Sıkça sorulan sorular

RAG her zaman ince ayardan (fine-tuning) daha ucuz mudur?

Sorgu başına hayır. Her RAG çağrısı vektör araması ve geniş bağlam penceresi tokenları için ödeme yapar. Aylık 50.000 ila 200.000 sorgunun üzerinde ve yavaş değişen veri setlerinde ince ayar yapılmış küçük bir model birim maliyette kazanır.

Kabul edilebilir erişim (recall) eşiği nedir?

Etiketli soru setinde recall@5 için %80 üzeri kullanılabilir, %85-90 üzeri iyidir. %70'in altında model eksik bağlamdan uydurma ama ikna edici görünen yanıtlar üretir.

Hibrit arama ne zaman sadece yoğun vektör aramasından daha iyidir?

Sohbet dışı derlemlerin neredeyse tamamında. Yoğun vektörler ürün kodlarını ve özel isimleri kaçırır; BM25 + yoğun vektör birleşimi küçük bir gecikme karşılığında ciddi bir recall artışı sağlar.