İstem Önbellekleme: Nerede Kazandırır, Nerede Boşa Gider?

Önemli çıkarımlar

• Önbelleğe alınmış girdi tokenları 2026 itibarıyla çoğu sağlayıcıda normal fiyatın %10'u ila %50'si kadardır.
• Önbellek isabeti (cache hit) için istem önekinin bayt düzeyinde birebir aynı olması gerekir; önekteki tek bir zaman damgası bile önbelleği kırar.
• Sistem istemi ve araç listesi çağrılar arasında sabitse RAG ve asistan iş yükleri doğal önbellek adaylarıdır.
• Önbellek yaşam süresi (TTL) kısadır (tipik olarak 5 dakika); yoğun trafik kazanır, seyrek trafik önbelleği kaçırır.

Denetlediğimiz bir ekip on dört aydır canlıda müşteri destek asistanı çalıştırıyor ve yalnızca girdi tokenlarına ayda 8.000 dolar ödüyordu. Her çağrıda 4.200 tokenlık sistem istemi, 1.800 tokenlık araç listesi ve 600-2.000 tokenlık kullanıcı bağlamı sıfırdan işleniyordu. İki saatlik bir çalışmayla istem sırasını düzenleyip önbellek kontrol işaretleyicilerini (cache_control) ekledik. Ertesi gün aylık girdi maliyeti projeksiyonu 8.000 dolardan 1.400 dolara düştü; iki mühendis-saati çalışma ayda 6.500 dolar net tasarruf sağladı.

İndirimi Kazandıran Yapı ve Önbelleği Sessizce Kıran Hatalar

Önbellek anahtarı, kesme noktasına (cache breakpoint) kadar olan istem önekidir ve bayt düzeyinde aynı olmalıdır. Doğru sıralama şöyledir: en başta sabit sistem istemi, altında sabit sıralı araç listesi, ardından önbellek kesme noktası ve en sonda her çağrıda değişen kullanıcı mesajı ile RAG belgeleri.

Denetimlerde önbellek isabet oranını sıfıra indiren beş klasik hata yakalıyoruz:

1. Sistem isteminde zaman damgası: En başa Bugünün tarihi: {current_date} yazmak her saniye veya gün öneki değiştirir; tarihi kullanıcı mesajının sonuna taşıyın.
2. Önekte kullanıcıya özel bilgi: Sistem istemine {user_name} koymak önbelleğin kullanıcılar arasında paylaşılmasını engeller.
3. Dinamik araç listesi sıralaması: Araçları “son kullanılan” sırasına göre dizmek her çağrıda farklı önek üretir; araçları her zaman alfabetik sıralayın.
4. Düzensiz boşluklar (Whitespace): Bazen satır sonu ekleyen biçimlendiriciler isabet oranını yarıya indirir.
5. Düşük trafikte TTL aşımı: 5 dakikalık TTL penceresinde ayda sadece 200 kez çağrılan istemler veya girdi kısa olup çıktısı çok uzun olan iş yükleri önbelleklemeden anlamlı kazanç sağlamaz. Yoğun trafikli destek asistanları, sabit derlemli RAG sistemleri ve kodlama asistanları ise girdi maliyetinde %60 ila %85 tasarruf üretir.

Sıkça sorulanlar

Sıkça sorulan sorular

Tüm model sağlayıcıları istem önbelleklemeyi destekliyor mu?

Anthropic, OpenAI, Google Vertex ve AWS Bedrock dahil tüm büyük sağlayıcılar önbellek duyarlı fiyatlandırma sunar. Mekanikler (açık işaretleyici veya otomatik önek eşleştirme) değişse de temel prensip aynıdır.

Önbellekleme modelin ürettiği yanıtı değiştirir mi?

Hayır. Önbellekleme sağlayıcının aynı önek üzerindeki dikkat (attention) hesaplamasını tekrar yapmasını önleyen sunucu taraflı bir optimizasyondur. Çıktı, önbelleksiz çağrıyla birebir aynıdır.

Önbelleği neler geçersiz kılar (invalidate)?

Önbelleğe alınan önekteki tek bir karakter değişikliği, araç listesi sıralamasının değişmesi, sistem istemi düzenlemeleri, model sürümü yükseltmeleri ve son çağrıdan bu yana TTL süresinin (genellikle 5 dakika) dolması.