Ne Zaman Ajan (Agent), Ne Zaman Boru Hattı (Pipeline) Kullanmalı?

Önemli çıkarımlar

• Çalışma zamanından önce adımları sırasıyla kağıda yazabiliyorsanız doğru mimari boru hattıdır (pipeline).
• Bir sonraki adım, bir önceki adımın döndürdüğü öngörülemez sonuca göre şekilleniyorsa doğru mimari ajandır.
• Maliyet oranı: bir ajan, eşdeğer bir boru hattından tipik olarak 4 ila 10 kat daha pahalıdır.
• Boru hattında hata ayıklamak standart mühendisliktir; ajanda hata ayıklamak ise pahalı bir yeniden oynatma ve hipotez sürecidir.

Birlikte çalıştığımız bir ekip, denetlediğimizde aslında altı adımlı sabit bir boru hattı (pipeline) olduğu ortaya çıkan bir iş için otonom bir ajan kurmuştu. Ajan istek başına 11 ila 28 saniye sürüyor, çağrı başına 2 sent yakıyor ve QA ekibinin sürekli kontrol etmek zorunda kaldığı tutarsız çıktılar üretiyordu. Aynı işi yapan boru hattını (sınıflandırma için bir LLM çağrısı, üç deterministik API çağrısı ve özet için bir LLM çağrısı) kurduğumuzda süre 3 saniyenin altına, maliyet 0.4 sente düştü ve tutarlılık sorunu tamamen bitti.

Ajan bir döngüdür: durumu inceler, bir sonraki adıma karar verir, aracı çağırır ve hedefe ulaşana kadar döner. Boru hattı ise adımları ve dallanmaları tasarım zamanında mühendis tarafından belirlenmiş sabit bir akıştır; içinde LLM adımları bulunması onu ajan yapmaz.

Dört Soruluk Karar Testi

Orkestrasyon döngüsünü yazmadan önce şu dört soruyu sırayla sorun:

1. Adımlar önceden sırasıyla listelenebilir mi? “Önce A yap, sonra B yap, sonuç X ise C’ye git” diyebiliyorsanız bu bir boru hattıdır.
2. Bir sonraki adım, önceden sayılamayacak ara sonuçlara mı bağlı? Örneğin “4421 numaralı siparişim için iade alabilir miyim?” sorusu 5 adımlı deterministik bir boru hattıdır (sipariş no ayrıştır, API’den çek, uygunluğu kontrol et, iadeyi yap, onay mesajı üret). Ancak “Bu siparişte bir sorun yaşadım, neyin yanlış gittiğini bulup düzeltir misin?” sorusu ödeme, kargo, stok veya entegrasyon hatası olabileceği için her adımda farklı teşhis aracı seçmeyi gerektiren gerçek bir ajan problemidir.
3. Girdi uzayı sınırlı mı?
4. Maliyet ve gecikme bütçesi 4 ila 10 katlık yükü kaldırabilir mi?

Denetlediğimiz canlı LLM özelliklerinin yaklaşık üçte ikisi aslında boru hattı şeklindedir. Gerçekten ajan gerektiren kalan üçte birlik dilimde ise ajanı başıboş bırakmak yerine tipli devir şemaları, katı döngü sayısı tavanı (max iterations), adım bazlı gözlemlenebilirlik ve durum değiştiren çıktılarda deterministik doğrulayıcılar kurmak zorunludur.

Sıkça sorulanlar

Sıkça sorulan sorular

Problemimin ajan yapısına uygun olup olmadığından emin değilsem ne yapmalıyım?

Varsayılan olarak boru hattıyla başlayın. Önce deterministik akışı kurun, hattın yönlendiremediği spesifik uç durumları tespit edin ve ajanı yalnızca o kalan dar dilim için devreye alın.

LLM'ler yalnızca otonom ajan sistemlerinde mi faydalıdır?

Hayır. Bir boru hattının içindeki belirli bir adımda özetleme, sınıflandırma veya veri çıkarma yapan bir LLM son derece güçlüdür; sadece açık uçlu bir döngü yerine tanımlı bir rolü vardır.

Bir ajan gerçekte boru hattını ne zaman geride bırakır?

Problem uzayı önceden sayılamadığında: açık uçlu araştırma, bilinmeyen bir kod tabanında hata ayıklama veya çok modlu keşif. Olası girdileri ve her biri için yapılacak eylemi listeleyebiliyorsanız boru hattı her zaman kazanır.