Orzed Routing Layer: Modeller İşi Birbirine Nasıl Devreder?

Orzed Modelleri ve Ajanları yonlendirme, orkestrasyon

Her görevi hangi modelin üstleneceğine karar veren Orzed yönlendirme katmanı: Horizon, Meridian ve Pulse arasında maliyet, kalite ve gecikme optimizasyonu.

  • Yazar: Orzed Team
  • 1 dk okuma
Önemli çıkarımlar
  • Pulse tabanlı sınıflandırıcı her görevi 50-80 milisaniyede okuyup bir model katmanı önerir; deterministik politika katmanı ise güvenlik ve müşteri kurallarını uygular.
  • Yönlendirme yalnızca en ucuz veya en hızlı olanı değil; maliyet, kalite ve gecikme üçgenini aynı anda optimize eder.
  • Müşterinin ödediği Proje Kredisi (Project Credits) sabittir; yönlendirme kararları bizim tarafımızdaki Operasyonel Kredi kullanımını yönetir.
  • Müşteriler Konsol üzerinden yönlendirmeyi ezebilir (override); belirli bir görev için Horizon'u veya üçüncü parti bir öncü modeli sabitleyebilir.
  • Tüm yönlendirme kararları proje denetim izinde (audit trail) şeffafça loglanır; hangi modelin neye dokunduğu asla gizlenmez.

Routing Layer, müşterilerin nadiren sorduğu ancak projelerindeki neredeyse her maliyet, hız ve kalite sonucunu belirleyen katmandır. Bir teslimat hattından her gün yüzlerce küçük (sınıflandırma, şema doğrulama), orta (kod üretimi, içerik taslağı) ve büyük (mimari planlama, kıdemli inceleme hazırlığı) görev geçer. Her şeyi Horizon’a göndermek bütçeyi israf eder; her şeyi Pulse’a göndermek ise derin akıl yürütme gerektiren planları bozar.

İki Parçalı Mimari: Öğrenilmiş Sınıflandırıcı ve Politika Katmanı

Routing Layer iki bileşenden oluşur:

  1. Pulse Sınıflandırıcısı: Teslimat hafızamızdaki yaklaşık 30.000 geçmiş kıdemli mühendis yönlendirme kararı üzerinde eğitilmiş bir Orzed Pulse modelidir. Görev tanımını ve bağlamı okuyarak 50 ila 80 milisaniye içinde bir katman tahmini (Pulse, Meridian, Horizon) ve güven skoru üretir.
  2. Deterministik Politika Katmanı (Policy Overlay): Sınıflandırıcıdan sonra çalışır ve sert kuralları uygular. Güvenlik açısından hassas etiketli görevleri en az bir üst katmana zorlar, Pulse doğrulama kapısından dönen çıktıları tekrar Pulse’da denemek yerine Meridian’a yükseltir ve müşterinin yaptığı model sabitlemelerini (overrides) en yüksek öncelikle uygular.

Proje Kredisi ve Operasyonel Kredi Ayrımı

Orzed’in fiyatlandırma mimarisini token bazlı faturalandırmadan ayıran temel yapı Proje Kredisi (Project Credits) ile Operasyonel Kredi (Operational Credits) ayrımıdır. Müşteri yalnızca Approved Baseline üzerinde anlaşılan teslimat bazlı Proje Kredilerini öder; faturası arkada hangi modelin çalıştığına göre dalgalanmaz. Operasyonel Krediler ise üç model katmanındaki iç çıkarım maliyetimizi izler. Müşteri dilerse Konsol içindeki Routing Trace ekranından her görevin hangi modelde çalıştığını kuruşu kuruşuna şeffafça inceleyebilir veya tek tıkla üçüncü parti öncü modellere (Claude, GPT, Gemini) geçiş (passthrough) yapabilir.

Sıkça sorulanlar

Sıkça sorulan sorular

Routing Layer bir görevi Horizon'a yükselttiğinde müşteri daha fazla mı öder?

Hayır. Müşterinin ödediği Proje Kredileri (Project Credits) teslimat bazlıdır ve Approved Baseline ile baştan sabitlenir. Çağrı başı çıkarım maliyetini izleyen Operasyonel Krediler iç muhasebe birimimizdir ve müşteriye yansıtılmaz.

Projem için belirli bir modeli zorunlu kılabilir miyim?

Evet. Konsol üzerinde görev bazlı veya proje geneli model sabitleme (pin) seçenekleri vardır. Planlama için Horizon'u, belirli teslimatlar için Claude veya GPT gibi üçüncü parti öncü modelleri seçebilirsiniz.

Üçüncü parti bir modele ne zaman yönlendirme yapılır?

Müşteri açıkça üçüncü parti bir model seçtiğinde veya görev kendi yığınımızın daha az gördüğü nadir bir programlama dili ya da niş bir regülasyon alanındaysa. Bu geçişler asla sessizce yapılmaz; denetim izinde açıkça görünür.