Çıkarım Maliyetini Ölçülebilir ve Yönlendirilebilir Kılmak

Öngörülemez GPU maliyeti bir belirtidir. Hastalık etiketsiz harcamadır — fatura görürsünüz, karar ağacı değil. Önce ölçümü düzeltin; yönlendirme ikinci.

CTO'lar aynı haftayı anlatır: finans tahmin ister, mühendislik "trafiğe bağlı" der ve öngörülemez GPU maliyeti grafiği hava durumu gibi sıçrar. Bu yalnızca kapasite planlama hatası değil. Ürünün ne yaptığı ile hangi altyapıyı yaktığı arasında atıf eksikliğidir.

Çıkarım maliyetinin üç katmanı

Üretim AI harcaması genellikle üç kova karıştırır. Bunları tek kalem olarak ele almak sürprizi garanti eder.

• Sağlayıcı çıkarımı. Token başına API ücretleri veya self-hosted GPU saatleri.
• Retrieval ve orkestrasyon. Embeddings, yeniden sıralama, ajan araç döngüleri — genellikle "ana" üretimden daha fazla çağrı.
• Yeniden deneme ve kalite vergisi. Başarısız RAG çekmeleri, guardrail yeniden yazmaları, kullanıcı tetiklemeli yeniden üretimler. Demoda görünmez, üretimde devasa.

Yalnızca "OpenAI faturası" gösteren panolar hikâyenin üçte ikisini kaçırır. AI çıkarım maliyeti azaltma, retrieval ve yeniden denemeler chat completion'larla aynı etiketleri taşıdığında başlar.

Maliyeti ölçülebilir kılmak: minimum şema

İlk günden veri ambarına ihtiyacınız yok. Her çıkarım olayında tutarlı alanlara ihtiyacınız var:

• workflow_id — dahili mikroservis adı değil, kullanıcıya yönelik iş
• step — retrieve, classify, generate, validate
• model — gerçekten çağrılan sağlayıcı + model ID
• tokens_in / tokens_out — veya self-hosted için GPU-saniye
• account_id — B2B için kullanıcıdan önce müşteriye bağlayın
• outcome — success, retry, fallback model

Bu şemayla sorular cevaplanabilir: Salı hangi iş akışı bütçeyi patlattı? Yeni prompt çıkış token'larını artırdı mı? Yeniden denemeler bir müşteri entegrasyonunda maliyeti ikiye mi katlıyor?

Bu token maliyet yönetiminin temelidir — fiyatlandırma sayfanızdaki krediler bu satırlara eşlenmeli, yoksa marjı tahmin ediyorsunuz.

Maliyeti yönlendirilebilir kılmak: en ucuz yetkin model

LLM yönlendirme slogan olarak "kolay işleri küçük modele gönder" değildir. Adım başına bir politikadır:

1. Adım için kalite barını tanımlayın (gerçek temellendirme, ton, format uyumu).
2. Sabit üretim şekilli girdiler kümesinde değerlendirme çalıştırın — seçilmiş demolar değil.
3. Barı geçen en ucuz modele yönlendirin; yalnızca düşük güvende yükseltin.
4. Yükseltmeleri birinci sınıf olay olarak günlükleyin — ince ayar veya daha iyi retrieval için yol haritanızdır.

Adım başına değerlendirme olmadan yönlendirme batıl inançtır. Ya premium modellerde fazla harcarsınız ya da kullanıcıların fark ettiği adımlarda yetersiz kalırsınız.

Operasyonda "yönlendirilebilir" neye benzer

Ölçülebilir + yönlendirilebilir altyapı, nöbetçi mühendisin dakikalar içinde yanıtlayabileceği anlamına gelir:

• Son sürümde sınıflandırma çağrılarının %38'ini daha küçük modele kaydırdık — kalite korundu, maliyet düştü.
• X hesabının entegrasyonu çift retrieval tetikliyor — sağlayıcı kesintisi değil.
• Gecikme artışı GPU doygunluğu değil yönlendirme yedeklemesiyle korele.

Çıkarımın hava durumu gibi hissettirmeyi bırakıp işlettiğiniz bir sistem gibi hissettirdiği an budur.

Bu hafta başlayın

Bir iş akışını uçtan uca ölçümleyin. Değerlendirmelerin zaten olduğu tam bir adıma yönlendirme ekleyin. Okyanusu kaynatmaya direnin.

Öngörülebilir GPU ve API faturaları harcamayı kilitlemekle ilgili değil — her doları değiştirebileceğiniz bir ürün kararına bağlamakla ilgili.