Ana SayfaBlog › Rehber

Yapay Zekada "Düşünme" Modu Nedir? Tokeninizi Nasıl Etkiler?

Kısacık bir soru sorarsınız, kısacık bir cevap gelir — ama bakiyenizden beklediğinizden çok daha fazla token düşer. "Üç satır yazı yazdı, bu kadar tokeni nereye harcadı?" diye düşünürsünüz. Cevap çoğu zaman görmediğiniz bir metinde saklıdır: modelin cevabı yazmadan önce kendi kendine yaptığı düşünme.

Düşünme modu tam olarak ne?

Yeni nesil modeller cevabı doğrudan yazmak yerine, önce kendilerine bir müsvedde hazırlayabiliyor: "soru bunu soruyor, şu ihtimal var, şunu denersem şöyle olur..." Bu müsvedde ekranda görünmez, sohbete yazılmaz — ama üretilmiş metindir ve sağlayıcı bunu tıpkı cevap gibi çıktı olarak faturalandırır.

Yani ekranda 20 kelimelik bir cevap görürsünüz, arkada 300 kelimelik bir düşünme yapılmış olabilir. Ödediğiniz şey ikisinin toplamıdır.

Somut bir örnek: Basit bir cümleyi Türkçeye çevirtmeyi denedik. Ekrana gelen cevap 19 token. Aynı istek düşünme açıkken yapıldığında arka planda 342 token daha üretildi. Görünen iş aynı, fatura 18 katı.

Peki neden var? İşe yaramıyor mu?

Yarıyor — ama her işte değil. Düşünme, adım adım ilerlemesi gereken işlerde gerçek bir fark yaratır:

Buna karşılık günlük işlerin çoğunda hiçbir katkısı yoktur: çeviri, özetleme, metin düzeltme, e-posta yazma, "şu ne demek" tarzı sorular. Model bunları zaten biliyor; düşünmek sadece süreyi ve maliyeti artırır.

Asıl tehlike: sessizce açık gelmesi

En can sıkıcı tarafı şu: düşünme çoğu zaman varsayılan olarak açıktır ve bunu size kimse söylemez. Dahası, bir modelin yeni sürümü çıktığında varsayılan davranış sessizce değişebiliyor — dün kapalı olan bir ayar, bugün açık gelebiliyor.

Kendi sistemimizde bunu bizzat yaşadık. Yeni sürümlere geçtiğimizde bazı modellerin düşünmeyi kendiliğinden açtığını fark ettik ve ölçtük: aynı tip sohbetlerde mesaj başına token tüketimi %30 ile %149 arasında artmıştı. Kimse bir ayar değiştirmemişti; sadece modelin varsayılanı değişmişti.

Düşünme açık mı, nasıl anlarsınız?

Kullandığınız araç size token dökümü göstermiyorsa kesin olarak bilemezsiniz, ama güçlü bir ipucu var: cevabın uzunluğu ile tüketilen token arasındaki uçurum. Üç cümlelik bir cevap için binlerce token gidiyorsa, arkada düşünme yapılıyor demektir.

Bir diğer ipucu bekleme süresi: cevap yazılmaya başlamadan önceki sessizlik uzuyorsa, model o sırada düşünüyor olabilir.

Bizim tercihimiz: kapalı

Panelimizde düşünmeyi kapatılabildiği her modelde kapalı tutuyoruz ve size "düşünmeyi aç" diye bir düğme sunmuyoruz. Sebebi basit: bakiye sizin ve görmediğiniz bir metin için ödeme yapmanızı istemiyoruz. Günlük işlerin neredeyse tamamında aradaki kalite farkı, aradaki maliyet farkını haklı çıkarmıyor.

Bazı modellerde ise düşünme teknik olarak kapatılamıyor — sağlayıcı buna izin vermiyor. O modellerde mümkün olan en düşük düşünme seviyesini kullanıyoruz ve tüketimi olduğu gibi, eksiksiz gösteriyoruz. Bakiyenizden ne düştüğünü panelde mesaj mesaj görebilirsiniz.

Tokeninizi korumak için pratik öneriler

Özetle: Düşünme, zor işlerde işe yarayan ama günlük işlerde sessizce para yakan bir özellik. Önemli olan açık mı kapalı mı olduğunu bilmeniz ve tercihin sizde olması. Token mantığının tamamı için token nedir, nasıl tasarruf edilir yazımıza da göz atın.

Ne harcadığınızı görün

Hangi modelde ne kadar token gittiğini mesaj mesaj gösteren panel. Düşünme kapalı, sürprizi yok.

Üyeliksiz İncele →
← Tüm yazılar

Bunlar da ilgini çekebilir