Yapay Zeka

Temperature ve Top-p Nedir? Yapay Zeka Yanıtlarının Yaratıcılık Ayarı

Talha Aslan 14 dakikalık okuma 2 görüntülenme

Temperature ve Top-p Nedir?

Temperature ve top-p, bir dil modelinin sıradaki kelimeyi (token) seçerken ne kadar rastgele davranacağını belirleyen iki örnekleme ayarıdır. Bunlardan temperature, olasılık dağılımını keskinleştirir ya da düzleştirir. Top-p ise yalnızca olasılıkları toplamı belirli bir eşiğe ulaşan en olası adaylar arasından seçim yapar.

Bu iki ayar, aynı soruya verilen yanıtın ne kadar tutarlı ya da ne kadar yaratıcı olacağını doğrudan etkiler. Yani modelin kendisini değiştirmezsiniz; yalnızca modelin ürettiği olasılıklardan nasıl örnek çektiğini ayarlarsınız. Bir büyük dil modeli ile çalışan herkesin bu iki düğmeyi tanıması gerekir.

Bu yazıda önce kavramı sade bir dille anlatıyoruz. Ardından düşük ve yüksek değerlerin etkisini, top-k ile farkı, sohbet arayüzü ile API arasındaki ayrımı ve pratik bir deneme planını göreceksiniz. Sayısal aralıkları bilerek vermiyoruz, çünkü bunlar sağlayıcıya ve modele göre değişir.

Temperature ve top-p nedir, günlük hayattan bir örnekle nasıl anlatırız?

Bir restoranda menüden yemek seçtiğinizi düşünün. Garsonun elinde her yemek için "bu müşteri bunu seçer" ihtimali yazan bir liste var. Garson her seferinde en yüksek ihtimalli yemeği getirirse sonuç hep aynı olur. Bazen listeden biraz daha farklı bir yemek seçerse, masadaki seçenekler artar.

Temperature, garsonun ne kadar cesur davranacağını belirler. Düşük değerde en olası yemeğe sadık kalır. Yüksek değerde ihtimali düşük yemekleri de masaya getirmeye başlar. Top-p ise garsonun listeyi kısaltmasıdır: ihtimalleri yukarıdan aşağıya toplayıp belirli bir paya ulaşınca listeyi keser.

Bu benzetme kusursuz değil. Ancak iki ayarın aynı sorunu iki farklı yoldan çözdüğünü görmenizi sağlar. Biri olasılıkların şeklini değiştirir, diğeri hangi adayların oyuna katılacağını sınırlar.

Dil modeli sonraki kelimeyi nasıl seçer?

Bir dil modeli metni kelime kelime değil, token adı verilen küçük parçalar halinde üretir. Her adımda model, tüm olası tokenler için bir puan listesi üretir. Ardından bu puanları olasılığa çevirir. Olasılıkların toplamı bire eşit olur ve buna olasılık dağılımı diyoruz.

Örneğin "Bugün hava çok" cümlesinden sonra "güzel" için yüksek, "soğuk" için orta, "mavi" için çok düşük bir olasılık oluşabilir. Model bu dağılımdan bir token seçer, onu cümleye ekler ve aynı işi bir sonraki adım için tekrarlar. Token kavramını ayrıntılı görmek isterseniz token yazımıza bakabilirsiniz.

Burada kritik nokta şudur: modelin "en olası" tokeni her zaman seçmesi zorunlu değildir. Seçimi nasıl yapacağı örnekleme (sampling) ayarlarına bağlıdır. Temperature ve top-p, bu seçim kuralını değiştiren iki ana ayardır.

Bu işlem yalnızca yanıt üretilirken olur. Yani temperature ve top-p, modelin eğitimini ya da bilgisini değiştirmez. Aynı model, aynı komutla farklı ayarlarda farklı üslupta konuşur. Bu yüzden ayar değiştirmek, modeli yeniden eğitmekten çok daha ucuz ve hızlı bir denemedir.

  • Her adımda model bir olasılık dağılımı üretir.
  • Örnekleme ayarları bu dağılımdan nasıl seçim yapılacağını belirler.
  • Aynı komut, farklı ayarlarda farklı metinler doğurur.
  • Ayarlar modelin bilgisini artırmaz, yalnızca seçim davranışını değiştirir.

Temperature nasıl çalışır?

Temperature, olasılık dağılımını seçim yapılmadan önce yeniden ölçekler. Düşük değerde dağılım keskinleşir: zaten yüksek olan olasılık daha da yükselir, diğerleri neredeyse sıfıra iner. Bu yüzden model neredeyse hep en olası tokeni seçer ve yanıtlar öngörülebilir olur.

Yüksek değerde dağılım düzleşir. Düşük olasılıklı tokenler de gerçekçi bir şans kazanır. Sonuçta metin daha çeşitli, daha sürprizli ve bazen daha dağınık çıkar. Teknik olarak model, ham puanları bir sayıya böler ve sonra olasılığa çevirir. Kavram olarak "keskinlik düğmesi" demek yeterlidir.

Temperature sıfıra yaklaştığında model neredeyse her adımda en olası tokeni seçer. Buna açgözlü (greedy) seçim denir. Ancak bu, tam tekrarlanabilirlik anlamına gelmeyebilir; bunu aşağıda ayrı bir bölümde ele alıyoruz.

Düşük, orta ve yüksek temperature ne değiştirir?

Sağlayıcılar farklı aralıklar kullanır. Bu nedenle sabit bir sayıya yaslanmak yerine düşük, orta ve yüksek ayrımıyla düşünmek daha güvenlidir. Kendi modelinizin geçerli aralığını ve varsayılan değerini sağlayıcının güncel belgesinden kontrol edin.

  • Düşük: Yanıtlar tutarlı, kısa ve temkinli olur. Aynı soruya benzer cevaplar gelir. Sınıflandırma, veri çıkarma ve kural uygulama işleri için uygundur.
  • Orta: Denge sağlar. Anlatım doğal akar, ancak model konudan kopmaz. Genel sohbet ve özet işlerinde sık tercih ederiz.
  • Yüksek: Yanıtlar daha çeşitli olur, beklenmedik ifadeler çıkar. Fikir üretme ve yaratıcı yazım için faydalıdır. Ancak hata ve tutarsızlık riski de artar.

Yüksek değer "daha zeki" demek değildir. Model aynı bilgiye sahiptir; yalnızca daha riskli seçimler yapar. Bu yüzden gerçek bilgi gerektiren görevlerde yüksek temperature, uydurma bilgi riskini büyütebilir.

Top-p (nucleus sampling) nedir ve nasıl çalışır?

Top-p'nin diğer adı nucleus sampling'dir. Model tokenleri olasılığa göre büyükten küçüğe sıralar. Ardından olasılıkları toplamı top-p değerine ulaşana kadar yukarıdan aşağıya ekler. Biz bu gruba "çekirdek" deriz ve model seçimini yalnızca bu çekirdekten yapar.

Örneğin top-p düşükse çekirdek dardır ve yalnızca birkaç güçlü aday kalır. Top-p yüksekse çekirdek genişler, daha fazla seçenek oyunda kalır. Bu yöntemin önemli bir avantajı var: aday sayısı sabit değildir. Model emin olduğunda çekirdeği küçültür, emin olmadığında büyütür.

Küçük bir örnek hesap yapalım. Beş aday token olsun ve olasılıkları sırasıyla yüzde 50, 30, 10, 5 ve 5 olsun. Top-p değerini yüzde 80 gibi bir paya ayarlarsak, ilk iki aday toplamda yüzde 80'e ulaşır. Çekirdek bu iki adaydan oluşur ve kalan üç aday elenir. Rakamlar yalnızca anlatım içindir; gerçek bir modelden alınmış değildir.

Bu yöntemi akademik bir çalışma tanıttı. nucleus sampling makalesi (arXiv), metin üretiminde en olası kelimelerden oluşan "çekirdek" üzerinden örnekleme yapmanın daha doğal metin verdiğini savunur. Ayrıntıya meraklıysanız birincil kaynağı okumanızı öneririz.

Top-k nedir ve top-p'den farkı nedir?

Top-k, her adımda yalnızca en olası k adet tokeni aday tutar. Gerisi elenir. Top-k'nın adayı sayıyla sınırlandırdığını, top-p'nin ise olasılık payıyla sınırlandırdığını hatırlayın. Aradaki fark küçük gibi görünse de davranışı belirgin biçimde değiştirir.

Model çok emin olduğunda bile top-k sabit sayıda aday bırakır; bu adayların çoğu anlamsız olabilir. Model çok kararsızken de aday sayısını sınırlar ve iyi seçenekleri dışarıda bırakabilir. Top-p ise duruma göre esner. Bu nedenle birçok geliştirici top-p'yi daha esnek bulur.

Her sağlayıcı top-k ayarını sunmaz. Google Gemini API belgeleri temperature, topP ve topK ayarlarını birlikte açıklıyor. Bazı API'ler ise top-k ayarını hiç sunmaz ya da yalnızca belirli modellerde sunar. Kullandığınız API'nin hangi parametreleri desteklediğini mutlaka belgeden doğrulayın.

Temperature ve top-p'yi birlikte ayarlayabilir miyiz?

Teknik olarak ikisini birlikte ayarlayabilirsiniz, ancak çoğu zaman önermiyoruz. Çünkü iki ayar da aynı davranışı, yani çeşitliliği kontrol eder. İkisini aynı anda oynatırsanız hangisinin sonucu değiştirdiğini ayıramazsınız. Deneyleriniz karmaşıklaşır.

Sağlayıcıların API belgelerinde bu konuda sık görülen bir not vardır: ikisinden birini değiştirin, diğerini varsayılan bırakın. OpenAI API referansı ve Anthropic Messages API belgeleri bu yönde bir tavsiye içerir; sürümler değiştiği için ilgili sayfayı kendi modelinizle kontrol edin.

Google ise farklı bir uyarı yapıyor. Google Gemini API belgeleri, bazı yeni Gemini sürümlerinde bu parametreleri varsayılan değerinde tutmanızı kuvvetle öneriyor. Aksi halde döngüye girme ya da performans düşüşü gibi beklenmedik davranışlar görülebileceğini belirtiyor. Yani "daha fazla ayar, daha iyi sonuç" varsayımı her zaman doğru değildir.

  1. Önce iki ayarı da varsayılan bırakıp temel kaliteyi ölçün.
  2. Sonra yalnızca bir ayarı değiştirin.
  3. Değişikliği aynı örnek girdilerle karşılaştırın.
  4. Sonucu not edin ve ancak gerekirse ikinci ayara geçin.

Temperature sıfır olursa yanıt her zaman aynı mı çıkar?

Hayır, her zaman değil. Temperature çok düşük olduğunda model neredeyse hep en olası tokeni seçer ve yanıtlar büyük ölçüde tutarlı hale gelir. Ancak çoğu sağlayıcı tam tekrarlanabilirliği garanti etmez. Altyapı, model sürümü ve hesaplama detayları küçük sapmalar yaratabilir.

Bu yüzden "temperature sıfır, o halde sonuç kesin" demek yanlıştır. Özellikle uzun yanıtlarda küçük bir fark zincirleme büyüyebilir. Bazı API'ler ayrıca seed (tohum) gibi ek ayarlar sunar. Bu ayarlar tutarlılığı artırmaya çalışır, ancak yine de kesin vaat vermez; sağlayıcının belgesindeki ifadeyi okuyun.

Kritik işlerde çözüm yalnızca ayara bırakılmamalıdır. Çıktıyı biçim kurallarıyla sınırlamak, sonucu doğrulamak ve gerektiğinde insan kontrolü eklemek çok daha sağlam bir yoldur.

Hangi iş için hangi temperature ve top-p yaklaşımı uygundur?

Aşağıdaki tablo, saha deneyimine dayalı bir başlangıç noktasıdır; garanti değil, deneme için bir çıkış önerisidir. Kendi modelinizde ve kendi verinizde mutlaka test edin.

İş türüTemperature yaklaşımıTop-p yaklaşımıGerekçe
Veri çıkarma, sınıflandırmaDüşükVarsayılanTutarlılık ve biçim uyumu şart
Müşteri destek yanıtıDüşük ile orta arasıVarsayılanDoğruluk öncelikli, ton doğal olmalı
Özet ve raporDüşük ile orta arasıVarsayılanKaynağa sadakat gerekir
Blog taslağı, e-postaOrtaVarsayılanAkıcılık ve çeşitlilik dengesi
Slogan, isim, fikir üretimiOrta ile yüksek arasıVarsayılan veya biraz genişÇeşitlilik değerlidir
Hikâye, yaratıcı metinYüksekBiraz genişSürpriz ve özgünlük aranır

Tabloda top-p sütununun çoğunlukla "varsayılan" olması bilinçli bir tercihtir. Önceki bölümde anlattığımız gibi, genellikle bir ayarı oynatıp diğerini sabit tutmak daha sağlıklıdır.

Temperature ve top-p nedir diye soranlar en çok hangi terimleri karıştırır?

Örnekleme parametreleri başka ayarlarla sık karışır. Aşağıdaki tablo yan yana farkları gösteriyor. Hepsi API panelinde yakın yerlerde durduğu için karışıklık normaldir.

TerimNeyi kontrol eder?Etki alanıSık yapılan yanlış
TemperatureOlasılık dağılımının keskinliğiSeçimdeki rastgelelikZekâ ayarı sanmak
Top-pOlasılık payına göre aday havuzuAday sayısıTemperature ile aynı şey sanmak
Top-kEn olası k adayı tutmakAday sayısı (sabit)Her API'de var sanmak
Maksimum tokenYanıtın uzunluk sınırıÇıktı boyuYaratıcılığı artırır sanmak
Tekrar cezasıAynı kelimelerin tekrarını azaltmakTekrar eğilimiDoğruluğu artırır sanmak
PromptModele verilen görev tarifiYanıtın içeriği ve biçimiAyarla telafi etmeye çalışmak

Son satır önemlidir. Kötü bir komutu temperature ile kurtaramazsınız. Önce prompt engineering ilkelerini uygulayın, sonra ince ayar olarak örnekleme parametrelerine bakın.

Sohbet arayüzü ile API arasındaki fark nedir?

ChatGPT, Gemini ya da Claude gibi sohbet uygulamalarında genellikle bu ayarları kendiniz değiştiremezsiniz. Sağlayıcı, ürün deneyimine uygun değerleri arka planda seçer. Bu yüzden aynı soruya her sohbette biraz farklı yanıt almanız normaldir.

API ile çalışırken ise durum değişir. İstek gövdesinde bu parametreleri kendiniz verebilirsiniz. Parametre vermezseniz sağlayıcının varsayılan değeri devreye girer. Bazı platformlarda geliştirici panelleri (playground) ayarları kaydırma çubuğuyla denemenize izin verir.

  • Sohbet arayüzü: Ayar genellikle gizlidir, kullanıcı değiştiremez.
  • API: Parametreleri istek başına siz belirlersiniz.
  • Playground: Hızlı deneme için idealdir, ancak üretim ayarı değildir.
  • Üretim kodu: Seçtiğiniz değeri yapılandırmada saklayın ve not düşün.

Ayrıca sohbet arayüzlerinin sistem komutları, hafıza ve güvenlik katmanları da yanıtı etkiler. Yani iki ürün aynı modeli kullansa bile çıktılar farklı olabilir. API'de ise bu katmanların çoğunu kendiniz kurarsınız. Bu özgürlük, sorumluluğu da size verir.

API tarafında ilk adım için OpenAI API kullanım rehberimiz faydalı bir başlangıçtır.

Her model temperature ve top-p ayarlarını aynı şekilde destekler mi?

Hayır. Desteklenen parametreler, geçerli aralıklar ve varsayılan değerler sağlayıcıya göre değişir. Hatta aynı sağlayıcının farklı modelleri arasında bile farklılık olabilir. Bu bilgiyi ezberlemek yerine, kullandığınız modelin güncel belgesine bakmak en doğru yoldur.

Bazı model ailelerinde sağlayıcı bu parametreleri kısıtlayabilir, sabitleyebilir ya da farklı çalıştırabilir. Örneğin akıl yürüten modeller çoğu zaman cevaptan önce ara adımlar üretir. Bu tür modellerde örnekleme ayarlarının sunulup sunulmadığını ya da nasıl davrandığını sağlayıcı belgesinden okuyun.

Yeni bir model sürümüne geçtiğinizde, eski ayarlarınızı olduğu gibi taşımayın. Aynı değer yeni modelde farklı sonuç verebilir. Kısa bir regresyon testi, yani aynı örnek girdilerle yeniden deneme, bu riski ucuza kapatır.

Temperature düşürmek halüsinasyonu engeller mi?

Kısmen azaltabilir, ama engellemez. Düşük temperature modeli en olası tokene yaklaştırır. Ancak en olası token her zaman doğru değildir. Model, eğitim verisinde güçlü örüntüsü olan ama gerçekte yanlış bir bilgiyi de yüksek olasılıkla üretebilir.

Yani temperature bir doğruluk ayarı değil, bir çeşitlilik ayarıdır. Uydurma bilgi riskini azaltmak için yapay zeka halüsinasyonu yazımızda anlattığımız yöntemlere bakın. Bunlar arasında kaynak verme, bilgi tabanına bağlanma ve çıktıyı doğrulama yer alır.

Şirket belgelerinizle çalışan bir sistem kuruyorsanız RAG mimarisi doğruluk için çok daha etkilidir. Düşük temperature ile RAG birlikte kullanıldığında yanıtlar hem tutarlı hem kaynağa bağlı olur. Yine de kesin sonuç vaadi yoktur; her zaman örnek testlerle doğrulayın.

Aynı komut üç farklı ayarda nasıl farklı sonuç verir?

Küçük bir örnek senaryo kuralım. Modelden "yeni açılan bir kahve dükkânı için kısa bir slogan" istiyoruz. Aşağıdaki çıktılar örnek niteliğindedir; gerçek bir modelden alınmış ölçüm değildir. Amaç, farkın hissini göstermektir.

  • Düşük ayar: Model güvenli, bilinen kalıbı seçer. Slogan "Taze kahve, sıcak sohbet" gibi sade ve tahmin edilebilir olur. Her denemede çok benzer bir cümle görürsünüz.
  • Orta ayar: Aynı fikir etrafında farklı kelimeler çıkar. Bir seferinde mahalle vurgusu, bir sonrakinde güne başlama duygusu öne geçer.
  • Yüksek ayar: Daha cesur, bazen tuhaf sloganlar gelir. Bir kısmı parlak bir fikir olabilir; bir kısmı ise anlamsız ya da markaya uymayan bir cümle olabilir.

Burada ilginç olan, hiçbir ayarın "doğru" olmamasıdır. Seçim, ihtiyaca bağlıdır. Tek bir güvenli slogan istiyorsanız düşük, geniş bir fikir havuzu istiyorsanız yüksek ayar daha mantıklıdır.

Ayrıca yüksek ayarda çok sayıda taslak üretip içinden seçmek çoğu zaman tek bir deneme yapmaktan daha verimlidir. Çünkü çeşitlilik, ancak yeterince örnek üretirseniz işe yarar.

Maksimum token, tekrar cezası ve durdurma dizileri nasıl bir rol oynar?

Örnekleme ayarlarının yanında başka parametreler de yanıtı şekillendirir. Bunlar temperature ve top-p ile karışabildiği için kısaca ayırmak faydalıdır. Ancak her sağlayıcı aynı adları ve aynı seçenekleri sunmaz.

  • Maksimum token: Yanıtın en fazla ne kadar uzayabileceğini sınırlar. Yaratıcılığı değil, uzunluğu etkiler. Düşük bırakırsanız yanıt yarıda kesilebilir.
  • Tekrar cezası: Aynı kelimelerin ve kalıpların sık tekrarını azaltmaya çalışır. Bazı API'lerde bulunur, bazılarında yoktur.
  • Durdurma dizisi: Belirli bir ifade göründüğünde üretimi bitirir. Biçimli çıktı alırken işe yarar.

Bu ayarlar birlikte çalışır, ancak her birinin görevi farklıdır. Örneğin yanıtınız çok tekrarlıysa önce komutunuzu ve tekrar cezasını inceleyin. Temperature'ı yükseltmek tekrarı çözebilir, fakat tutarsızlığı da getirebilir.

Komut ile örnekleme ayarı arasında iş bölümünü nasıl yaparız?

Komut, modele ne yapacağını söyler. Örnekleme ayarı ise modelin seçim sırasında ne kadar serbest davranacağını söyler. İki araç farklı sorunları çözer. Yanlış araçla uğraşırsanız zaman kaybedersiniz.

Yanıt konudan çıkıyorsa, biçim bozuksa ya da ton yanlışsa sorun büyük ihtimalle komuttadır. Yanıt aşırı tekdüze ya da aşırı dağınıksa ayarlara bakmak mantıklıdır. Bu sıralamayı izlemek, saatlerce ayar kurcalamaktan daha hızlı sonuç verir.

  1. Önce komutu netleştirin: görev, biçim, ton ve örnekler.
  2. Sonra çıktıyı varsayılan ayarla birkaç kez çalıştırın.
  3. Çıktı fazla tekdüzeyse çeşitliliği biraz artırın.
  4. Çıktı fazla dağınıksa çeşitliliği biraz azaltın.
  5. Her değişiklikten sonra aynı örneklerle yeniden ölçün.

Ajanlar ve araç çağıran sistemlerde bu ayarlar neden daha kritik olur?

Bir yapay zeka ajanı, tek bir yanıt vermek yerine birçok adım atar. Araç çağırır, sonucu okur, sonraki adımı seçer. Bu zincirde her adımın rastgeleliği bir sonraki adımı etkiler. Yani küçük bir sapma, birkaç adım sonra büyük bir farka dönüşebilir.

Bu nedenle araç çağıran ve biçimli çıktı üreten sistemlerde çoğu ekip çeşitliliği düşük tutmayı tercih eder. Çıktı biçimi bozulursa sonraki adım hata verir. Yaratıcı metin üreten adımı ise zincirin ayrı bir parçası olarak yönetmek mümkündür.

Kısacası, her adım için aynı ayarı kullanmak zorunda değilsiniz. Çıkarma ve karar adımlarında tutarlı, metin yazma adımında daha serbest bir ayar seçebilirsiniz. Ancak sağlayıcınız adım bazında ayar değiştirmeye izin veriyor mu, belgeden doğrulayın.

Örnek senaryo: bir e-ticaret sitesinde üç farklı iş için ayar nasıl seçeriz?

Aşağıdaki örnek tamamen kurgusaldır ve bir müşteri sonucu değildir. Bir e-ticaret ekibinin yapay zekayı üç işte kullandığını varsayalım.

  • Ürün özelliği çıkarma: Tedarikçi metninden renk, beden ve malzeme bilgisini tabloya aktarmak. Burada tutarlılık şarttır, bu yüzden düşük temperature seçersiniz.
  • Müşteri sorusu yanıtlama: İade politikası gibi net bilgileri aktarmak. Düşük ile orta arası bir değer ve belge bağlantısı uygundur.
  • Kampanya sloganı fikri: Yirmi farklı slogan taslağı istemek. Burada orta ile yüksek arası bir değer, daha çeşitli fikirler getirir.

Üçüncü işte bile model her çıktıyı yayınlamaya hazır üretmez. Ekip yine de en iyi birkaç fikri seçer ve insan gözüyle düzenler. Yani yüksek temperature yaratıcı çıktıya kapı açar, ama editoryal kontrol ihtiyacını ortadan kaldırmaz.

Aynı ekip tek bir ayarı her işe uygulasaydı ne olurdu? Düşük ayar sloganları sıkıcı yapardı, yüksek ayar ise ürün özelliklerinde hata çıkarırdı. İş bazında ayar seçmek bu yüzden önemlidir.

Temperature ve top-p ayarlarında en sık hangi hatalara düşeriz?

Ekiplerin en sık düştüğü hatalar şunlardır. Çoğu zaman sorun ayarın kendisinde değil, ayara yüklenen beklentidedir.

  • İki parametreyi aynı anda değiştirip hangisinin etki ettiğini anlamamak.
  • Yüksek temperature ile doğruluk aramak.
  • Düşük temperature ile her seferinde birebir aynı sonucu beklemek.
  • Tek bir deneme sonucuna bakıp karar vermek.
  • Model sürümü değiştiğinde ayarları yeniden test etmemek.
  • Kötü komutu ayarla düzeltmeye çalışmak.

Bunların hepsinin çözümü benzerdir: küçük, kontrollü ve kayıtlı deneyler yapmak. Aynı girdiyi birkaç kez çalıştırın, çıktıları yan yana koyun ve ölçütünüzü önceden yazın.

Temperature ve top-p ayarlarını nasıl test edersiniz?

İyi bir test planı karmaşık olmak zorunda değil. Elinizde gerçek iş girdilerinden oluşan küçük bir örnek set ve net bir başarı ölçütü olması yeterlidir. Aşağıdaki adımlar çoğu proje için işe yarar.

  1. Gerçek kullanım durumunuzdan on ile yirmi arası örnek girdi toplayın.
  2. Başarı ölçütünü yazın: doğruluk, ton, uzunluk, biçim uyumu gibi.
  3. Varsayılan ayarlarla tüm girdileri çalıştırıp çıktıları kaydedin.
  4. Yalnızca temperature'ı değiştirip aynı girdileri tekrar çalıştırın.
  5. Çıktıları ölçüte göre puanlayın; körlemesine, yani hangi ayardan geldiğini bilmeden değerlendirmek daha adildir.
  6. Kazanan ayarı yapılandırmaya yazın ve gerekçesini not edin.

Bu yöntem sayıdan çok yönteme dayanır. Gerekirse değerlendirme ölçütlerini few-shot prompting örnekleriyle ya da chain-of-thought yönlendirmeleriyle birlikte güçlendirebilirsiniz.

İşletme ve geliştirici için temperature ve top-p kontrol listesi nedir?

Aşağıdaki liste, bir yapay zeka özelliğini yayına almadan önce kontrol etmeniz gereken noktaları toplar. Liste kısa, çünkü hızlı kullanmanızı istiyoruz.

  • Kullanılan modelin ve sürümün güncel belgesini okudum.
  • Desteklenen parametreleri ve varsayılan değerleri biliyorum.
  • Tek seferde yalnızca bir örnekleme ayarını değiştirdim.
  • Görev türüne göre düşük, orta ya da yüksek yaklaşımı seçtim.
  • Kritik çıktılar için biçim kuralı ve doğrulama adımı ekledim.
  • Seçilen değeri yapılandırmada saklıyor ve gerekçesini yazıyorum.
  • Model sürümü değişince ayarları yeniden test edeceğim.
  • Yaratıcı çıktılarda insan editör kontrolü planladım.

İşletme tarafında karar verici olarak teknik değerlerle ilgilenmeniz gerekmez. Ancak ekibinizden "bu ayarı neden seçtiniz ve nasıl test ettiniz?" sorusuna net bir cevap almanız yeterlidir.

Temperature ve top-p nedir sorusunu iş projelerinde nasıl ele alıyoruz?

Talha Aslan ve ekibi olarak yapay zeka destekli özellikleri tasarlarken örnekleme ayarlarını bir "sihirli sayı" olarak değil, test etmemiz gereken bir tasarım kararı olarak görüyoruz. Her iş akışı için önce başarı ölçütünü, ardından ayarı belirlemek bizim çalışma sıramızdır.

yapay zeka chatbot geliştirme çalışmalarımızda ve benzeri işlerde müşteriye dönük yanıtları tutarlı tutmak, iç fikir üretimini ise daha serbest bırakmak yaygın bir yaklaşımdır. Geniş çerçeveyi merak ediyorsanız yapay zeka otomasyon hizmetimiz sayfasına göz atabilirsiniz.

Bu bölüm bir sonuç vaadi değil, çalışma biçimimizin kısa bir tarifidir. Her proje farklıdır ve en iyi ayar, ancak kendi verinizle yaptığınız denemelerle ortaya çıkar.

Sonuç olarak temperature ve top-p ne zaman, nasıl kullanmalısınız?

Özetle, temperature olasılık dağılımının keskinliğini, top-p ise aday havuzunun genişliğini ayarlar. Düşük değerler tutarlılığı, yüksek değerler çeşitliliği öne çıkarır. İkisi birbirinin alternatifidir; çoğu zaman yalnızca birini değiştirmek yeterlidir.

Temperature bir doğruluk ya da zekâ düğmesi değildir. Kritik işlerde ayarın yanında doğrulama, kaynak bağlama ve insan kontrolü gerekir. Son olarak hatırlayın: sayısal aralıklar sağlayıcıdan sağlayıcıya değişir, bu yüzden güncel değeri her zaman resmi belgeden kontrol edin.

Yapay zeka terimlerini birlikte öğrenmek isterseniz, akıl yürüten modelleri anlatan yazımız ile yapay zeka halüsinasyonu yazımız bu konunun doğal devamıdır. Böylece parametre, model davranışı ve doğruluk arasındaki ilişkiyi bütün olarak görebilirsiniz.

Sıkça Sorulan Sorular

Temperature ne işe yarar?
Temperature, modelin sıradaki kelimeyi seçerken ne kadar rastgele davranacağını ayarlar. Düşük değerde yanıtlar tutarlı ve öngörülebilir olur, yüksek değerde çeşitli ve beklenmedik hale gelir. Yani yaratıcılık ile tutarlılık arasındaki dengeyi belirler. Sayısal aralık sağlayıcıya göre değiştiği için güncel değeri resmi belgeden kontrol edin.
Top-p ile temperature aynı şey midir?
Hayır, aynı şey değildir. Temperature olasılık dağılımının şeklini keskinleştirir ya da düzleştirir. Top-p ise olasılıkları toplamı belirli bir paya ulaşan en olası adayları seçim havuzunda tutar. İkisi de çeşitliliği etkiler, ancak farklı mekanizmalarla çalışır. Bu yüzden genellikle yalnızca birini değiştirmeniz önerilir.
Temperature ve top-p birlikte değiştirilmeli mi?
Çoğu durumda hayır. İki ayar da çeşitliliği kontrol ettiği için aynı anda oynatırsanız hangisinin sonucu etkilediğini anlayamazsınız. Sağlayıcı belgelerinde sık görülen tavsiye, birini değiştirip diğerini varsayılan bırakmaktır. Yine de kendi modelinizin güncel belgesini kontrol edin, çünkü öneriler sürüme göre değişebilir.
Temperature sıfır yaparsam her seferinde aynı cevabı alır mıyım?
Her zaman değil. Düşük temperature yanıtları büyük ölçüde tutarlı yapar, çünkü model neredeyse hep en olası tokeni seçer. Ancak çoğu sağlayıcı birebir tekrarlanabilirlik garantisi vermez. Altyapı ve model sürümü küçük sapmalar yaratabilir. Kritik işlerde doğrulama ve biçim kuralları eklemek daha güvenilirdir.
Sohbet uygulamalarında bu ayarları değiştirebilir miyim?
Genellikle hayır. ChatGPT, Gemini ya da Claude gibi sohbet uygulamalarında sağlayıcı bu değerleri arka planda belirler. Ayarları kendiniz değiştirmek için API ya da geliştirici paneli (playground) kullanırsınız. Bu nedenle aynı soruya her sohbette biraz farklı yanıt almanız normaldir. Sağlayıcının güncel belgesine bakın.
Yüksek temperature yanıtları daha yaratıcı mı yapar?
Daha çeşitli yapar, ama her zaman daha iyi yapmaz. Yüksek değerde model düşük olasılıklı seçenekleri de deneyebilir. Bu fikir üretiminde faydalıdır. Ancak gerçek bilgi gerektiren işlerde hata ve uydurma riskini artırır. Bu yüzden yaratıcı işlerde bile çıktıyı insan gözüyle gözden geçirmeniz gerekir.
  • temperature
  • top-p
  • nucleus sampling
  • top-k
  • yapay zeka
  • büyük dil modeli
  • API parametreleri
Paylaş:
Talha Aslan

Google Partner dijital pazarlama uzmanı. 2012’den beri SEO, Google Ads, web tasarım ve e-ticaret projelerinde sahada; bu blogda gördüğünüz her yazı o deneyimden çıkar.

Sıradaki proje

Projenizi konuşalım.

Talebiniz doğrudan Talha Aslan ve ekibine ulaşır: stratejiyi Talha kurar, uygulamayı deneyimli ekip yürütür. İlk istişare ücretsizdir; hedefinizi dinler, net bir yol haritasıyla döneriz.