Açık Ağırlıklı Model (Open-Weight) Nedir? Açık Kaynakla Farkı

Açık ağırlıklı model nedir?
Açık ağırlıklı model (open-weight model), eğitilmiş parametrelerinin yani ağırlıklarının indirilebildiği yapay zeka modelidir. Eğitim verisi, eğitim kodu ve lisans koşulları ise her zaman açık olmayabilir. Bu yüzden açık ağırlıklı model, otomatik olarak açık kaynak yapay zeka anlamına gelmez.
Basit bir benzetme yapalım. Bir restoranın pişmiş yemeğini paket olarak alabilirsiniz. Evde ısıtır, tuzunu ayarlar, yanına başka bir şey ekleyebilirsiniz. Ancak tarifi, malzeme listesini ve mutfak notlarını görmeden aynı yemeği sıfırdan yapamazsınız. Ağırlıklar pişmiş yemektir; tarif ise eğitim verisi ve eğitim koduna benzer.
Bu yazı tek bir terime odaklanıyor. Biz Talha Aslan ve ekibi olarak terimi, yapay zekayı işinde kullanmak isteyen ekipler için sade bir dille anlatıyoruz. Komşu terimleri yalnızca karşılaştırma tablosunda ve kısa bağlamda anacağız, çünkü onların kendi yazıları var.
Açık ağırlıklı model nedir ve ağırlıklar neyi saklar?
Bir yapay zeka modeli, çok sayıda sayıdan oluşan büyük bir tablodur. Bu sayılara ağırlık ya da parametre denir. Model eğitim sırasında örnekleri görür ve bu sayıları küçük adımlarla ayarlar. Eğitim bittiğinde modelin öğrendiği her şey bu sayılarda saklıdır.
Ağırlık dosyası modelin "beyni" gibi düşünülebilir, ancak tek başına çalışmaz. Dosyayı okuyacak bir çalıştırma yazılımına, modelin mimari tanımına ve metni sayıya çeviren bir belirteç (token) sözlüğüne de ihtiyaç vardır. Bu yüzden indirdiğiniz paket genellikle birkaç dosyadan oluşur.
Dosyanın boyutu da dikkat çeker. Ağırlık sayısı arttıkça dosya büyür ve belleğe sığdırmak zorlaşır. Bu nedenle kuantizasyon gibi küçültme teknikleri sık kullanılır. Teknik ayrıntıyı ilgili yazıda bulabilirsiniz; burada yalnızca bağlantıyı kuruyoruz.
Ağırlıkların içinde eğitim verisinin kendisi yoktur. Yani modelin hangi belgelerden öğrendiğini dosyaya bakarak göremezsiniz. Bu fark, açık kaynak tartışmasının merkezindedir. Çünkü verinin nereden geldiğini bilmeden modelin davranışını tam olarak denetlemek zordur.
- Ağırlıklar: Modelin öğrendiği sayıların tamamıdır.
- Mimari tanımı: Sayıların hangi düzende kullanılacağını söyler.
- Belirteç sözlüğü: Metni modelin anlayacağı parçalara böler.
- Lisans metni: Modeli nasıl kullanabileceğinizi belirler.
Açık ağırlıklı model neden bu kadar önem kazandı?
Yapay zekayı işine katan ekiplerin sayısı arttıkça, "model kimin elinde?" sorusu da büyüdü. Kapalı bir API kolay başlangıç sunar. Ancak zamanla fiyat, kullanım şartları ve model sürümleri sağlayıcının kararına bağlı kalır. Bu bağımlılık, bazı ekipleri alternatif aramaya itti.
Açık ağırlıklı modeller bu boşluğu doldurdu. Çünkü onlarla yalnızca cevap almazsınız, modeli kendi ortamınızda çalıştırır, test eder ve uyarlayabilirsiniz. Üstelik araştırmacılar bu modelleri inceleyerek yapay zekanın nasıl çalıştığına dair bilgi üretir.
Öte yandan "açık" kelimesi hızla pazarlama diline girdi. Bu yüzden terimin tam olarak neyi vaat ettiğini bilmek, hem satın alma hem geliştirme kararlarında önem taşır. Aşağıdaki bölümler bu ayrımı adım adım açıyor.
Açık ağırlıklı model nasıl çalışır?
Çalışma mantığı basittir. Ağırlıkları indirir, bir çalıştırma yazılımıyla belleğe yükler ve modele bir girdi verirsiniz. Model bu girdiyi ağırlıklarıyla işler ve bir çıktı üretir. Bu aşamaya çıkarım (inference) denir; ayrıntıyı yapay zekada inference yazımızda bulabilirsiniz.
Kapalı bir API modelinde bu işlem sağlayıcının sunucularında olur. Siz yalnızca istek gönderir, cevap alırsınız. Açık ağırlıklı modelde ise işlem sizin seçtiğiniz makinede yürür. Bu makine bir dizüstü bilgisayar, şirket içi bir sunucu ya da kiraladığınız bir bulut makinesi olabilir.
Örneğin müşteri e-postalarını sınıflandıran küçük bir ekip düşünün. Ekip, ağırlıkları kendi sunucusuna indirir ve e-postalar dışarı çıkmadan modele verir. Bu bir örnek senaryodur, ancak yaklaşımın temel fikrini gösterir: model sizde çalışır, veri sizde kalır.
Çalıştırma kısmını kolaylaştıran araçlar da vardır. Ollama kurulum rehberimizde bu yolun pratik adımlarını anlattık. Burada tekrar etmeyeceğiz.
Çıkarım sırasında modelin bir seferde ne kadar metni okuyabildiği de önemlidir. Bu kavrama bağlam penceresi denir. Ayrıntısı için bağlam penceresi yazımıza göz atın. Sınır değerini ise modelin resmi belgesinden kontrol edin.
Model kartı ve model deposu ne işe yarar?
Ağırlıklar genellikle bir model deposunda yayımlanır. Depoda ağırlık dosyalarının yanında bir model kartı bulunur. Kart, modelin ne için eğitildiğini, hangi lisansla sunulduğunu ve bilinen sınırlarını kısaca anlatan bir belgedir.
Kartı okumak, indirme kararından önceki ilk adımdır. Örneğin lisans etiketi orada yer alır ve kullanım amacı hakkında ipuçları verir. Ancak kart, hukuki metnin yerini tutmaz; yani özetle yetinmeyip tam lisans metnini de açmalısınız.
- Lisans adı ve tam metne giden bağlantı.
- Modelin hedeflenen kullanım alanları ve bilinen sınırları.
- Eğitim verisi hakkında verilen bilgi düzeyi.
- Çalıştırma için önerilen yazılım ve dosya biçimi.
Açık ağırlıklı model ile açık kaynak yapay zeka aynı şey mi?
Hayır, aynı şey değildir. Açık ağırlıklı model, yalnızca ağırlıkların erişilebilir olduğu anlamına gelir. Açık kaynak yapay zeka ise çok daha geniş bir söz verir: kullanma, inceleme, değiştirme ve paylaşma özgürlükleri ile bunları mümkün kılan bileşenlerin açık olması.
Günlük dilde iki terim sık karışır. Bir sağlayıcı "modelimizi açtık" dediğinde çoğu zaman ağırlıkları yayımlamıştır. Eğitim verisi hakkında ayrıntı vermemiş ve kullanıma şart koyan bir lisans eklemiş olabilir. Bu durumda model açık ağırlıklıdır, ancak OSI tanımına uyan bir açık kaynak sistem sayılmayabilir.
Bu ayrım pazarlama açısından da önemlidir. "Açık kaynak" etiketi güven verir. Ancak etiketin arkasındaki lisansı okumadan bu güveni aktarmak, ileride sizi lisans uyumsuzluğuyla karşı karşıya bırakabilir.
Örneğin bir ürün sayfanızda "açık kaynak yapay zeka kullanıyoruz" yazarsanız, bu ifadenin hangi tanıma dayandığını açıklayabilmelisiniz. Aksi halde müşteriniz ya da ortağınız sizden şeffaflık bekler ve beklenti ile gerçek arasında fark çıkar. Dolayısıyla "açık ağırlıklı" demek, çoğu zaman daha dürüst ve daha doğrudur.
OSI Açık Kaynak Yapay Zeka Tanımı ne diyor?
Open Source Initiative (OSI) Açık Kaynak Yapay Zeka Tanımı dört özgürlük sayar. Sistemi herhangi bir amaçla izin istemeden kullanabilmek, nasıl çalıştığını ve bileşenlerini inceleyebilmek, çıktısını değiştirmek dahil her amaçla değiştirebilmek ve değiştirilmiş ya da değiştirilmemiş haliyle paylaşabilmek.
Bu özgürlüklerin kullanılabilmesi için "değişiklik yapmak için tercih edilen biçim" açık olmalıdır. Tanım bunu üç bileşene ayırır:
- Veri bilgisi: Eğitim verisinin kaynağını, seçimini ve etiketlenmesini anlatan ayrıntılı belge. Amaç, yetkin birinin büyük ölçüde eşdeğer bir sistem kurabilmesidir.
- Kod: Sistemi eğitmek ve çalıştırmak için kullanılan tam kaynak kodu.
- Parametreler: Ağırlıklar ve diğer yapılandırma ayarları.
Tanıma göre bu bileşenlerin hepsi OSI onaylı koşullarla sunulmalıdır. Dolayısıyla yalnızca üçüncü maddeyi, yani parametreleri açmak bu ölçütü karşılamaz.
Açık ağırlıklı modelin lisansında hangi kısıtlar olabilir?
Lisans, açık ağırlıklı modelin en kritik parçasıdır. Çünkü ağırlıklara erişmek, onları istediğiniz gibi kullanabileceğiniz anlamına gelmez. Her sağlayıcı kendi şartlarını koyar ve bu şartlar modelden modele değişir. Bu nedenle genel bir kural yerine belgeyi okumanız gerekir.
Sahada karşılaştığımız kısıt türleri şunlardır:
- Ticari kullanım şartları: Bazı lisanslar ticari kullanıma izin verir, bazıları yalnızca araştırma ya da eğitim amacıyla sınırlar.
- Kullanıcı eşiği: Ürününüz belirli bir kullanıcı sayısını aştığında ek izin ya da ayrı sözleşme gerekebilir.
- Kabul edilebilir kullanım politikası: Belirli kullanım alanlarını yasaklayan ek bir metin olabilir.
- Türev model kuralları: Uyarladığınız modelin adında kaynak modeli belirtme ya da aynı koşulları sürdürme zorunluluğu getirilebilir.
- Çıktıyla başka model eğitme sınırı: Bazı lisanslar, çıktıların rakip bir modeli eğitmek için kullanılmasını yasaklar.
Eşik ve süre gibi değerleri bu yazıda yazmıyoruz; güncel şartları sağlayıcının resmi lisans metninden kontrol edin.
Bu kısıtların hepsi her modelde bulunmaz. Kimi lisanslar çok serbesttir, kimileri ise oldukça sınırlayıcıdır. Önemli olan, kısıtı işinize uygulayıp uygulamadığınızı baştan görmenizdir. Bir ürünü piyasaya çıkardıktan sonra lisansı fark etmek, geri dönüşü pahalı kılar.
Lisansı doğru okumak için hangi adımları izlemelisiniz?
Lisans metni uzun ve hukuki bir dille yazılır. Yine de sistemli bir okuma, risklerin çoğunu önceden gösterir. Hugging Face lisans belgesi lisansın model deposunun kart bölümünde bir tanımlayıcıyla belirtildiğini ve diğer kullanıcıların lisansa saygı göstermesi gerektiğini söyler. Dolayısıyla ilk durak model kartı olmalıdır.
- Modelin resmi sayfasında lisans adını ve tam metnini bulun.
- Ticari kullanıma izin verilip verilmediğini okuyun.
- Kullanıcı eşiği ya da ek izin şartı olup olmadığını arayın.
- Kabul edilebilir kullanım politikasını ayrıca açıp inceleyin.
- Türev model ve çıktı kullanımı maddelerini not edin.
- Kararı hukuk danışmanınızla doğrulayın.
Not: Bu yazı hukuki danışmanlık değildir. Lisans yorumu için hukuk danışmanınıza başvurun.
Açık ağırlıklı model kapalı API modelinden nasıl ayrılır?
Kapalı API modelinde ağırlıklara hiç erişemezsiniz. Modele sağlayıcının sunduğu uç nokta üzerinden ulaşır, kullandığınız kadar ödersiniz. Açık ağırlıklı modelde ise dosyalar sizdedir. Ancak bu özgürlük, işletme sorumluluğunu da size geçirir. Aşağıdaki tablo farkları özetler.
| Özellik | Kapalı API modeli | Açık ağırlıklı model | OSI tanımına uyan açık kaynak yapay zeka |
|---|---|---|---|
| Ağırlıklara erişim | Yok | Var, lisans şartlarıyla | Var, OSI onaylı koşullarla |
| Eğitim verisi bilgisi | Genellikle sınırlı | Değişir, çoğu zaman sınırlı | Ayrıntılı belge zorunlu |
| Eğitim kodu | Kapalı | Değişir | Açık olmalı |
| Çalıştığı yer | Sağlayıcının sunucusu | Sizin seçtiğiniz makine | Sizin seçtiğiniz makine |
| Güncelleme sorumluluğu | Sağlayıcı | Siz | Siz ya da topluluk |
| Veri akışı | Sağlayıcıya gider | Sizde kalabilir | Sizde kalabilir |
| Maliyet yapısı | Kullanıma göre ödeme | Donanım ve işletme gideri | Donanım ve işletme gideri |
Tablodaki "değişir" ifadeleri bilinçlidir. Her sağlayıcı farklı davranır ve bu bilgi hızla eskir. Kesin durumu modelin resmi belgesinden doğrulayın.
Tabloyu okurken bir noktayı unutmayın. Sütunlar "iyi" ya da "kötü" sıralaması yapmaz. Her yaklaşımın kendi artıları ve yükleri vardır. Yani seçim, hangi yükü taşımaya hazır olduğunuza bağlıdır. Bazı ekipler de karma bir yol izler: hassas işleri kendi modeliyle, geri kalanı API ile yürütür.
Açık ağırlıklı model nedir sorusu komşu terimlerle nasıl karışır?
Bu terim çoğunlukla başka kavramlarla birlikte geçer. Bunlar bu yazının konusu değildir; yine de farkı bilmek, doğru aramayı yapmanıza yardım eder. Tablo kısa bir harita sunar ve ayrıntı için ilgili yazılarımıza yönlendirir.
| Terim | Kısaca ne anlatır? | Açık ağırlıkla ilişkisi |
|---|---|---|
| Büyük dil modeli (LLM) | Metin üreten büyük yapay zeka modeli türü | Açık ya da kapalı olabilir; açıklık bir model türü değil, dağıtım biçimidir |
| Çıkarım (inference) | Eğitilmiş modeli çalıştırıp cevap üretmek | Ağırlıkları indirince çıkarımı siz yürütürsünüz |
| Kuantizasyon | Ağırlıkları daha küçük sayı biçimine çevirmek | Ağırlıklara erişiminiz varsa modeli küçültebilirsiniz |
| İnce ayar (fine-tuning) | Hazır modeli kendi verinizle uyarlamak | Ağırlıklar açıksa mümkündür, lisans izin vermelidir |
| Açık kaynak yapay zeka | OSI tanımındaki özgürlükleri sağlayan sistem | Daha sıkı bir ölçüttür; her açık ağırlıklı model buna uymaz |
Açık ağırlıklı modeli kendi sunucunuzda çalıştırmak ne gerektirir?
Üç şeye ihtiyacınız vardır: ağırlıklar, bir çalıştırma yazılımı ve yeterli donanım. Donanım tarafında belirleyici olan, modelin belleğe sığıp sığmadığıdır. Büyük modeller çoğunlukla güçlü bir grafik işlemci (GPU) ister. Küçük ya da küçültülmüş modeller ise daha mütevazı makinelerde çalışabilir.
Bellek ihtiyacını kesin rakamla vermiyoruz, çünkü model ve biçime göre değişir. Bunun yerine, sağlayıcının belgesindeki gereksinimleri okuyun. Ayrıca GPU sunucu kiralama rehberimiz kiralama seçeneklerini anlatır.
Çalıştırdıktan sonra işiniz bitmez. İstekleri sıraya koymak, çıktıları izlemek, hataları yakalamak ve erişimi sınırlamak gerekir. Bu yüzden tek bir deneme ile gerçek üretim ortamı arasında ciddi bir fark vardır. Özel kurulum ihtiyacınız varsa yerel LLM kurulumu çözüm sayfamıza göz atabilirsiniz.
Küçük başlayın. Önce tek bir iş akışı için denemeyi bir test makinesinde yürütün, çıktıları gözle kontrol edin ve ancak sonra gerçek kullanıcılara açın. Böylece donanım ve işletme yükünü gerçek ölçüyle görürsünüz.
Maliyet açısından açık ağırlıklı model ile API nasıl karşılaştırılır?
Maliyeti yalnızca birim fiyat üzerinden karşılaştırmak yanıltıcıdır. API tarafında kullandığınız kadar ödersiniz ve altyapıyla ilgilenmezsiniz. Açık ağırlıklı modelde ise donanım, enerji, izleme ve bakım emeği eklenir. Bu yüzden iki yaklaşımın maliyet eğrisi farklıdır.
Düşük ve dalgalı kullanımda API genellikle daha esnektir, çünkü boşta bekleyen donanım gideri yoktur. Yüksek ve sürekli kullanımda ise sabit donanım gideri daha öngörülebilir olabilir. Hangi eşiğin hangi yöne döndüğü, tamamen sizin iş yükünüze bağlıdır.
Bu nedenle kendi iş yükünüzle bir örnek hesap yapmanızı öneririz. Aylık istek sayısını, ortalama girdi uzunluğunu ve gereken donanımı yazın; ardından sağlayıcının güncel fiyat sayfasındaki değerleri ekleyin. Rakamları bu yazıda vermiyoruz, çünkü hızla eskirler. Token ve API maliyeti yazımız hesaba başlamak için iyi bir temel sunar.
Açık ağırlıklı modelin avantajları neler?
Birinci avantaj denetimdir. Modeli hangi sürümde tutacağınıza, ne zaman güncelleyeceğinize ve nerede çalıştıracağınıza siz karar verirsiniz. Sağlayıcı bir modeli emekliye ayırdığında işiniz bir gecede bozulmaz.
İkinci avantaj veri yolculuğudur. Hassas metinleri dışarıdaki bir servise göndermek istemeyen kurumlar için model sizde çalışır, veri sizde kalır. Bu, uyumluluk tartışmalarını kolaylaştırabilir, ancak tek başına yeterli bir güvence değildir.
- Özelleştirme: Lisans izin veriyorsa modeli kendi alanınıza uyarlayabilirsiniz.
- Maliyet tahmini: Çok yüksek ve sürekli kullanımda sabit donanım gideri, kullanım başına ödemeden daha öngörülebilir olabilir.
- Bağımsızlık: Tek bir sağlayıcıya bağlı kalma riskini azaltırsınız.
- İnceleme: Araştırmacılar ve geliştiriciler model davranışını daha derinden test edebilir.
Bu avantajların hepsi koşulludur. Örneğin özelleştirme, lisansın ve verinizin buna izin vermesine bağlıdır. Maliyet avantajı ise yüksek ve düzenli kullanımda ortaya çıkar. Yani avantajları kendi durumunuza göre tartın.
Açık ağırlıklı modelin sınırları ve riskleri neler?
Her avantajın bir bedeli vardır. En belirgin sınır, işletme yüküdür. Donanım, kurulum, izleme ve güncelleme artık sizin işinizdir. Küçük bir ekip için bu yük, API faturasından daha pahalıya gelebilir.
İkinci sınır, performans beklentisidir. Her açık ağırlıklı model, her kapalı modelle aynı kalitede olmaz. Bu karşılaştırma görev ve zamana göre değiştiği için bir sıralama vermiyoruz. Kendi örnek görevlerinizle denemek en doğru yöntemdir.
Üçüncü sınır şeffaflıktır. Eğitim verisi belgelenmemişse telif, önyargı ve içerik riskini ölçmek zorlaşır. Yapay zeka önyargısı yazımız bu konuya ayrıca değiniyor. Bunun yanında lisansın sonradan değişme ihtimalini de hesaba katın.
Dördüncü sınır, topluluk ve destek konusudur. Kapalı serviste bir hata olduğunda destek ekibine yazarsınız. Açık ağırlıklı modelde ise belge, topluluk ve kendi mühendisliğiniz devreye girer. Bu yüzden ekipte konuyu sahiplenecek birinin olması gerekir.
Güvenlik ve güncelleme sorumluluğu kimde?
Açık ağırlıklı modelde sorumluluk sizdedir. Kapalı bir serviste güvenlik yamalarını ve bariyerleri sağlayıcı yönetir. Kendi sunucunuzda ise model dosyasının kaynağını doğrulamak, çalıştırma yazılımını güncel tutmak ve erişimi kısıtlamak sizin işinizdir.
Dosya biçimi de güvenliği etkiler. Safetensors belgesi Safetensors biçimini, tensörleri pickle yerine güvenli saklamak için geliştirilmiş basit ve hızlı bir biçim olarak tanıtır. Bu nedenle bilinmeyen kaynaklardan gelen dosyalarda biçime dikkat edin.
Ayrıca modelin kendisi de saldırıya açıktır. Prompt injection ve guardrail yazılarımız, modelin etrafına nasıl koruma koyacağınızı anlatır. Açık ağırlıklı model bu korumaları kendiliğinden getirmez.
Güncelleme tarafında da benzer bir düzen kurun. Model, çalıştırma yazılımı ve bağımlılıklar için bir sürüm kaydı tutun. Değişikliği önce deneme ortamında sınayın, ardından üretime alın. Böylece bir güncelleme beklenmedik biçimde çıktı kalitesini bozarsa eski sürüme dönebilirsiniz.
Gizlilik ve veri konumu için hangi soruları sormalısınız?
Modelin sizde çalışması, verinizin otomatik olarak güvende olduğu anlamına gelmez. Önce verinin nerede durduğunu, kimlerin eriştiğini ve ne kadar süre saklandığını netleştirmelisiniz. Kayıtlar, günlük dosyaları ve yedekler de veri akışının parçasıdır.
Ayrıca modelin ürettiği çıktılar da hassas bilgi içerebilir. Örneğin bir destek asistanı, geçmiş yazışmalardan öğrendiği bir ayrıntıyı başka bir müşteriye gösterebilir. Bu yüzden erişim kuralları ve çıktı denetimi gerekir.
- Hangi veri modele girecek, hangisi asla girmeyecek?
- Girdi ve çıktı kayıtları nerede saklanacak, ne kadar süreyle?
- Modele kim, hangi yetkiyle erişecek?
- Çıktılar insan kontrolünden geçecek mi?
Kişisel veri söz konusuysa veri koruma uzmanınıza danışın. Bu yazı hukuki danışmanlık değildir.
Açık ağırlıklı model nedir, hangi işletmeler için uygundur?
Uygunluk, ihtiyacınıza bağlıdır. Peki açık ağırlıklı model nedir sorusunun cevabı sizin iş yükünüz için ne anlama gelir? Aşağıdaki durumlar açık ağırlıklı modeli düşündürebilir. Bu örnekler birer örnek senaryodur, garanti ya da sonuç vaadi değildir.
- Müşteri yazışmalarının şirket dışına çıkmasını istemeyen bir destek ekibi.
- Belirli bir sektör diline göre modeli uyarlamak isteyen bir yazılım ekibi.
- İnternet bağlantısının sınırlı olduğu bir ortamda çalışması gereken bir uygulama.
- Çok yüksek ve düzenli istek hacmi olan bir iç araç.
Buna karşılık, düşük hacimli ve hızlı denenmesi gereken bir fikir için kapalı bir API çoğu zaman daha pratiktir. Kısacası soru "hangisi daha iyi" değil, "hangisi bu işe uygun" olmalıdır. Şirket belgelerinizle çalışan bir yapı düşünüyorsanız RAG yazımız iki seçenekle de nasıl çalıştığını gösterir.
Bir başka senaryo, tekrar eden ve düşük riskli işlerdir. Örneğin gelen taleplerin etiketlenmesi ya da kısa özet çıkarma gibi görevlerde küçük bir model yeterli olabilir. Bu da donanım yükünü azaltır. Yine de bu bir örnek senaryodur; kendi verinizle test etmeden karar vermeyin.
Açık ağırlıklı modeller ajan ve RAG yapılarıyla nasıl birleşir?
Bir model tek başına bir ürün değildir. Gerçek uygulamalarda model; belge arama, araç çağırma ve kural katmanlarıyla birlikte çalışır. Bu katmanlar kapalı ya da açık ağırlıklı fark etmeksizin benzer biçimde kurulur.
Örneğin şirket belgelerinde arama yapan bir asistan, önce ilgili paragrafı bulur ve modele bağlam olarak verir. Bu yaklaşımı RAG yazımızda anlattık. Araç çağıran yapılar için ise function calling yazımız yol gösterir.
Açık ağırlıklı modeli bu yapılara bağlarken dikkat edilecek nokta, modelin araç çağırma ve biçimli çıktı becerisidir. Her model bu konuda aynı düzeyde değildir. Bu yüzden seçim aşamasında kendi akışınızı küçük ölçekte deneyin.
Açık ağırlıklı modeli kendi verinizle uyarlayabilir misiniz?
Çoğu zaman evet, ancak iki şart vardır. Birincisi lisansın değiştirmeye ve türev üretmeye izin vermesidir. İkincisi, elinizdeki verinin bu amaçla kullanılabilir olmasıdır. Kişisel veri içeren belgeler için ek önlemler gerekir.
Uyarlamanın birden fazla yolu vardır. Kimi zaman modeli yeniden eğitmek yerine ona doğru belgeyi bulup göstermek yeterlidir. Kimi zaman da küçük bir ek katman eğitmek daha mantıklıdır. Bu seçimi ince ayar ve LoRA yazımızda ayrıntılı ele aldık.
Uyarladığınız modeli paylaşmak istiyorsanız lisansın türev kurallarını yeniden okuyun. Orijinal şartlar, yeni modeliniz için de geçerli olabilir.
Uyarlama sonrası kalite kontrolü de önemlidir. Modelin yeni davranışını eski örneklerle karşılaştırın ve beklenmedik sapmaları not edin. Çünkü uyarlama bazen bir alanda iyileştirirken başka bir alanda kaliteyi düşürebilir.
Açık ağırlıklı model seçmeden önce hangi kontrol listesini uygulamalısınız?
Seçim yapmadan önce aşağıdaki adımları sırayla uygulayın. Liste kavramsaldır; ayrıntıyı kendi projenize göre doldurmalısınız.
- İş hedefini ve kabul edilebilir kalite düzeyini yazın.
- Lisansı baştan sona okuyun ve ticari kullanım iznini doğrulayın.
- Modelin resmi belgesinde donanım gereksinimlerini kontrol edin.
- Kendi örnek görevlerinizle küçük bir deneme yapın.
- Veri akışını ve gizlilik gereksinimlerini haritalayın.
- Güvenlik önlemlerini ve erişim kurallarını belirleyin.
- Güncelleme ve sürüm yönetimi için sorumlu bir kişi atayın.
- Geri dönüş planı hazırlayın; gerekirse kapalı bir API'ye dönebilmelisiniz.
Bu listeyi proje başında bir kez, her büyük sürüm değişiminde de yeniden gözden geçirin.
Listeyi ekibinizle paylaşın ve her maddeye bir sorumlu atayın. Sorumlusu olmayan madde, çoğu zaman yapılmayan maddedir. Ayrıca kararlarınızı yazılı tutun; böylece birkaç ay sonra "neden bu modeli seçtik?" sorusunun cevabı hazır olur.
Açık ağırlıklı modelde sık yapılan hatalar neler?
Birçok ekip açık ağırlıklı model nedir sorusunu ancak seçimi yaptıktan sonra sorar. Sahada en sık gördüğümüz hata, "açık" kelimesinin her şeyi serbest bıraktığını sanmaktır. Lisansı okumadan üretim sistemine model koyan ekipler, sonradan beklenmedik bir kısıtla karşılaşabilir.
İkinci hata, maliyeti yalnızca model dosyasına bakarak tahmin etmektir. Oysa donanım, enerji, izleme ve bakım emeği de gideridir. Üçüncü hata ise güvenliği "model sizde olduğu için güvende" diye varsaymaktır.
- Lisans metni yerine yalnızca model kartının özetini okumak.
- Kalite karşılaştırmasını yalnızca genel sıralamalara bakarak yapmak.
- Bilinmeyen kaynaktan indirilen dosyayı doğrulamadan çalıştırmak.
- Güncelleme sorumlusu belirlememek.
- Geri dönüş planı hazırlamamak.
Telif, kişisel veri ve hukuk tarafında nelere dikkat etmelisiniz?
Açık ağırlıklı model, hukuki sorumluluğu ortadan kaldırmaz. Eğitim verisi belgelenmemişse telif riskini ölçmek zorlaşır. Modele kişisel veri verecekseniz veri koruma mevzuatına uyumu ayrıca planlamanız gerekir. Çıktıların ticari kullanımı için de lisans şartlarına bakın.
Üretilen içeriklerin telif durumu ayrı bir konudur. Bunun için yapay zeka görsellerinin ticari kullanımı yazımıza bakabilirsiniz. Metin ve görsel arasında farklar olabileceğini unutmayın.
Ayrıca modeli bir müşteri ürününün içine koyuyorsanız, kullanıcıya yapay zeka kullandığınızı açıkça söylemek iyi bir pratiktir. Gizlilik metninizi ve kullanım şartlarınızı da buna göre güncelleyin. Bu adımlar, olası güven sorunlarını baştan azaltır.
Bu bölüm hukuki danışmanlık değildir. Ticari bir ürün geliştiriyorsanız lisansı ve veri işleme sürecini hukuk danışmanınızla birlikte gözden geçirin.
Ekibimiz açık ağırlıklı model projelerinde nasıl destek olur?
Biz Talha Aslan ve ekibi olarak, İstanbul merkezli bir dijital pazarlama ekibiyiz ve yapay zekayı işletme süreçlerine bağlama konusunda danışmanlık veriyoruz. Önce ihtiyacı anlar, ardından kapalı API, açık ağırlıklı model ve karma yaklaşımları birlikte tartarız.
Süreçte lisans okuma, deneme görevleri hazırlama ve güvenlik kontrol listesi oluşturma gibi adımları birlikte yürütürüz. Genel çerçeve için yapay zeka otomasyon hizmet sayfamıza bakabilirsiniz. Sonuç garantisi vermeyiz; yalnızca şeffaf bir değerlendirme sunarız.



