Yapay zeka çözümü

Yerel LLM Kurulumu ve Özel Yapay Zeka

Yerel LLM, büyük dil modelinin bir bulut sağlayıcısının sunucusunda değil, sizin donanımınızda ya da sizin adınıza kiralanan bir sunucuda çalışmasıdır. Sorular, belgeler ve yanıtlar şirketinizin denetimindeki ağda kalır. Biz kurulumu bir model indirme işi olarak değil; donanım seçimi, yetkilendirme, kayıt ve bakımıyla birlikte işleyen bir altyapı olarak ele alıyoruz.

Açık ağırlıklı modellerKendi sunucunuzdaOpenAI uyumlu APIŞirket hesabıyla girişTürkçe test seti
  • Google Partner
  • Talha Aslan ve ekibi
  • Türkçe, İngilizce, Almanca

Kısaca

Yerel LLM kurulumu, açık ağırlıklı bir dil modelini şirketinizin kendi sunucusunda ya da yurt içindeki özel bir sunucuda çalıştırıp çalışanlarınızın ve yazılımlarınızın kullanımına açmaktır. Sözleşmeler, hasta ya da müşteri dosyaları ve araştırma geliştirme belgeleri üçüncü taraf bir modele gönderilmeden özetlenir, aranır ve yanıtlanır. Model, kendi işlerinizden hazırlanan Türkçe test setiyle seçilir; erişim şirket hesaplarıyla sınırlanır, kullanım yazılı bir kayıt politikasıyla izlenir.

Talha Aslan ve ekibiSon güncelleme:

Ne zaman gerekir

Yerel modele hangi durumlarda ihtiyaç doğar?

Her şirketin kendi model sunucusuna ihtiyacı yoktur. Veri hassas değilse ve kullanım hacmi düşükse, verinin eğitimde kullanılmadığı ücretli bir bulut API katmanı çoğu zaman daha hızlı devreye girer ve daha az bakım ister. Aşağıdaki durumlardan biri sizi tarif ediyorsa yerel kurulum ciddi bir seçenektir.

Gizli belgeler dışarı gönderilemiyor

Sözleşmeler, müvekkil dosyaları, hasta notları ya da maaş bordroları müşteri sözleşmesi, meslek kuralı veya şirket politikası gereği üçüncü taraf bir sunucuya gidemiyor. Yapay zekanın en çok işe yarayacağı belgeler, hiç kullanılamayan belgeler oluyor.

Sağlayıcı modeli değiştirince sonuçlar değişiyor

Bulut sağlayıcıları modellerini güncelliyor, eski sürümleri belli bir tarihten sonra kullanımdan kaldırabiliyor. Özenle ayarlanmış bir sınıflandırma ya da özetleme akışı, sizin kararınız olmadan farklı sonuç vermeye başlayabiliyor.

Yüksek hacimli işlerde fatura öngörülemiyor

Her gün binlerce kaydı sınıflandırmak ya da uzun belgeleri özetlemek gibi tekrarlayan işlerde bulut kullanım ücreti hacimle birlikte büyüyor. Bütçe, işin getirisinden çok token sayısına bağlı kalıyor.

Ağ internete kapalı ya da kısıtlı

Üretim tesisi, laboratuvar ya da yüksek güvenlikli kurum ağları gibi dış bağlantısı sınırlı ortamlarda bulut modeline erişim teknik olarak mümkün değil ya da güvenlik birimi tarafından onaylanmıyor.

Önerdiğimiz yapı

Doğru boyutta model, şirket ağında, yetkiyle açılan erişim

İşe modelden değil, kullanım listesinden başlıyoruz: hangi ekip hangi belgeyle ne yapacak, kaç kişi aynı anda kullanacak, yanıtın ne kadar hızlı gelmesi gerekiyor. Bu listeden gerçek örneklerle bir Türkçe test seti çıkarıyor, aday açık ağırlıklı modelleri bu sette karşılaştırıyoruz. Donanım ihtiyacı da tahmine değil, bu ölçüme dayanıyor.

Seçilen modeli Ollama ya da vLLM gibi bir sunum katmanıyla çalıştırıyoruz; ikisi de OpenAI uyumlu bir API sunduğu için mevcut araçlarınız ve kendi yazılımlarınız tanıdık bir arayüzle bağlanabiliyor. Belgelerden yanıt gerekiyorsa kurumsal bilgi asistanı aynı sunucuda, kullanıcının yetkisine göre çalışır. Kurulum, entegrasyon ve bakım yapay zeka otomasyonu hizmetimizin parçası olarak yürüyor.

Yerel model tek başına bir ürün değildir; çoğu zaman başka bir çözümün motoru olur. Aynı sunucu, müşteri sorularını yanıtlayan bir AI chatbot için de kullanılabilir. Model etrafında yeni ekranlar, panel ya da iş uygulaması gerekiyorsa bu kısmı özel yazılım geliştirme kapsamında planlıyoruz.

  • Model Türkçe test setiyle seçilir
  • Sunucu sizin ağınızda ya da seçtiğiniz veri merkezinde
  • Uygulamalarınıza standart API ile bağlantı
  • Erişim şirket hesabı ve rolle sınırlı
  • Kayıt, izleme ve sürüm geri alma
Yerel LLM kurulumunun katmanları
  1. Sohbet arayüzü ve APIÇalışanlar için web arayüzü, yazılımlar için OpenAI uyumlu uç nokta
  2. Kimlik ve yetkiŞirket hesabıyla giriş, rol bazlı erişim
  3. Belge diziniYerel vektör dizini, yetkiye göre süzülen arama
  4. Model sunucusuSeçilen açık ağırlıklı model, niceleme ve kapasite ayarı
  5. Kayıt ve izlemeKim, ne zaman, hangi modelle; yanıt süresi ve hata alarmı
  6. Bakım ve sürümModel güncellemesi önce test setinden geçer, gerekirse geri alınır

Katmanlar birbirinden ayrı kurulur; model değiştiğinde arayüz, yetkiler ve belge dizini yerinde kalır.

Hangi kurulum?

Kurulumun ölçeği kullanıcı sayısına ve veriye göre belirlenir

Aynı model tek bir iş istasyonunda da, şirket geneline hizmet veren bir sunucuda da çalışabilir; farkı eşzamanlı kullanım ve verinin hassasiyeti belirler.

Pilot

Tek ekip için deneme kurulumu

Hukuk, finans ya da teknik ekip gibi tek bir birimin belirli işleri için güçlü bir iş istasyonunda başlayan kurulum.

  • Birkaç modelin Türkçe test setiyle kıyası
  • Sınırlı bir belge kümesiyle deneme
  • Yanıt süresi ve kalite raporu

Şirket geneli

Ortak model sunucusu

Birden fazla birimin aynı anda kullandığı, şirket hesabıyla girilen ve iç uygulamalara API ile açılan sunucu kurulumu.

  • Eşzamanlı kullanıma uygun sunum katmanı
  • Birim ve role göre erişim
  • Kullanım ve kapasite panosu

Kapalı ağ

İnternete çıkmayan kurulum

Dış bağlantısı olmayan ortamlar için model, güncelleme ve belgelerin kontrollü aktarımla taşındığı yalıtılmış yapı.

  • Dışa giden bağlantı yok
  • Model dosyalarının özet değeriyle doğrulanması
  • Güncellemelerin onaylı paketlerle aktarımı

Olması gerekenler

Yerel kurulumu güvenli kılan parçalar

Modeli şirkete almak tek başına veriyi korumaz; korumayı ağ, yetki, kayıt ve lisans kararları sağlar.

Model lisansının kontrolü

Açık ağırlıklı modellerin lisansları aynı değildir. Örneğin Qwen3 Apache 2.0 lisansıyla yayımlanırken Llama 3.1 kendi topluluk lisansına ve kabul edilebilir kullanım politikasına bağlıdır; atıf gibi koşullar içerir. Lisansı ticari kullanımınıza göre kurulumdan önce okuyoruz.

Model dosyasının kaynağı ve biçimi

Model yalnız üreticinin resmi deposundan indirilir ve özet değeriyle doğrulanır. Mümkün olduğunda safetensors biçimi seçilir; pickle tabanlı dosyalar yüklenirken kod çalıştırabildiği için güvenilmeyen kaynaktan alınmaz.

Ağ yalıtımı ve şifreli bağlantı

Model API'si internete açılmaz; yalnız şirket ağından ya da VPN üzerinden, şifreli bağlantı ve kimlik doğrulamayla erişilir. Yönetici erişimi ayrı hesaplarla ve ayrı kayıtla tutulur.

KVKK 12. madde tedbirleri

KVKK'nın 12. maddesi veri sorumlusundan hukuka aykırı erişimi önleyecek teknik ve idari tedbirleri bekler; veri sizin adınıza başka biri tarafından işleniyorsa bu tedbirlerden onunla birlikte sorumlu olursunuz. Kiralık sunucuda barındırma firmasının yetkisi bu yüzden sözleşmeyle sınırlanır.

Sunucunun yeri hukuki bir karardır

Sunucu yurt dışındaysa kişisel veri yurt dışına aktarılmış olur; KVKK'nın 9. maddesindeki güvencelerden biri gerekir ve standart sözleşme imzadan itibaren beş iş günü içinde Kurum'a bildirilir. Yurt içi barındırma bu adımı ortadan kaldırabilir; son değerlendirmeyi hukukçunuz yapar.

Kayıtlar da kişisel veridir

İsteklerin ve yanıtların tam metni kişisel veri içerebilir. Neyin kaydedileceği, kimin okuyabileceği ve ne kadar saklanacağı yazılı belirlenir; çoğu kurulumda tam metin yerine özet ölçümler yeterlidir.

Kaynaklar: 6698 sayılı Kişisel Verilerin Korunması Kanunu, madde 9 ve 12 (Mevzuat Bilgi Sistemi) · KVKK: Kişisel Verilerin Yurt Dışına Aktarılması Rehberi · Llama 3.1 Community License (model kartı) · Qwen3 model kartı, Apache 2.0 lisansı · Hugging Face: safetensors belgeleri · Ollama: OpenAI uyumluluğu

Karşılaştırma

Bulut model API'si mi, yerel LLM mi?

KonuBulut model API'siYerel LLM kurulumu
Verinin gittiği yerSağlayıcının sunucusu, sağlayıcının koşullarıylaSizin sunucunuz ya da sizin adınıza kiralanan sunucu
Model kalitesiEn güçlü güncel modellere erişimAçık ağırlıklı modeller; karmaşık akıl yürütmede geride kalabilir
BaşlangıçHesap açıp hemen kullanımÖnce donanım, kurulum ve test gerekir
Kullanım maliyetiHacimle artan token ücretiDonanım, enerji ve bakım; hacim arttıkça istek başına pay azalır
Model sürümüSağlayıcının takvimine göre değişirSiz değiştirene kadar aynı kalır
İnternet bağımlılığıBağlantı yoksa hizmet yokKapalı ağda da çalışabilir

Hızlı kontrol

Yerel LLM kurulum kapsamı

Olmazsa olmaz: süreciniz hazır mı?

0 / 6 hazır İşaretledikçe otomasyona hazırlığınız burada görünür.

İhtiyaca göre eklenir

  • Yetkiye göre süzülen belge arama
  • Çalışanlar için sohbet arayüzü
  • n8n ile iş akışı bağlantıları
  • Bulut modeline kontrollü yönlendirme
  • Belirli bir iş için ince ayar
  • İnternete kapalı ağ kurulumu

Bu listeden hangilerinin gerektiğini ön görüşmede birlikte seçiyoruz.

Önce yerel modele hangi işi vereceğinizi seçelim

Modelin üstleneceği üç gerçek işi ve bu işlerdeki belge türlerini yazın; uygun model ailesini, donanım seçeneklerini ve yazılı teklifi hazırlayalım.

Süreç

Keşiften canlıya dört adım

  1. Ön görüşme ve keşif

    Sürecinizi 15 dakikalık ücretsiz görüşmede dinleriz. Ardından ekibinizle görüşür, araç envanterini ve veri akışını çıkarır, fırsat listesini ve kapsamı onayınıza sunarız.

  2. Tasarım ve veri kontrolü

    Seçtiğimiz akışın adımlarını, onay noktalarını ve hata senaryolarını çizeriz. Hangi verinin hangi servise gittiğini belgeler, KVKK kontrol listesini sizinle birlikte gözden geçiririz.

  3. Kurulum ve test

    Akışı sizin hesaplarınızda kurar, gerçek örneklerle test ortamında deneriz. Onay eşiklerini ve alarmları ayarlar, ekibinizi eğitiriz.

  4. Canlıya alma ve izleme

    Akışı canlıya alır, ilk haftalarda yakından izleriz. Sürekli pakette her ay yeni akışlar ekler, bakımı yapar ve sonucu raporlarız.

Ücretsiz araçlar

Kurulum öncesi hazırlığı ücretsiz araçlarla yapın

Sunucunun enerji tüketimini hesaplayın, indirilen model dosyalarının özet değerini doğrulayın, belge uzunluklarını ölçün ve erişim için güçlü şifreler üretin.

Enerji

Elektrik Tüketimi Hesaplama

Cihazın watt değeri ve kullanım süresinden günlük, aylık ve yıllık kWh tüketimini ve fatura tutarını hesaplar; bekleme tüketimini ve birden çok cihazı toplar.

Güvenlik

MD5 ve SHA Hash Hesaplama

Metin ve dosyaların MD5, SHA-1, SHA-256 ve SHA-512 özetini tarayıcıda hesaplar; indirdiğiniz dosyanın hash değerini doğrular, dosyayı hiçbir yere yüklemez.

İçerik

Kelime & Karakter Sayacı

Kelime, karakter, cümle sayısı + Google, Instagram, X limitlerine canlı kontrol.

Güvenlik

Şifre Oluşturucu

Kriptografik rastgele güçlü şifre + güç göstergesi + kırılma süresi.

Güvenlik

SSL Sorgulama

Bir alan adının SSL sertifikasının geçerliliğini, bitiş tarihini, sağlayıcısını, zincirini ve TLS sürümlerini saniyeler içinde kontrol eder.

Ağ

IP Sorgulama

Herhangi bir IP'nin ülke, şehir, ISS ve ASN bilgisini görün.

Tüm ücretsiz araçlar

Nasıl çalışıyoruz

Ölçümle başlayan, sizde kalan kurulum

Yerel LLM alanında referans gösterebileceğimiz yayında bir müşteri kurulumumuz henüz yok; bu yüzden sonuç iddia etmek yerine çalışma yöntemimizi paylaşıyoruz. Otomasyon, yazılım ve web projelerimiz referanslar sayfasında yer alıyor.

Ölçmeden donanım yok

Sunucu önerisi, test seti hedef donanımda ya da benzer bir ortamda çalıştırıldıktan sonra yapılır.

Küçük pilot, sonra yayılım

İlk aşamada tek birim ve sınırlı bir belge kümesiyle başlanır; kalite ve kapasite doğrulanınca şirket geneline açılır.

Sağlayıcıdan bağımsız mimari

Uygulamalar modele standart bir API ile bağlandığı için model ailesi değiştiğinde ya da sonradan bir bulut modeli eklendiğinde yazılımı baştan yazmak gerekmez.

Her şey sizin adınıza

Sunucu, hesaplar, yapılandırma dosyaları ve çalıştırma belgeleri şirketinize teslim edilir; ekibiniz kurulumu bizden bağımsız sürdürebilir.

Tüm referanslar

Sık sorulanlar

Yerel LLM kurulumu hakkında sorulanlar

Burada olmayan bir sorunuz varsa yazın; yanıtını ve yazılı teklifi iletelim.

Sıradaki adım

Yerel modelinizin ilk kullanım alanını belirleyelim

Hangi belgelerle çalıştığınızı, modeli kaç kişinin kullanacağını ve mevcut sunucu altyapınızı anlatın; 15 dakikalık ücretsiz görüşmenin ardından kapsamı ve yazılı teklifi iletelim.

Kapsamlı rehber

Yerel LLM Kurulumunda Model, Donanım ve Güvenlik Kararları

Talha Aslan ve ekibiSon güncelleme: 14 dk okuma

Bir yerel LLM kurulumu çoğu şirkette tek bir indirme komutuyla başlar ve ilk hafta etkileyici görünür. Sorunlar ikinci ekip sisteme bağlandığında, ilk model güncellemesi geldiğinde ya da bir denetçi kayıtları sorduğunda ortaya çıkar. Bu rehber, sunucu siparişinden önce verilmesi gereken kararları sırasıyla ele alıyor: hangi iş, hangi model, hangi donanım ve hangi erişim kuralı.

Teknik terimleri ilk geçtikleri yerde kısaca açıklıyoruz. Amacımız size donanım önermek değil; teklif aldığınız ekibin doğru soruları sorup sormadığını ve kurulumun aylar sonra da yönetilebilir kalıp kalmayacağını kendi başınıza değerlendirebilmenizi sağlamak.

Yerel model kararını netleştiren dört soru

Yerel LLM kurulumu; verinin dışarı çıkamadığı, işin her gün tekrarlandığı ve sunucuyu sahiplenecek birinin bulunduğu şirketlerde anlamlıdır. Bu üç koşuldan biri eksikse önce bulut seçeneğini tartın. Kararı tek bir toplantıda, aşağıdaki sorulara yazılı yanıt vererek netleştirebilirsiniz.

  • Veri sınıfı: Modelin okuyacağı belgelerde kişisel veri, ticari sır ya da müşteriyle imzalanmış gizlilik maddesi var mı; varsa bu belgeler bugün hangi sistemde ve kimin erişimiyle duruyor.
  • Süreklilik: İş her gün mü yapılıyor, yoksa ayda birkaç kez yapılan bir analiz mi; seyrek işler için ayrılmış bir sunucu zamanının çoğunu boşta geçirir.
  • Sahiplik: İşletim sistemi yamalarını, disk doluluğunu ve alarmları izleyecek bir bilgi işlem sorumlusu var mı, yoksa bu iş bakım sözleşmesiyle dış ekibe mi verilecek.
  • Kalite eşiği: Sonuç piyasadaki en güçlü modele mi bağlı, yoksa belgeden alıntı yapan, sınıflandıran ya da kısa özet çıkaran bir modelin yetebileceği bir iş mi.

Veri hassas değil ama sistemlerinize bağlı bir yapay zeka istiyorsanız bulut modelleriyle yapay zeka entegrasyonu daha kısa sürede devreye girer. İki yolun birlikte çalıştığı karma yapı da mümkündür; mimari bölümünde ona değiniyoruz.

Yanıtlar belirsizse karar için erkendir. Birkaç hafta boyunca ekiplerin hangi belgeyle hangi işi yapmak istediğini not ettiği basit bir tablo bu belirsizliği giderir ve ileride test setinin hammaddesi olur.

Şirket tipine göre yerel modelin üstlendiği işler

Yerel model en çok sınırları belli ve belgeye dayanan işlerde fayda sağlar; serbest yaratıcılık isteyen işlerde bulut modelleriyle arasındaki fark belirginleşir. Aşağıdakiler gerçek müşteri vakaları değil, bu tür kurulumların tipik olarak hedeflendiği iş örnekleridir.

  • Hukuk bürosu: Sözleşme taslaklarında madde karşılaştırma ve eski dosyalarda ilgili paragrafı bulma; müvekkil sırrı nedeniyle bulut kullanımının tartışmalı olduğu durumlarda öne çıkar.
  • Mali müşavirlik: Banka hareketlerindeki açıklamalara hesap kodu önerme ve mükelleften gelen yazışmaları konuya göre ayırma.
  • Üretim tesisi: Bakım kayıtlarında arıza geçmişini sorgulama, kalite raporlarından tekrar eden kusurları çıkarma; tesis ağı dışa kapalıysa çoğu zaman tek seçenek budur.
  • Sağlık kuruluşu: Hasta notlarından idari yazışma taslağı hazırlama; klinik karar için değil, evrak yükünü azaltmak için.
  • Yazılım ekibi: Kaynak kodu şirket dışına göndermeden kod açıklaması ve test taslağı üretme.

Asıl iş taranmış faturalardan, sözleşmelerden ya da başvuru formlarından alan çıkarmaksa yerel model bir belge işleme yapay zekası akışının motoru olarak çalışır. Karakter tanıma ve doğrulama kuralları bu durumda modelin önünde ve arkasında ayrıca kurulur.

Her senaryo için modelin yapmayacağı işi de yazın: hukuki görüş vermek, tanı koymak, muhasebe kaydını kendi başına kesinleştirmek gibi. Bu liste çalışanlara yapılacak açıklamanın ve test setindeki tuzak soruların temelini oluşturur.

Katman katman mimari: sunum, ağ geçidi, arayüz

Sağlam bir kurulum, birbirinden bağımsız değiştirilebilen dört katmandan oluşur; model değiştiğinde kullanıcılar bunu yalnızca yanıt kalitesinden fark etmelidir. Katmanları ayırmak, yıllar içinde model ailesi değişse bile yatırımın büyük kısmını korur.

  • Sunum katmanı: Model dosyasını belleğe yükleyip istekleri yanıtlayan yazılım. Ollama kolay kurulur ve küçük ekipler için yeterlidir; vLLM aynı anda gelen istekleri toplu işleyerek çok kullanıcılı sunucularda ekran kartını daha verimli kullanır; llama.cpp ise ekran kartı olmayan makinelerde de çalışabilen hafif bir seçenektir.
  • Ağ geçidi: Tüm istekleri karşılayan, kimliği doğrulayan, isteği hangi modele göndereceğine karar veren ve kayıt tutan ara katman. Uygulamalarınız modelle değil, bu katmanla konuşur.
  • Belge dizini: Belgelerin anlamına göre aranabilmesi için parçalara bölünüp sayısal temsillerle saklandığı vektör veritabanı.
  • Arayüz: Çalışanlar için kendi sunucunuzda çalışan bir sohbet ekranı ya da mevcut iş uygulamanıza eklenen bir düğme.

Ollama ve vLLM, OpenAI uyumlu bir API sunduğu için piyasadaki pek çok araç adres değişikliğiyle yerel modele bağlanabilir. Karma yapıda ağ geçidi, kişisel veri içeren istekleri yerel modele, hassas olmayan ve güçlü akıl yürütme gerektiren işleri bulut modeline yönlendirir. Mevcut sistemlerinize özel ekran ya da onay paneli gerekiyorsa bu kısmı özel yazılım geliştirme olarak ayrıca planlamak gerekir.

Model seçimi: boyut, lisans ve Türkçe yeterlilik

Doğru model, genel sıralamalarda öne çıkan değil, sizin test setinizde yeterli puanı alan en küçük modeldir. Daha küçük model daha az bellek, daha kısa yanıt süresi ve daha kolay bakım demektir; bu yüzden seçim büyükten küçüğe değil, küçükten büyüğe doğru yapılır.

  • Parametre sayısı: Modelin büyüklüğünü ifade eder. Büyüdükçe kalite genellikle artar, ancak bellek ihtiyacı ve yanıt süresi de aynı yönde büyür.
  • Lisans: Açık ağırlıklı her model aynı serbestliği tanımaz. Qwen3 Apache 2.0 ile yayımlanırken Llama 3.1 kendi topluluk lisansına ve kabul edilebilir kullanım politikasına bağlıdır, atıf gibi koşullar içerir.
  • Türkçe yeterlilik: Genel sıralamaların çoğu İngilizce testlere dayanır. Ek yapısı, resmi yazışma dili ve sektör terimleri ancak kendi örneklerinizle sınanabilir.
  • Bağlam penceresi: Modelin tek seferde okuyabildiği metin uzunluğudur. Uzun sözleşmelerde önemlidir ama her ek uzunluk bellekten pay ister.
  • Düşünme modu: Bazı model aileleri, örneğin Qwen3, yanıttan önce uzun bir akıl yürütme metni üretme modunu açıp kapatmaya izin verir; kalite artabilir ama bekleme süresi uzar.

Test seti için her kullanım senaryosundan gerçek sorular, beklenen doğru yanıtlar ve modelin reddetmesi gereken birkaç tuzak soru hazırlayın. Aday modelleri aynı donanımda, aynı ayarlarla bu setten geçirin ve puanlamayı işi bilen bir çalışanınızla birlikte yapın.

Sohbet modelinin yanında ikinci bir model daha seçilir: belgeleri anlamına göre aranabilir hale getiren gömme modeli. Bu modelin Türkçe desteği zayıfsa sohbet modeli ne kadar iyi olursa olsun doğru belge parçası bulunamaz. Yerel LLM kurulumu teklifinde iki modelin de adı, lisansı ve test sonucu ayrı ayrı yazılı olmalıdır.

Donanım boyutlandırmanın kaba hesabı

Gereken belleği üç şey belirler: modelin ağırlıkları, bağlam önbelleği ve aynı anda gelen istek sayısı. Kaba hesap yönü gösterir, son kararı ise hedef donanımda ya da benzerinde yapılan ölçüm verir.

  • Ağırlıklar: 16 bit hassasiyette her parametre yaklaşık 2 bayt tutar; 8 milyar parametreli bir model yalnız ağırlıklar için 16 GB civarında bellek ister.
  • Niceleme: Sayıları daha az bitle saklama yöntemidir. 4 bit niceleme ağırlık belleğini kabaca dörtte birine indirir, karşılığında kaliteden bir miktar kayıp olabilir; kaybın sizin işinizde önemli olup olmadığını test seti gösterir.
  • Bağlam önbelleği: Modelin okuduğu metni bellekte tuttuğu alandır. Metin uzadıkça ve eşzamanlı istek arttıkça büyür; uzun belgelerle çalışan çok kullanıcılı bir sunucuda ağırlıklardan fazla yer kaplayabilir.
  • Hız ölçütleri: İlk kelimenin gelme süresi kullanıcının beklediği anı, saniyede üretilen token sayısı ise yanıtın akış hızını gösterir.

Üç tipik seçenek vardır: tek ekip için güçlü bir iş istasyonu, şirket içindeki ekran kartlı bir sunucu ya da bir veri merkezinden sizin adınıza kiralanan ayrılmış sunucu. Şirket içi seçenekte elektrik, soğutma ve kesintisiz güç kaynağı da hesaba girer; sürekli çalışacak bir sunucunun yıllık tüketimini elektrik tüketimi hesaplama aracıyla önceden görebilirsiniz.

Kiralık ayrılmış sunucuda ise donanım arızası, yedek parça ve fiziksel güvenlik sağlayıcının sorumluluğuna geçer; buna karşılık sağlayıcının hangi koşulda sunucuya erişebileceği sözleşmeyle sınırlanmalıdır. Hangi seçenek seçilirse seçilsin, sonradan ikinci bir ekran kartı ya da ek bellek takılabilecek bir kasa ve güç kaynağı tercih etmek büyümeyi kolaylaştırır.

Veri kaynaklarını yetkiyle birlikte bağlamak

Model şirket belgelerini okumaya başladığında asıl risk yetkidir: bir kullanıcı, kendisinin açamayacağı bir belgenin içeriğini modelden dolaylı yoldan öğrenmemelidir. Bu yüzden belge bağlantısı, dosya kopyalamak değil, yetki bilgisini de taşıyan bir eşleme işidir.

Belgeye dayalı yanıtta kullanılan yöntemin adı RAG'dir: soru geldiğinde ilgili belge parçaları dizinden bulunur ve modele kaynak olarak verilir. Yetki süzmesi bu arama sırasında yapılmalıdır; yanıt üretildikten sonra süzmek, içeriğin modele çoktan ulaşmış olması demektir. Şirket belgelerinden kaynak göstererek yanıt veren yapının ayrıntısını kurumsal bilgi asistanı sayfasında anlatıyoruz.

Her kaynak için şu bilgileri bağlantıdan önce yazılı hale getirin:

  • Kaynak ve sahibi: Dosya sunucusu, belge yönetim sistemi, ERP, e-posta arşivi ya da iç wiki; her birinin içeriğinden sorumlu kişi.
  • Yetki eşlemesi: Kaynaktaki klasör ve grup yetkilerinin dizine nasıl aktarılacağı ve ne sıklıkla eşitleneceği.
  • Silme davranışı: Kaynakta silinen ya da arşive kaldırılan belgenin dizinden ne kadar sürede düşeceği.
  • Hariç tutulanlar: Personel özlük dosyaları, sağlık raporları gibi hiç dizine girmeyecek klasörler.
  • Güncel sürüm kuralı: Aynı belgenin eski ve yeni sürümleri varsa modelin hangisini kaynak alacağı.

Kurulum sırasında yapılması gereken güvenlik sertleştirmesi

Yerel sunucu, internete açık bir bulut hesabından daha güvenli değildir; güvenliği kurulum sırasında alınan kararlar belirler. Aşağıdaki maddeler teslim öncesi kontrol listenizin parçası olmalıdır.

  • Model dosyasının doğrulanması: Model yalnız üreticinin resmi deposundan indirilir; dosyanın özet değeri depodaki değerle karşılaştırılır. Küçük dosyalarda bu kontrolü hash hesaplama aracıyla kendiniz de yapabilirsiniz.
  • Güvenli dosya biçimi: safetensors biçimi tercih edilir; pickle tabanlı dosyalar yüklenirken kod çalıştırabildiği için güvenilmeyen kaynaktan asla alınmaz.
  • API'nin önüne kimlik katmanı: Ollama varsayılan olarak yalnız aynı makineden gelen istekleri dinler ve kullanıcı doğrulaması yapmaz. Ağa açılacaksa önüne kimlik doğrulayan bir ters vekil sunucu ve şifreli bağlantı konur.
  • Dışa giden trafik: Sunucunun internete çıkışı güvenlik duvarında kapatılır; yalnız onaylı güncelleme pencerelerinde, belirli adreslere açılır.
  • Yönetici erişimi: Yönetici hesapları kişiye özel, iki aşamalı doğrulamalı ve ayrı kayıtlıdır.
  • Belgeye gizlenmiş talimatlar: Bir belgenin içine yazılmış "önceki talimatları yok say" gibi ifadeler modeli yönlendirebilir. Bu yüzden modele e-posta gönderme ya da kayıt silme gibi yetkiler verilmez.

Teslimden önce basit bir sızma denemesi yapılmasını isteyin: şirket ağının dışından API adresine ulaşılabiliyor mu, yetkisiz bir kullanıcı başka birimin belgesini sorgulayabiliyor mu, sunucu izinsiz bir adrese bağlantı kurabiliyor mu. Bu üç sorunun yanıtı teslim tutanağında yer almalıdır.

İnsan onayı, kayıt politikası ve sürüm geri alma

Yerel modelin okuyup taslak üretmesi serbest bırakılabilir; dışarıya giden ya da kalıcı bir kaydı değiştiren her işlem ise insan onayından geçmelidir. Bu ayrım yazılı bir yetki tablosunda durmalı ve yeni kullanım senaryosu eklendikçe güncellenmelidir.

Kayıt tarafında iki düzey ayırın. Üst bilgi kaydı her istekte tutulur: kim, ne zaman, hangi model sürümüyle, ne kadar sürede, kaç token. Tam metin kaydı ise yalnız hata ayıklama için, kısa süreyle ve sınırlı kişinin erişimiyle tutulur; çünkü soru ve yanıtın kendisi kişisel veri ya da ticari sır içerebilir.

Sürüm yönetimi için şu kurallar işe yarar:

  • Sabitleme: Canlıdaki model dosyası özet değeriyle kayıt altına alınır; aynı ad altında farklı bir dosya sessizce yüklenemez.
  • Talimatın sürümü: Modele verilen sistem talimatı, yani modelin her istekte gördüğü görev tanımı, kod gibi sürümlenir ve değişiklik notuyla saklanır.
  • Önce test seti: Yeni model ya da yeni talimat önce test setinden geçer, puan önceki sürümün altına düşerse canlıya alınmaz.
  • Hızlı dönüş: Önceki model dosyası diskte tutulur; geri dönüş yeniden kurulum değil, tek bir yapılandırma değişikliğidir.

KVKK, sunucunun yeri ve barındırma sözleşmesi

Verinin şirket ağında kalması KVKK yükümlülüklerini ortadan kaldırmaz; yalnızca bazılarını sadeleştirir. 6698 sayılı Kanun'un 12. maddesi veri sorumlusundan hukuka aykırı erişimi önleyecek teknik ve idari tedbirleri bekler; bu rehberdeki yetki, kayıt ve ağ kararları bu tedbirlerin somut karşılığıdır.

  • Kiralık sunucu: Barındırma firması sizin adınıza veri işleyen konumundadır ve Kanun'a göre tedbirlerden onunla birlikte sorumlu olursunuz. Sözleşmede fiziksel ve uzaktan erişim yetkileri, disklerin imhası ve olay bildirimi yazılı olmalıdır.
  • Yurt dışındaki sunucu: Kişisel veri yurt dışına aktarılmış sayılır; 9. maddedeki güvencelerden biri gerekir. Standart sözleşme seçilirse imzadan itibaren beş iş günü içinde Kurum'a bildirilir.
  • Aydınlatma: Çalışan ya da müşteri verisi yeni bir amaçla işlenecekse 10. madde kapsamındaki aydınlatma metinleri bu kullanımı da anlatacak biçimde güncellenir.
  • Kayıtların saklanması: İstek kayıtları da kişisel veri olabileceğinden saklama süresi şirketin mevcut saklama ve imha kurallarına bağlanır.

Model Avrupa Birliği'ndeki kişilerle doğrudan konuşacaksa AB Yapay Zeka Tüzüğü'nün 50. maddesi, kişilerin bir yapay zekayla etkileşimde olduklarını bilmelerini ister. Bu maddeler teknik tarafın sorularıdır; son değerlendirmeyi şirketinizin hukuk danışmanı yapmalıdır.

Pilottan şirket geneline altı adımlık geçiş planı

Yerel LLM kurulumu tek ekip ve sınırlı bir belge kümesiyle başlamalı, her aşamaya yazılı bir geçiş ölçütüyle geçmelidir. Aşağıdaki sıra, donanım harcamasını ölçüm sonuçları gelene kadar ertelemek için tasarlanmıştır.

  1. Senaryo ve test seti: Pilot ekip seçilir, en fazla üç iş tanımlanır ve bu işlerden gerçek örneklerle test seti hazırlanır.
  2. Kiralık ortamda ölçüm: Aday modeller saatlik kiralanan bir ekran kartlı sunucuda test setinden geçirilir; kalite ve hız birlikte raporlanır.
  3. Donanım kararı: Ölçüm sonucuna göre iş istasyonu, şirket içi sunucu ya da kiralık ayrılmış sunucu seçilir ve sipariş verilir.
  4. Sertleştirilmiş kurulum: Sunum katmanı, ağ geçidi, kimlik doğrulama ve kayıt kurulur; güvenlik kontrol listesi teslim tutanağına eklenir.
  5. Pilot kullanım: Ekip birkaç hafta gerçek işlerde kullanır, hatalı ya da eksik yanıtlar tek tıkla işaretlenir ve test setine eklenir.
  6. Kademeli yayılım: Geçiş ölçütü sağlanırsa yeni birimler tek tek açılır; her birim için yetki eşlemesi ve kısa bir kullanım eğitimi yapılır.

Geçiş ölçütünü pilot başlamadan yazın, örneğin test setinde hedef puan, yoğun saatte kabul edilebilir bekleme süresi ve kullanıcıların düzenli kullanımı. Ölçüt sonradan yazılırsa sonuca göre esnetilir. Pilot ekibin içinden bir kişiyi geri bildirim sorumlusu olarak belirlemek, işaretlenen hataların kaybolmadan test setine girmesini sağlar.

Değeri ölçmek: kalite, hız ve benimsenme

Yerel LLM kurulumunun değeri üç soruyla ölçülür: doğru yanıt veriyor mu, yeterince hızlı mı ve insanlar gerçekten kullanıyor mu. Üçünden biri zayıfsa diğer ikisinin iyi olması projeyi kurtarmaz.

  • Kaynağa sadakat: Yanıtın gösterilen belgeyle örtüşüp örtüşmediği, test setinde ve canlı kullanımdan alınan rastgele örneklerde düzenli puanlanır.
  • Kaynaksız yanıt oranı: Belgeye dayanması gereken işlerde kaynak göstermeden verilen yanıtlar ayrıca sayılır; bu oranın artması dizinde ya da talimatta bir sorunun işaretidir.
  • Yoğun saat performansı: Ortalama değil, en yoğun saatlerdeki bekleme süresi izlenir; kullanıcı memnuniyetini ortalama değil en kötü anlar belirler.
  • Birim bazında kullanım: Hangi ekibin haftada kaç kez kullandığı görülür; kullanım düşükse sorun çoğu zaman model değil, iş akışına yerleştirilmemiş olmasıdır.
  • İş başına süre: Pilot öncesinde birkaç gerçek işin süresi ölçülür, aynı işler pilot sonunda tekrar ölçülür.

Maliyet tarafında aynı iş hacminin bulut API'siyle ne tutacağını düzenli aralıklarla yeniden hesaplayın. Bulut fiyatları ve açık modellerin kalitesi değiştikçe dengenin yönü de değişebilir; karar bir kez verilip unutulacak bir karar değildir.

Yerel modelin sınırları ve gerçekçi riskler

Yerel model veri kontrolü sağlar, ama yetenek ve işletme yükü açısından bedelsiz değildir. Bu riskleri projenin başında açıkça konuşmak, sonradan hayal kırıklığını önler.

  • Uydurma yanıtlar: Her dil modeli gibi yerel model de emin görünerek yanlış bilgi üretebilir. Kaynak göstermeye zorlayan talimat, belge yoksa "bilmiyorum" deme kuralı ve kritik işlerde insan kontrolü bu riski azaltır, sıfırlamaz.
  • Karmaşık akıl yürütme: Çok adımlı hesaplama, uzun plan yapma ya da birçok belgeyi birlikte yorumlama gerektiren işlerde açık modeller en güçlü bulut modellerinin gerisinde kalabilir.
  • Bakım yükü: Ekran kartı sürücüleri, sunum yazılımı ve işletim sistemi birbirine bağlı güncellenir; uyumsuz bir sürücü güncellemesi sunucuyu durdurabilir.
  • Tek arıza noktası: Tek sunucu bozulduğunda ne olacağı önceden yazılmalıdır: bekleme mi, yedek makine mi, geçici olarak onaylı bir bulut modeline yönlendirme mi.
  • Kişiye bağımlılık: Kurulumu yalnız bir kişi biliyorsa en büyük risk teknik değil, organizasyoneldir. Çalıştırma kılavuzu ve devir belgesi bu yüzden teslimin parçasıdır.

Bu risklerden hiçbiri tek başına vazgeçme nedeni değildir, ama her biri için bir sorumlu ve bir yazılı plan olmalıdır. Yerel LLM kurulumunu bir kez yapılıp unutulan bir proje değil, yazılım lisansı ya da sunucu parkı gibi yaşayan bir altyapı kalemi olarak bütçelemek bu yüzden daha gerçekçidir.

Yerel LLM kurulumunda sık yapılan hatalar

Hataların çoğu teknik bilgisizlikten değil, sıralamanın ters kurulmasından doğar. Aşağıdaki altı hata ve doğru alternatifleri, teklif aşamasında kontrol listesi olarak kullanılabilir.

  • Donanımı önce almak: Ekran kartı ölçüm yapılmadan alınır, sonra model ona uydurulur. Doğrusu, test setini kiralık bir ortamda çalıştırıp donanımı ölçüm sonucuna göre seçmektir.
  • Genel sıralamaya güvenmek: İngilizce testlerde öne çıkan model Türkçe yazışmada zayıf kalabilir. Doğrusu, kendi belgelerinizden hazırlanan Türkçe setle karşılaştırmaktır.
  • API'yi ağa çıplak açmak: Sunum katmanının adresi kimlik doğrulaması olmadan ağa açılır. Doğrusu, önüne kimlik doğrulayan ağ geçidi ve şifreli bağlantı koymaktır.
  • Tüm klasörleri dizine eklemek: Yetki eşlemesi yapılmadan dosya sunucusu bütünüyle dizine alınır. Doğrusu, kaynak kaynak yetki aktarımı ve hariç tutulan klasör listesidir.
  • Tam metin kaydı süresiz tutmak: Her soru ve yanıt yıllarca saklanır. Doğrusu, üst bilgi kaydı ile kısa süreli ve erişimi kısıtlı tam metin kaydını ayırmaktır.
  • Güncellemeyi doğrudan canlıya almak: Yeni model sürümü test edilmeden yüklenir. Doğrusu, test seti puanını karşılaştırmak ve önceki sürümü geri dönüş için diskte tutmaktır.

Uygulama ekibine sorulacaklar ve sonraki adım

İyi bir yerel LLM kurulumu teklifi, model adından önce ölçüm yöntemini, donanımdan önce kullanım senaryosunu anlatır. Görüştüğünüz ekiplere şu soruları sorun ve yanıtları yazılı isteyin:

  • Donanım önerisi hangi test setiyle ve hangi ortamda yapılan ölçüme dayanıyor?
  • Sunucu, hesaplar, yapılandırma dosyaları ve model dosyaları kimin adına olacak?
  • Kendi ekibimiz kurulumu sizden bağımsız sürdürebilsin diye hangi çalıştırma belgeleri teslim edilecek?
  • Model güncellemesi, sürücü güncellemesi ve güvenlik yaması için bakım takvimi ve geri dönüş planı nedir?
  • Bulut modeliyle karma kullanıma geçmek istersek uygulamalarımızda ne değişir?

Biz bu işi yapay zeka otomasyonu hizmetimizin bir parçası olarak yürütüyoruz: önce senaryo listesi ve Türkçe test seti, sonra ölçüm, ardından donanım kararı ve sertleştirilmiş kurulum. Donanım ya da sunucu kirasını doğrudan satıcıya siz ödersiniz; tüm hesaplar ve dosyalar şirketinize teslim edilir.

Hizmet kapsamına göre başlangıç seçeneklerini yapay zeka otomasyonu fiyatlarında inceleyebilirsiniz. Modelin üstleneceği üç gerçek işi ve bu işlerdeki belge türlerini iletişim formundan yazarsanız, uygun model ailesini, donanım seçeneklerini ve yazılı teklifi hazırlayalım.