Açıklanabilir Yapay Zeka (XAI) Nedir? Model Kararını Anlamak

Açıklanabilir yapay zeka nedir?

Açıklanabilir yapay zeka (XAI, eXplainable AI), bir yapay zeka modelinin belirli bir kararı neden verdiğini insanların anlayabileceği biçimde ortaya koyan yöntemlerin ve tasarım yaklaşımlarının genel adıdır. Amaç, modelin çıktısına eşlik eden gerekçeyi göstermek, böylece kararı sorgulamayı, doğrulamayı ve gerekirse düzeltmeyi mümkün kılmaktır.

Basit bir benzetme yapalım. Bir doktorun yalnızca "tedavi gerekli" demesi ile röntgeni ve bulguları göstererek aynı sonucu anlatması arasındaki farkı düşünün. İkincisinde karşınızdaki kişi sonucu tartışabilir, hatayı yakalayabilir ve karara güvenip güvenmeyeceğine bilinçli karar verir.

Yapay zeka modelleri de çoğu zaman "tedavi gerekli" diyen doktora benzer. Sonucu verir, ama gerekçeyi göstermez. Açıklanabilir yapay zeka bu eksiği kapatmaya çalışır. Biz bu yazıda terimi kavram düzeyinde anlatıyoruz. Kod ya da kurulum adımı vermiyoruz.

İlk bakışta ince bir ayrıntı gibi görünse de terimin üç farklı okuru vardır. Karardan etkilenen kişi "bana neden böyle oldu?" diye sorar. Denetçi "bu sistem tutarlı çalışıyor mu?" diye sorar. Geliştirici ise "model neyi yanlış öğrendi?" diye sorar. İyi bir açıklama yaklaşımı, bu üç soruyu da cevaplayabilmelidir.

Açıklanabilir yapay zeka nedir, kara kutu sorunu ne anlama gelir?

Kara kutu, girdisini ve çıktısını görebildiğiniz ama içinde ne olduğunu izleyemediğiniz sistem demektir. Derin sinir ağları gibi karmaşık modeller çoğu zaman bu gruba girer. Çünkü milyonlarca iç ayar birlikte çalışır ve tek bir ayara bakarak kararı yorumlayamazsınız.

Bu durum özellikle iki yerde sorun çıkarır. Birincisi güvendir. Neden öyle dediğini bilmediğiniz bir sisteme kritik bir işi bırakmak zordur. İkincisi hatadır. Model yanlış bir ipucuna dayanarak doğru görünen sonuçlar üretebilir. Bunu da yalnızca doğruluk oranına bakarak fark edemezsiniz.

Dolayısıyla açıklanabilirlik, modelin ne kadar iyi tahmin ettiğinden ayrı bir sorunun cevabıdır: Model bu sonuca hangi sebeple ulaştı? İki soruyu birbirine karıştırmamak gerekir. Çünkü yüksek doğruluk, doğru sebeple karar verildiğini garanti etmez.

Bir örnek düşünün. Bir model, hasta olmayan kişilerle hasta kişileri ayırmayı öğreniyor ve testte çok başarılı görünüyor. Sonra anlaşılıyor ki model, görüntünün köşesindeki cihaz etiketine bakıyormuş. Bu tamamen kurgusal bir senaryodur, ama kısayol öğrenme denen gerçek bir sorunu anlatır. Açıklama, bu tür kısayolları ortaya çıkarmanın en kısa yoludur.

Yorumlanabilir model ile sonradan açıklama arasındaki fark nedir?

Alanın en önemli ayrımı burada yatar. Yorumlanabilir (interpretable) model, yapısı gereği anlaşılan modeldir. Karar ağacı, doğrusal denklem ya da kısa bir kural listesi bu gruba girer. Modelin kendisi zaten açıklamadır, ayrıca bir katmana ihtiyaç duymazsınız.

Sonradan açıklama (post-hoc explanation) ise karmaşık bir modelin üzerine eklenen ikinci bir araçtır. Model olduğu gibi kalır. Ardından başka bir yöntem, modelin davranışını dışarıdan inceleyip özetler. Yani açıklama, modelin kendisi değil, onun hakkında üretilmiş bir yorumdur.

Bu fark önemlidir, çünkü her iki yaklaşım aynı güveni vermez. Yorumlanabilir modelde gördüğünüz mantık, modelin gerçek mantığıdır. Sonradan açıklamada ise gördüğünüz şey, modelin mantığına yaklaşık bir bakıştır. Bu nedenle ikisini karşılaştırırken "hangisi daha doğru yansıtıyor?" sorusunu sormalısınız.

Bir örnek verelim. Üç kurallı bir karar listesi, hangi bilgiye bakıp hangi sonuca vardığını apaçık gösterir. Buna karşılık yüzlerce katmanlı bir ağ aynı sonuca ulaşsa bile, nedenini ancak bir açıklama yöntemiyle tahmin edersiniz. İlkinde tahmin yoktur, ikincisinde vardır.

Yorumlanabilir modeller hangi durumlarda yeterlidir?

Tablo biçimindeki verilerde, yani satır ve sütunlardan oluşan müşteri ya da başvuru kayıtlarında, basit modeller çoğu zaman şaşırtıcı derecede iyi iş çıkarır. Böyle bir durumda karmaşık modele geçmeden önce yorumlanabilir bir model denemek mantıklıdır.

Bu konuda sık anılan bir akademik görüş vardır. Cynthia Rudin, yüksek riskli kararlarda kara kutuyu sonradan açıklamaya uğraşmak yerine baştan yorumlanabilir model kullanmayı savunur. Makalenin arXiv özetini bu bağlantıdan okuyabilirsiniz. Her konuda kesin bir kural değildir, ama düşünmeye değer bir bakış açısıdır.

Pratik sonuç şudur:

• Veri tablo biçimindeyse önce basit ve anlaşılır bir modeli deneyin.
• Karmaşık model belirgin bir kazanç sağlamıyorsa basit modelde kalın.
• Görüntü, ses ve serbest metin gibi veride karmaşık modeller çoğu zaman kaçınılmazdır.
• Karar sonuçları insanları doğrudan etkiliyorsa açıklanabilirlik baştan gereksinim olsun.

Sonradan açıklama yöntemleri nasıl çalışır?

Çoğu sonradan açıklama yöntemi aynı fikre dayanır: Girdiyi biraz değiştirip çıktının nasıl değiştiğini gözlemlersiniz. Bir müşteri kaydındaki tek bir bilgiyi yumuşatırsanız tahmin düşüyor mu? Düşüyorsa bu bilgi karara etki ediyordur.

Bu deneyi çok sayıda küçük değişiklikle tekrarlarsınız. Ardından sonuçlardan bir özet çıkarırsınız. Özet, "bu karar için şu bilgiler öne çıktı" biçiminde bir sıralama ya da bir ısı haritası olabilir. Görüntü modellerinde bu harita, fotoğrafın hangi bölgesinin karara katkı verdiğini gösterir.

Burada kritik nokta şudur: Yöntem modelin içini okumaz, davranışını yoklar. Bu yüzden elde ettiğiniz açıklama, modelin gerçek işleyişine ne kadar sadık olduğu bakımından ayrıca sorgulanmalıdır. Bu konuya sınırlar bölümünde dönüyoruz.

Açıklanabilir yapay zeka nedir, hangi türde açıklamalar üretir?

Açıklama tek bir biçimde gelmez. Kullandığınız yönteme ve veri türüne göre farklı çıktılar elde edersiniz. Aşağıdaki türler pratikte en sık karşılaşılanlardır.

• Özellik sıralaması: Kararı en çok etkileyen bilgileri önem sırasına dizer.
• Isı haritası: Görüntünün ya da metnin hangi bölümünün karara katkı verdiğini renkle gösterir.
• Karşı olgusal açıklama: "Şu bilgi farklı olsaydı sonuç değişir miydi?" sorusunu cevaplar.
• Örnek tabanlı açıklama: Karara en çok benzeyen geçmiş örnekleri gösterir.
• Kural özeti: Karmaşık modelin davranışını birkaç anlaşılır kurala indirger.

Bunlar arasında karşı olgusal açıklama, karardan etkilenen kişi için çoğu zaman en kullanışlı olanıdır. Çünkü kişiye yalnızca "neden" değil, "ne değişirse sonuç değişir" bilgisini de verir. Ancak her tür her modelde ve her veride çalışmaz. Dolayısıyla yöntemi veriye göre seçmelisiniz.

Özellik önemi (feature importance) nedir?

Özellik, modelin girdi olarak kullandığı tek bir bilgidir. Bir müşteri kaydında sektör, sipariş sıklığı ya da son ziyaret zamanı birer özelliktir. Özellik önemi ise bu bilgilerin modelin kararına ne kadar etki ettiğini gösteren sıralamadır.

Özellik önemi iki düzeyde incelenir. Genel düzeyde, modelin bütün kararlarına bakıp hangi bilgilerin ortalamada ağır bastığını görürsünüz. Tek karar düzeyinde ise belirli bir müşteri için hangi bilgilerin sonucu yukarı ya da aşağı ittiğini görürsünüz.

Dikkat edin: Önem, nedensellik anlamına gelmez. Bir bilginin modelde ağırlıklı olması, gerçek dünyada o bilginin sonucu doğurduğunu kanıtlamaz. Örneğin model, ilişkili ama alakasız bir bilgiye yaslanıyor olabilir. Bu yüzden özellik önemini bir ipucu olarak okuyun, hüküm olarak okumayın.

SHAP ve LIME kavram olarak ne yapar?

Bu iki ad alanda en çok duyulan sonradan açıklama yöntemleridir. Biz yalnızca kavramı anlatıyoruz, kurulum ya da kod vermiyoruz.

LIME, tek bir kararı açıklamak için o kararın çevresinde modelin davranışına yaklaşan basit bir model kurar. Fikir şudur: Karmaşık model her yerde karmaşıktır, ama tek bir noktanın hemen yakınında genellikle basit bir yaklaşım yeterlidir. Orijinal makalenin özetine arXiv sayfasından ulaşabilirsiniz.

SHAP ise oyun kuramındaki Shapley değeri fikrini kullanır. Bir takım oyununda her oyuncunun sonuca katkısını adil biçimde paylaştırmayı düşünün. SHAP, her özelliğe belirli bir tahmin için böyle bir katkı payı atar. Özeti arXiv üzerinde mevcuttur.

Her iki yöntem de varsayımlara dayanır ve yaklaşık sonuç verir. Bu yüzden çıktılarını kesin gerçek gibi sunmayın.

Pratikte bir ekip genellikle şöyle ilerler. Önce açıklamak istediği kararı seçer. Ardından yöntemi çalıştırır ve çıkan sıralamayı alan bilgisine sahip birine gösterir. Sıralama o kişiye mantıksız geliyorsa, sorun ya modelde ya veride ya da açıklama yönteminde demektir. Üç ihtimali de ayrı ayrı kontrol etmek gerekir.

Yerel açıklama ile genel açıklama arasındaki fark nedir?

Yerel (local) açıklama tek bir karara odaklanır. "Bu başvuru neden reddedildi?" ya da "bu müşteri neden kaybedilecek diye işaretlendi?" gibi sorulara cevap verir. Karardan etkilenen kişiye bilgi vermek istiyorsanız aradığınız şey yerel açıklamadır.

Genel (global) açıklama ise modelin bütün davranışını özetler. "Model genel olarak hangi bilgilere dayanıyor?" sorusunu cevaplar. Denetçi, ürün sahibi ya da veri ekibi için daha uygundur, çünkü modelin tutarlı mı yoksa tuhaf mı davrandığını gösterir.

İkisi birbirinin yerine geçmez. Genel resim sağlıklı görünürken tek bir kararda anlamsız bir gerekçe çıkabilir. Tersine, birkaç iyi görünen yerel örnek, modelin genelde sağlıklı olduğunu kanıtlamaz. Bu nedenle ciddi bir değerlendirmede ikisine birlikte bakarsınız.

Açıklamalar kime, hangi dille sunulmalı?

Aynı açıklama herkese uymaz. Geliştirici için uygun olan bir özellik sıralaması, karardan etkilenen kişi için anlamsız bir sayı listesi olabilir. NIST'in "anlamlılık" ilkesi tam bu noktaya işaret eder.

Okura göre üç sade kural işinize yarar. Birincisi, kişiye teknik terimler yerine günlük dilde, kısa ve eyleme dönük bir gerekçe verin. İkincisi, denetçiye modelin genel davranışını ve sınırlarını gösteren bir özet sunun. Üçüncüsü, geliştiriciye ayrıntılı ve tekrarlanabilir bir döküm bırakın.

Ayrıca sayıları süslemeyin. Örneğin "yüzde şu kadar etki" gibi kesin görünen bir ifade, yaklaşık bir yöntemin çıktısıysa yanıltıcı olabilir. Belirsizliği açıkça söylemek, açıklamanın güvenilirliğini artırır.

Açıklanabilir yapay zeka nedir, iyi bir açıklama neye benzer?

Açıklamanın "iyi" olması için bir ölçüt gerekir. ABD Ulusal Standartlar ve Teknoloji Enstitüsü (NIST), "Four Principles of Explainable Artificial Intelligence" adlı belgesinde dört ilke sunar. Belgeyi NIST yayın sayfasında bulabilirsiniz.

İlkeleri kendi cümlelerimizle özetliyoruz:

• Açıklama: Sistem, çıktısına eşlik eden kanıt ya da gerekçe sunmalıdır.
• Anlamlılık: Açıklama, onu okuyan kişinin anlayacağı düzeyde olmalıdır.
• Açıklama doğruluğu: Açıklama, sistemin çıktıyı gerçekte nasıl ürettiğini doğru yansıtmalıdır.
• Bilgi sınırları: Sistem yalnızca tasarlandığı koşullarda ya da yeterli güvene ulaştığında çalışmalıdır.

Bu liste pratik bir kontrol çerçevesidir. Güzel görünen ama gerçeği yansıtmayan bir açıklama ikinci ve üçüncü ilkeyi ihlal eder. Dolayısıyla ekranda sunulan her gerekçeyi "bu, modelin gerçekte yaptığına uyuyor mu?" sorusuyla sınamalısınız.

Açıklanabilirlik neden yüksek riskli kararlarda önemlidir?

Bir model müzik önerdiğinde hata ucuzdur. Kullanıcı bir şarkıyı atlar, iş biter. Ancak model bir başvuruyu elerken, bir kişiye hizmet verilip verilmeyeceğine ya da bir işlemin şüpheli sayılıp sayılmayacağına karar verirken hata gerçek bir insanı etkiler.

Kredi değerlendirme ve işe alım gibi alanlar bu yüzden sıkça örnek verilir. Biz somut bir finans senaryosu yazmıyoruz, ama ilke geneldir: Karar bir kişinin fırsatlarını etkiliyorsa, o kişinin ve denetleyenlerin gerekçeyi anlayabilmesi beklenir.

Üç somut fayda öne çıkar. Birincisi itiraz ve düzeltme imkânıdır. Gerekçeyi bilmeyen kişi karara itiraz edemez. İkincisi hata ayıklamadır. Gerekçe saçmaysa model yanlış öğrenmiştir. Üçüncüsü hesap verebilirliktir. Bir kurum, kararının arkasındaki mantığı gösterebiliyorsa güven kazanır.

Düzenleyici çerçeveler şeffaflığı nasıl bekler?

Bu bölüm hukuki danışmanlık değildir. Ülkeler ve sektörler farklı kurallar uygular, kurallar da zamanla değişir. Kendi durumunuz için bir hukuk danışmanına başvurun ve güncel metni resmi kaynaktan kontrol edin.

Genel tablo şöyledir. Birçok düzenleme ve rehber, yapay zeka destekli kararlarda şeffaflık, insan gözetimi ve gerekçelendirilebilirlik ister. Kişisel verilerin korunması mevzuatı da otomatik kararlar için kişiye bilgi hakkı tanıyan hükümler içerebilir. Verilerle ilgili genel çerçeve için KVKK ve GDPR yazımıza göz atabilirsiniz.

Rehber niteliğinde bir kaynak da NIST'in yapay zeka risk yönetimi çerçevesidir. Çerçeve, güvenilir yapay zekanın özellikleri arasında "açıklanabilir ve yorumlanabilir" olmayı sayar. Ayrıntılar NIST sayfasındadır. Sonuç olarak şeffaflık beklentisi artıyor, ama kesin yükümlülük sizin sektörünüze ve ülkenize göre değişir. Açıklanabilir yapay zeka nedir diye soran bir yönetici için en güvenli yol, açıklama kayıtlarını baştan tutmaktır. Böylece sonradan bir sorgu geldiğinde elinizde somut bir belge olur.

Açıklanabilir yapay zeka hangi alanlarda gerçekten işe yarar?

Pratikte üç kullanım örüntüsü öne çıkar. Hepsi örnek senaryodur, gerçek bir müşteri vakası değildir.

İlki satış ve pazarlamadır. Bir ekip, müşteri adaylarını puanlayan bir model kullanıyor olsun. Açıklama katmanı, yüksek puanlı adayların neden öyle puanlandığını gösterir. Böylece satış ekibi hangi bilgiye güvenmesi gerektiğini bilir ve modelin tuhaf bir ipucuna yaslandığını erkenden yakalar.

İkincisi görüntü işlemedir. Ürün fotoğraflarını sınıflayan bir modelin fotoğrafın hangi bölgesine baktığını görürseniz, ürüne değil arka plana baktığını fark edebilirsiniz. Bu, bilgisayarlı görüde klasik bir hatadır. Model doğru sınıfı bulsa bile yanlış nedenle bulmuş olur ve ortam değiştiğinde başarısı birden düşer.

Üçüncüsü iç denetimdir. Bir kuruluş, otomatik kararların tutarlılığını düzenli olarak gözden geçirmek ister. Genel özellik önemi tablosu bu denetim için sade bir başlangıç noktası sağlar.

Üç örnekte de ortak nokta aynıdır: Açıklama, modelin kararını değiştirmez, ama kararla ilgili konuşmayı mümkün kılar. Konuşma olmadan düzeltme olmaz. Düzeltme olmadan da modelin hatası zamanla yerleşir.

Örnek senaryo: Açıklama modelin yanlış öğrendiğini nasıl ortaya çıkarır?

Bir e-ticaret ekibinin müşteri kaybını tahmin eden bir model kurduğunu düşünelim. Model test verisinde çok başarılı görünüyor. Ekip sevinir, ancak genel özellik önemi tablosuna bakınca şaşırır: En ağır bilgi, müşteri kaydının oluşturulma biçimini gösteren teknik bir alan.

Bu alan, geçmiş verilerde kaybedilen müşterilerle tesadüfen ilişkili. Gerçek dünyada ise anlamı yok. Model, davranışı değil bu teknik izi öğrenmiş. Açıklama olmasaydı, ekip modeli güvenle devreye alacak ve beklenen sonucu alamayacaktı.

Bu örnek, aşırı öğrenme (overfitting) ve kısayol öğrenme sorunlarıyla akrabadır. Konuyu ayrıca overfitting yazımızda ele aldık. Açıklanabilirlik, bu tür sorunları yayına almadan önce yakalamanın pratik yollarından biridir.

Ekip sonraki adımda ne yapar? Teknik alanı veriden çıkarır, modeli yeniden eğitir ve özellik önemi tablosunu tekrar inceler. Bu kez en ağır bilgilerin gerçek müşteri davranışını anlatan alanlar olduğunu görürse, modele daha rahat güvenir. Bu tamamen örnek bir senaryodur, ama süreç gerçek projelerde de benzer işler.

Açıklanabilir yapay zeka, yapay zeka önyargısı ve RLHF ile nasıl ilişkilidir?

Önyargı (bias), modelin bazı gruplara sistematik olarak farklı davranmasıdır. Açıklanabilirlik, önyargıyı görünür kılan araçlardan biridir. Çünkü kararda korunan bir özelliğe ya da onun vekil bilgisine ağırlık verildiğini gösterebilir. Konunun kendisini yapay zeka önyargısı yazımızda anlattık. Burada tekrar etmiyoruz.

RLHF ise modelin insan geri bildirimiyle hizalanmasını anlatan ayrı bir terimdir. Açıklanabilirlikle karıştırmayın. RLHF modelin ne yapmasını istediğinizi eğitime taşır. Açıklanabilirlik ise modelin ne yaptığını sonradan incelemenizi sağlar. Ayrıntı için RLHF yazımıza bakın.

Bu ilişkiyi şöyle düşünebilirsiniz. Önyargı denetimi "kime farklı davranıyor?" sorusunu sorar. Açıklanabilirlik "hangi bilgiye bakarak?" sorusunu sorar. İnsan geri bildirimiyle hizalama ise "nasıl davranmasını istiyoruz?" sorusunu sorar. Sorular farklıdır, ama cevaplar birbirini tamamlar.

Kısacası üçü aynı güvenilirlik hedefinin farklı parçalarıdır. Biri hatayı görünür kılar, biri eşitsizliği ölçer, biri davranışı yönlendirir.

Büyük dil modelleri kendi kararlarını açıklayabilir mi?

Bir sohbet modeline "neden böyle cevapladın?" diye sorabilirsiniz. Model akıcı bir gerekçe yazar. Ancak bu gerekçe, modelin iç işleyişinin doğru bir dökümü olmak zorunda değildir. Model, makul görünen bir hikâye üretiyor olabilir.

Bu, NIST'in "açıklama doğruluğu" ilkesiyle doğrudan ilgilidir. Metin olarak yazılan bir gerekçe, kararın gerçek nedeniyle örtüşmeyebilir. Yani ikna edici olması, doğru olduğu anlamına gelmez. Dolayısıyla modelin kendi anlatımını bir kanıt olarak değil, bir ipucu olarak değerlendirin. Özellikle sonuç önemliyse, modelin yazdığı gerekçeyi bağımsız bir kaynakla ya da bir insanla karşılaştırın.

Büyük dil modellerini daha genel düzeyde anlamak için LLM yazımıza bakabilirsiniz. Bu modellerde güvenilirliği artırmak için gerekçe isteme tek başına yetmez. Kaynak gösterme, çıktıyı doğrulama ve insan gözetimi gibi önlemler birlikte kullanılır.

Açıklanabilir yapay zekanın sınırları ve riskleri nelerdir?

Açıklanabilirlik sihirli bir çözüm değildir. Bilmeniz gereken başlıca sınırlar şunlardır:

• Sonradan açıklama yaklaşıktır. Model hakkında güzel bir hikâye anlatır, ama gerçeği eksik yansıtabilir.
• Farklı yöntemler aynı karar için farklı sıralamalar verebilir. Bu durumda hangisine güveneceğinizi netleştirmek gerekir.
• Açıklama sahte bir güven duygusu yaratabilir. Okuyan kişi, açıklamayı gördüğü için kararı sorgulamayı bırakabilir.
• Hesaplama maliyeti vardır. Büyük modellerde ve çok sayıda karar için açıklama üretmek zaman alır.
• Açıklama kötüye kullanılabilir. Modelin neye baktığını bilen biri, sistemi kandırmanın yolunu arayabilir.

Bir başka sınır da açıklamanın kararlılığıdır. Girdide küçük bir değişiklik yaptığınızda açıklama çok değişiyorsa, o açıklamaya fazla yaslanmak risklidir. Bu yüzden aynı karar için birkaç kez ve birkaç farklı biçimde açıklama üretip sonuçların tutarlı olup olmadığına bakın.

Bu sınırlar, açıklanabilirliği bırakmanız için değil, doğru kullanmanız için bir uyarıdır. Açıklamayı kesin kanıt değil, denetim aracı olarak görün. Ayrıca açıklama kalitesini de ölçmeyi unutmayın.

Açıklanabilirlik, yorumlanabilirlik ve şeffaflık aynı şey midir?

Hayır. Terimler gündelik dilde birbirine karışır, oysa her biri başka bir soruyu cevaplar. Aşağıdaki tablo farkı özetler.

Tabloda görüleceği gibi açıklanabilirlik, bu kavramlar ailesinin yalnızca bir üyesidir. Bu nedenle "modelimiz açıklanabilir" cümlesini duyduğunuzda hangi anlamda söylendiğini sorun.

Bir işletme açıklanabilirliği nasıl değerlendirir?

Teknik ayrıntıya girmeden de yönetici düzeyinde sağlam bir değerlendirme yapabilirsiniz. Aşağıdaki kontrol listesi, bir yapay zeka projesi başlarken ya da bir ürün satın alırken işinize yarar.

1. Kararın etkisini belirleyin: Hata bir kişiyi doğrudan etkiliyor mu?
2. Açıklamayı kimin okuyacağını yazın: Müşteri, denetçi, ürün sahibi ya da geliştirici.
3. Yorumlanabilir bir modelin yeterli olup olmadığını önce deneyin.
4. Karmaşık model kullanıyorsanız hangi açıklama yönteminin kullanıldığını ve nedenini kaydedin.
5. Açıklamayı gerçek örneklerde sınayın: Gerekçe modelin davranışına uyuyor mu?
6. Genel ve tek karar düzeyinde birlikte bakın.
7. İnsan gözetimini ve itiraz yolunu tanımlayın.
8. Modelin bilgi sınırlarını belgeleyin: Hangi koşullarda çalışmamalı?

Bu sekiz adım, NIST ilkeleriyle de uyumludur. Üstelik küçük bir ekip için bile uygulanabilir. Kısa bir toplantıda her maddeye "evet, hayır, bilmiyoruz" diye cevap vermek yeterli bir başlangıçtır.

Tedarikçiye ya da geliştiriciye hangi soruları sormalısınız?

Hazır bir yapay zeka ürünü alıyorsanız ya da bir ekiple model geliştiriyorsanız, açıklanabilirliği sözleşme öncesinde konuşun. Sormanız gereken sorular çoğu zaman basittir.

• Model hangi tür kararlar için tasarlandı, hangi koşullarda çalışmamalı?
• Tek bir karar için gerekçe üretebiliyor musunuz, nasıl gösteriyorsunuz?
• Açıklamanın modele sadakatini nasıl sınadınız?
• Hangi verilerle eğitildi ve bu veriler hakkında neleri paylaşabilirsiniz?
• Karara itiraz edildiğinde insan incelemesi nasıl işliyor?
• Model davranışı zamanla değişirse bunu nasıl izliyorsunuz?

Cevaplar belirsizse bu da bir bilgidir. Ayrıca çalışanların onaysız araçlar kullanması ayrı bir risk oluşturur. Bu konu için gölge yapay zeka yazımıza göz atın. Ekip içi bilinç için yapay zeka okuryazarlığı de iyi bir temel sağlar.

Her model için açıklanabilirlik gerekir mi?

Hayır. Açıklanabilirlik bir maliyettir ve her yerde aynı değeri üretmez. Düşük riskli, kolayca geri alınabilir ve insanları doğrudan etkilemeyen kullanım alanlarında hafif bir yaklaşım yeterlidir. İçerik önerisi ya da dahili bir arama sıralaması buna örnektir.

Karar yükseldikçe beklenti de yükselir. Bir çıktı kişilerin fırsatlarını, haklarını ya da güvenliğini etkiliyorsa, açıklanabilirliği tasarımın başına koymalısınız. Sonradan eklemek hem pahalıdır hem de çoğu zaman yetersiz kalır.

Bir ara yol da vardır. Tüm kararlar için ayrıntılı açıklama üretmek yerine, yalnızca eşiğe yakın, itiraz edilen ya da insan incelemesine giden kararlar için üretebilirsiniz. Böylece maliyeti kontrol altında tutarken, en çok ihtiyaç duyulan yerde gerekçeye sahip olursunuz.

Karar vermek için kendinize iki soru sorun. Yanlış bir karar kime zarar verir? Bu zararı kim, nasıl fark eder? Cevaplar belirsizse açıklanabilirlik büyük olasılıkla gereklidir.

Veri analizi ve çıkarım tarafında açıklanabilirliği nasıl düşünürsünüz?

Bir model eğitildikten sonra tahmin üretmesine çıkarım (inference) denir. Açıklama üretmek, çıkarım sırasında ek iş demektir. Her tahminle birlikte açıklama istiyorsanız hız ve maliyet planına bunu baştan katın. Çıkarım kavramı için çıkarım yazımıza bakabilirsiniz.

Veri tarafında da açıklama güçlü bir yardımcıdır. Raporlarınızda tahmin tablosu kadar, tahminin dayandığı bilgilerin özetini de göstermek karar vericilerin işini kolaylaştırır. Veri analizinde yapay zekayı nasıl kullanacağınıza dair veri analizi rehberimiz pratik fikirler sunar.

Son olarak, açıklamaları da kayıt altına alın. Bir karar sorgulandığında "o gün model neye bakmıştı?" sorusuna cevap verebilmek, kurumsal güvenin önemli bir parçasıdır.

Açıklanabilir yapay zeka sürecinde biz nasıl yardımcı oluruz?

Talha Aslan ve ekibi olarak yapay zeka projelerinde teknik ayrıntıdan önce iş sorusuyla başlıyoruz. Hangi karar otomatikleşiyor, kimi etkiliyor ve gerekçe kime gösterilecek? Bu üç sorunun cevabı, açıklanabilirlik ihtiyacını belirler.

Ardından uygun model türünü, kayıt yöntemini ve insan gözetimi akışını sizinle birlikte netleştiriyoruz. Gerekirse ekibinize kısa bir eğitim veriyoruz. Bu çalışmaya yapay zeka danışmanlığı sayfamızdan ulaşabilirsiniz.

Özetle, açıklanabilir yapay zeka nedir sorusunun kısa cevabı şudur: Modelin kararını insanların sorgulayabileceği bir gerekçeye bağlayan yaklaşımdır. Uzun cevabı ise veriye, karara ve okura göre değişir. Bu yüzden her projede önce "kime ne kadar açıklama borçluyuz?" sorusunu sorun, sonra yöntemi seçin.

Bu yazı genel bilgi içindir. Hukuki ya da sektörel uyum konusunda kesin bir sonuca varmanız gerekiyorsa uzman bir hukuk danışmanına başvurun. Model adları, sürümler ve düzenleme ayrıntıları hızla değiştiğinden, güncel bilgiyi her zaman sağlayıcının ve kurumun resmi belgesinden kontrol edin.