Yapay Zeka Modeli Değerlendirme: Doğruluk Oranı Neden Yanıltıcı Olabilir?

Yazar: Dr. Gökhan Tahıl, Kurucu, AI Yapay Zeka Mühendislik A.Ş. · Son güncelleme: 17 Ağustos 2026

Kısa özet: Doğruluk (accuracy), bir sınıflandırma modelinin verdiği toplam karar içinde doğru olanların oranıdır. Nadir olay arayan sistemlerde bu oran sistematik olarak şişer: 10.000 kayıtta 100 kez geçen bir olayı hiç yakalayamayan, her kayda "yok" diyen tek satırlık bir kural bile yüzde 99 doğruluk üretir. Karar masasında doğruluk yerine kesinlik, duyarlılık, PR-AUC, kalibrasyon ve alt grup performansı birlikte istenmeli; hedef metrik ölçüm başlamadan önce kabul kriteri olarak sözleşmeye yazılmalıdır.

Bir yönetim toplantısında slayta tek bir sayı düşer: "Model yüzde 99 doğrulukla çalışıyor." Odada kimse itiraz etmez, bütçe onaylanır. Altı ay sonra sistem sahada beklenen faydayı üretmez, pilot sessizce kapanır. Bu tabloda genellikle model suçlanır. Oysa hata çoğu zaman modelde değil, ölçümün nasıl kurulduğundadır. Yapay zeka yatırımlarında en pahalı yanlış anlamalardan biri, doğruluk oranını tek başına bir başarı kanıtı saymaktır. Bu yazı, bir yapay zeka projesini onaylama, satın alma veya denetleme masasında oturan yöneticiler için yazıldı: doğruluk ne zaman yanıltır, yerine hangi sayıları istemelisiniz ve bir metriği sözleşmeye yazarken nelere dikkat etmelisiniz.

Doğruluk (accuracy) tam olarak neyi ölçer?

Doğruluk, bir sınıflandırma modelinin verdiği toplam karar içinde doğru olanların oranıdır. Formülü basittir: doğru karar sayısı bölü toplam karar sayısı. Sorun formülde değil, formülün gizlediğindedir.

İkili sınıflandırma yapan bir modelin dört tür sonucu vardır. Bunlar hata matrisi (confusion matrix) denilen tabloda toplanır:

• Doğru pozitif (TP): model "var" dedi, gerçekten vardı.
• Doğru negatif (TN): model "yok" dedi, gerçekten yoktu.
• Yanlış pozitif (FP): model "var" dedi, aslında yoktu. Boşa alarm, boşa iş gücü.
• Yanlış negatif (FN): model "yok" dedi, aslında vardı. Kaçırılan vaka.

Doğruluk bu dört kutuyu tek bir ortalamaya sıkıştırır. İş tarafında sizi ilgilendiren şey ise ortalama değil, hangi hatanın kaç kez yapıldığıdır. Yanlış pozitifin ve yanlış negatifin maliyeti hiçbir süreçte aynı değildir.

İkinci bir incelik: olasılık çıktısı veren modellerde doğruluk, seçilen karar eşiğine bağlıdır. Eşik değişince aynı model için doğruluk da değişir. Eşiği belirtilmeden bildirilen bir doğruluk oranı eksik bilgidir ve karşılaştırılamaz.

Dengesiz veri doğruluk oranını nasıl şişirir?

Kurumların yapay zekadan beklediği işlerin çoğu nadir olay arar: dolandırıcılık, arıza, kritik bulgu, güvenlik ihlali, kalite hatası. Bu tür veri kümelerinde aradığınız durum toplamın küçük bir yüzdesidir. Buna sınıf dengesizliği denir ve doğruluk oranını sistematik olarak şişirir.

Basit bir örnek: 10.000 kayıtlık bir veri kümesinde aradığınız olay 100 kez geçiyor olsun. Hiçbir şey öğrenmeyen, her kayda "yok" diyen tek satırlık bir kural 9.900 kaydı doğru bilir ve yüzde 99 doğruluk üretir. Aynı kural aradığınız 100 olayın hiçbirini bulamaz; duyarlılığı sıfırdır. Sunumda mükemmel görünen sayı, iş değeri sıfır olan bir sistemi tarif eder.

Doğruluk paradoksu, sınıf dengesizliği yüksek olan veride hiçbir şey öğrenmeyen bir modelin yüksek doğruluk oranı üretebilmesi durumudur. Nadir olay arayan pilot projelerin sessizce ölmesinin en yaygın sebeplerinden biridir. Kural basittir: aradığınız durum verinin yüzde onundan azını oluşturuyorsa, doğruluk oranını raporda görmek istemeyin.

Doğruluk yerine hangi metriklere bakılmalı?

Tek sayı yerine birkaç sayıyı birlikte istemek gerekir. Karar masasında anlamlı olanlar şunlardır:

Birkaç noktanın altını ayrıca çizmek gerekir:

• F1 bir ortalama değil, harmonik ortalamadır. Bu yüzden kesinlik ve duyarlılıktan hangisi düşükse sonucu o çeker. Tek başına F1 görmek, hangi tarafın kötü olduğunu gizler; ikisini ayrı ayrı görmeden F1'e bakmayın.
• Dengesiz veride PR-AUC, ROC-AUC'den daha dürüst bir resim verir. Sebebi şudur: ROC eğrisi yanlış pozitif oranını kullanır ve bu oranın paydasında devasa bir doğru negatif kütlesi vardır. Binlerce yanlış alarm bile bu oranı neredeyse hiç oynatmaz, eğri iyi görünür. PR eğrisinin kullandığı kesinlik ise yanlış pozitife doğrudan tepki verir.
• Kalibre olmayan bir güven skoru kullanıcıyı yanlış yerde rahatlatır. Model "yüzde 90 eminim" diyorsa, o kararların gerçekten yüzde 90'ı doğru olmalıdır. Kalibrasyon, güvenilirlik eğrisi (reliability diagram) ve Brier skoru ile ölçülür.
• Alt grup performansı denetimde en çok sorulan, en az hazırlanan başlıktır. Yaş, cihaz, şube, vardiya, kaynak sistem, görüntü kalitesi kırılımlarında ayrı ölçüm isteyin. Genel ortalama iyi görünürken tek bir alt grupta model çökmüş olabilir.

Son olarak örneklem büyüklüğünü sorun. Bir metrik bir tahmindir ve belirsizlik taşır. 200 örneklik bir test kümesinde ölçülen yüzde 90'lık bir oran, yaklaşık artı eksi 4 puanlık bir güven aralığıyla gelir. 100 pozitif örnek içeren bir kümede duyarlılık, tek bir kaçırılan vakada 1 puan oynar. Güven aralığı verilmeden bildirilen metrikler karşılaştırma için kullanılamaz.

Yanlış pozitif mi, yanlış negatif mi daha pahalı?

Bu teknik bir soru değil, iş sorusudur ve cevabını veri bilimci değil süreç sahibi verir. Modelin karar eşiğini kaydırarak kesinlik ile duyarlılık arasında takas yaparsınız: genel olarak birini artırdığınızda diğeri düşer. Hangi yöne kaydıracağınızı belirleyen tek şey, iki hata türünün kurumunuzdaki maliyetidir.

Bunu somutlaştırmanın pratik yolu, eşik seçimini bir maliyet hesabına bağlamaktır: beklenen maliyet = (yanlış pozitif sayısı x yanlış pozitifin birim maliyeti) + (yanlış negatif sayısı x yanlış negatifin birim maliyeti). İki birim maliyeti yazılı hale getirdiğinizde, doğru eşik teknik bir tercih olmaktan çıkıp hesaplanabilir bir sonuca dönüşür.

Bir tarama sürecinde kaçırılan vakanın bedeli, fazladan yapılan kontrolün bedelinden çok yüksekse duyarlılık öncelikli olur ve arkasına ikinci bir doğrulama adımı konur. Yüksek hacimli bir işlem akışında ise her yanlış alarm operasyon yükü ve müşteri memnuniyetsizliği üretir; orada kesinlik öne geçer. Doğru yöntem, ölçüm başlamadan önce bu iki maliyeti yazılı hale getirmek ve hedef metriği kabul kriteri olarak sözleşmeye koymaktır.

Eşiğin nerede seçildiği de önemlidir. Karar eşiği doğrulama kümesinde seçilir, test kümesinde değil. Eşiği test kümesine bakarak ayarlamak, sınav sorularını görerek çalışmaya benzer; ortaya çıkan sayı sahada tekrar etmez.

Model başarısı neye göre kıyaslanmalı?

Yüzde 90 iyi bir sayı mıdır? Tek başına cevabı yoktur. Bir modelin başarısı yüzde 100'e göre değil, o işi bugün yapan sürece göre ölçülür. Karşılaştırma tabanı (baseline) üç şeyden biridir: işi şu an yapan insan ekibin başarımı, yürürlükteki kural tabanlı sistemin başarımı, ya da en basit istatistiksel tahminin başarımı.

Bu taban ölçülmeden başlanan projelerde sonuç tartışılamaz hale gelir; taraflar aynı sayıya bakıp farklı şeyler anlar. Yürüttüğümüz bir projede aynı işte insan başarımı yüzde 80 seviyesindeydi; yapay zeka destekli akışla bu oran yüzde 90'a çıktı. Anlamlı olan sayı yüzde 90 değil, 10 puanlık farktır ve o farkın süreçteki karşılığıdır.

Pratik kural: proje başlamadan önce mevcut sürecin başarımını aynı test kümesi üzerinde ölçün ve tutanağa geçirin. Bu ölçüm yapılmamışsa, projenin sonunda ne kazanıldığını kimse kanıtlayamaz.

Test kümesindeki sonuç neden sahada tutmuyor?

Laboratuvarda yüksek çıkan skorun üretimde düşmesinin birkaç klasik sebebi vardır ve hepsi ölçüm kurgusuyla ilgilidir:

• Veri sızıntısı (data leakage): Test kümesine ait bilginin bir biçimde eğitim sürecine karışmasıdır. En sık görülen iki biçimi vardır. Birincisi grup sızıntısı: aynı kişiye, aynı cihaza, aynı seansa veya aynı çekime ait kayıtların hem eğitim hem test kümesine dağılması. Bölme kayıt bazında değil, kaynak bazında yapılmalıdır; aksi halde model ezberlediğini sınavda tekrar görür. İkincisi hedef sızıntısı: tahmin anında henüz var olmayan bir bilginin özniteliklere karışması. Modelin geçmiş veride gördüğü ama sahada asla göremeyeceği bir alan, skoru yapay biçimde yükseltir.
• Zaman hatası: Zaman içeren verilerde rastgele bölme yapmak, modele geleceği gösterir. Eğitim geçmişten, test gelecekten seçilmelidir. Ölçeklendirme ve eksik veri doldurma gibi ön işleme adımları da yalnızca eğitim kümesi üzerinde hesaplanmalı, sonra test kümesine uygulanmalıdır.
• Dağılım kayması: İki farklı biçimi ayrı ayrı izlenir. Veri kayması, girdinin değişmesidir: cihaz, ışık, mevsim, kullanıcı davranışı veya kaynak sistem değişir. Kavram kayması ise girdi ile doğru cevap arasındaki ilişkinin değişmesidir: dolandırıcılık yöntemi değişir, aynı görüntü artık farklı bir anlama gelir. Üretim sonrası izleme olmadan iki kayma da fark edilmez.
• Doğrulama kümesine aşırı uyum: Eşiği ve parametreleri aynı veri üzerinde defalarca ayarlamak, o veriye özel bir başarı üretir. Test kümesi bir kez, sona saklanarak kullanılmalıdır.

Bu yüzden kabul testinin yeri demo değil, üretim koşuludur. Ölçüm kurumun kendi verisiyle, kendi ortamında ve tedarikçinin üzerinde çalışmadığı bir test kümesiyle yapılmalıdır. Bu kümenin kurum tarafında kilitli tutulması, hem tedarikçiyi hem kurumu korur.

Gerçek zamanlı sistemlerde doğruluk tek başına neden yetmez?

Görüntü ve video işleyen sistemlerde bir kareyi doğru bilmek yetmez; sistemin kare akışı boyunca kararlı kalması gerekir. Burada iki ek ölçüt devreye girer: hız ve stabilite.

Hız genellikle FPS (saniyede işlenen kare sayısı) ile bildirilir. Ancak FPS bir işlem hacmi ölçüsüdür, gecikme ölçüsü değildir. Kareleri toplu işleyen bir sistem FPS sayısını yükseltirken, tek bir karenin girişten karara ulaşma süresini uzatabilir. Karar bir müdahaleyi tetikleyecekse ölçülmesi gereken şey uçtan uca gecikmedir: görüntünün alınması, işlenmesi ve kararın iletilmesi dahil. Ortalama gecikmeye de güvenmeyin; en kötü yüzde birlik dilim kabul edilebilir sınırın içinde mi, onu sorun.

FPS, ölçüm koşulları bildirilmeden anlamsızdır. Hangi çözünürlükte, hangi donanımda, hangi sayı hassasiyetinde (FP32, FP16, INT8) ve kaç eşzamanlı görüntü akışıyla ölçüldüğü yazılmalıdır. Model niceleme (quantization) ile hız belirgin biçimde artarken doğruluk birkaç puan düşebilir; bu takas kabul kriterinde açıkça yer almalıdır.

Stabilite ise kararın kare akışı boyunca tutarlılığıdır. Takip yapan sistemlerde kare bazlı doğruluk yerine iz sürekliliği ölçülür: aynı nesneye verilen kimlik kaç kez değişti, iz kaç kez koptu, var olmayan bir nesne için kaç kez iz açıldı. Bunlar MOTA ve IDF1 gibi takip ölçütleriyle raporlanır. Tespit tarafında ise mAP değeri, hangi IoU eşiğinde hesaplandığı belirtilmeden karşılaştırılamaz.

Bu başlıklar bizim en yoğun çalıştığımız alanlardan biridir. Savunma sanayii bağlantılı bir müşteri için yürüttüğümüz projede, insansız hava aracı görüntüsünde sınıftan bağımsız uçan cisim tespiti ve takibi yapılıyor; gerçek zamanlı çalışma hedefi 50-150 FPS aralığındadır. Görüntü işleme projelerimizde stabiliteyi yüzde 80 üzerinde, sağlık alanındaki projelerimizde doğruluğu yüzde 85 üzerinde tutuyoruz.

Üretken yapay zeka ve AI agent sistemlerinde doğruluk nasıl ölçülür?

Dil modeli veya AI agent tabanlı sistemlerde doğruluk metriği doğrudan uygulanamaz, çünkü ortada sabit sayıda sınıf yoktur; çıktı serbest metin veya bir eylem dizisidir. Bu sistemlerde ölçülen şey görev başarım oranıdır: sabit bir test görev kümesinde, sistemin kabul edilebilir sonuç ürettiği görevlerin yüzdesi. Yanına şu ölçütler eklenir:

• Kaynağa sadakat (groundedness): Belge tabanlı bir sistemde üretilen her iddianın verilen kaynakta karşılığı var mı? Atıf verilen belge gerçekten o bilgiyi içeriyor mu?
• Uydurma oranı: Kaynakta bulunmayan bilgi üretme sıklığı. Sıfıra indirilemez; ölçülüp eşiğe bağlanır.
• Bilmediğini söyleme davranışı: Cevabı olmayan sorularda sistem cevap uydurmak yerine geri adım atıyor mu? Bu, kurumsal kullanımda uydurma oranından daha belirleyici olabilir.
• Araç çağrısı başarımı: Agent sistemlerinde doğru aracın doğru parametrelerle çağrılma oranı, göreve giden adım sayısı ve geri alınamaz işlemlerdeki hata oranı ayrı ölçülür.
• Görev başına maliyet ve gecikme: Doğru ama on kat pahalı veya on kat yavaş bir cevap, çoğu süreçte kullanılamaz.

İki uyarı. Birincisi, bu sistemler deterministik değildir: aynı girdi farklı çıktı üretebilir. Tek koşumda alınan sonuç yerine tekrarlı koşum ve sonuçların değişkenliği raporlanmalıdır. İkincisi, değerlendirmede hakem olarak bir dil modeli kullanılıyorsa (LLM-as-judge), o hakemin kararları insan etiketiyle kalibre edilmelidir; aksi halde hakem modelin kendi yanlılığı ölçüme karışır. Prompt, model sürümü veya veri değiştiğinde aynı test kümesi bir regresyon takımı gibi yeniden koşturulmalıdır.

Yapay zeka sözleşmesine hangi ölçüm maddeleri yazılmalı?

Denetlenebilir bir yapay zeka projesinde ölçüm, teslim sonrası tartışılan bir konu değil, başlangıçta yazılan bir maddedir. Kabul kriterine girmesi gereken başlıklar:

• Hedef metrikler ve eşikleri: hangi metrik, hangi değerin üzerinde, hangi karar eşiğinde.
• Alt grup şartı: performansın ayrı ölçüleceği kırılımlar ve her birinde asgari kabul değeri.
• Test kümesinin sahibi: kurumun kendi verisinden hazırlanan, tedarikçinin görmediği kilitli küme.
• Örneklem büyüklüğü ve güven aralığı: metriğin hangi belirsizlikle raporlanacağı.
• Yanlış pozitif ve yanlış negatifin birim maliyeti: eşik tercihinin dayanağı.
• Karşılaştırma tabanı: mevcut insan veya kural tabanlı sürecin aynı küme üzerindeki başarımı.
• Gerçek zamanlı sistemlerde hız şartı: FPS, uçtan uca gecikme, en kötü yüzde birlik dilim ve ölçümün yapılacağı donanım.
• Gölge çalıştırma süresi: sistemin karar vermeden önce üretimde paralel koşacağı dönem.
• Üretim izleme planı: hangi metrik hangi sıklıkta ölçülecek, hangi eşikte alarm üretecek.
• Yeniden eğitim tetikleyicisi ve sorumluluğu: kayma tespit edildiğinde ne olacak, kim yapacak.
• İnsan devrede kalacak karar sınıfları: hangi kararlar hiçbir koşulda tam otomatik verilmeyecek.

Bu maddeler yalnızca ticari bir koruma değil, yönetişim gereğidir. ISO/IEC 42001 yapay zeka yönetim sistemi standardıdır ve performansın ölçülmesini, izlenmesini ve kayıt altına alınmasını tanımlı bir süreç haline getirmeyi gerektirir. AI Yapay Zeka Mühendislik A.Ş. olarak ISO 42001 belgesine sahibiz ve kurumlara bu alanda danışmanlık veriyoruz.

Sıkça sorulan sorular

Yapay zeka modelinde yüzde 99 doğruluk iyi bir sonuç mudur?

Tek başına hiçbir şey ifade etmez. Aradığınız olay verinin yüzde birini oluşturuyorsa, her kayda "yok" diyen boş bir kural da yüzde 99 doğruluk üretir ve aradığınız vakaların hiçbirini bulamaz. Yüzde 99 doğruluk raporunun yanında kesinlik, duyarlılık ve sınıf dağılımı istenmelidir.

Doğruluk paradoksu nedir?

Doğruluk paradoksu, sınıf dengesizliği yüksek olan veri kümelerinde hiçbir şey öğrenmeyen bir modelin yüksek doğruluk oranı üretmesi durumudur. Model çoğunluk sınıfını tahmin ederek yüksek oran yakalar, ancak asıl aranan azınlık sınıfını hiç yakalayamaz. Nadir olay arayan projelerde doğruluk yerine kesinlik, duyarlılık ve PR-AUC kullanılır.

Kesinlik (precision) ile duyarlılık (recall) arasındaki fark nedir?

Kesinlik, modelin "var" dediklerinin ne kadarının gerçekten var olduğunu ölçer ve düştüğünde boşa alarm maliyeti üretir. Duyarlılık, gerçekte var olanların ne kadarının yakalandığını ölçer ve düştüğünde kaçırılan vaka riski üretir. Karar eşiği kaydırıldığında biri artarken diğeri genellikle düşer; hangisinin öncelikli olacağını süreç sahibi belirler.

Dengesiz veri kümesinde hangi metrik kullanılmalıdır?

Dengesiz veride kesinlik, duyarlılık, F1 ve PR-AUC birlikte kullanılmalıdır. ROC-AUC yanıltıcı olabilir; çünkü kullandığı yanlış pozitif oranının paydasında çok büyük bir doğru negatif kütlesi bulunur ve binlerce yanlış alarm bile bu oranı neredeyse değiştirmez. PR eğrisi yanlış pozitife doğrudan tepki verdiği için daha dürüst bir resim sunar.

Veri sızıntısı (data leakage) nedir ve nasıl önlenir?

Veri sızıntısı, test kümesine ait bilginin eğitim sürecine karışmasıdır. En sık görülen biçimleri, aynı kişiye veya aynı cihaza ait kayıtların hem eğitim hem test tarafına dağılması ile tahmin anında var olmayan bir bilginin özniteliklere girmesidir. Önlemi, bölmeyi kayıt bazında değil kaynak bazında yapmak, zaman içeren veride eğitimi geçmişten test kümesini gelecekten seçmek ve tüm ön işleme adımlarını yalnızca eğitim kümesi üzerinde hesaplamaktır.

Gerçek zamanlı görüntü işleme sisteminde FPS tek başına yeterli midir?

Yeterli değildir. FPS bir işlem hacmi ölçüsüdür; toplu işleme yapan bir sistem FPS değerini yükseltirken tek bir karenin karara ulaşma süresini uzatabilir. Karar bir müdahaleyi tetikliyorsa uçtan uca gecikme ve en kötü yüzde birlik dilim ölçülmelidir. Ayrıca FPS; çözünürlük, donanım, sayı hassasiyeti ve eşzamanlı akış sayısı belirtilmeden karşılaştırılamaz.

Yapay zeka sözleşmesine hangi başarı kriteri yazılmalıdır?

Sözleşmeye hedef metrik ve eşiği, alt grup kırılımlarındaki asgari değerler, kurumun kilitli tuttuğu test kümesi, örneklem büyüklüğü ve güven aralığı, mevcut sürecin karşılaştırma tabanı, gölge çalıştırma süresi, üretim izleme planı ve yeniden eğitim sorumluluğu yazılmalıdır. Ölçüm koşulları başlangıçta tanımlanmazsa teslim sonrasında başarı tartışması kanıtlanamaz hale gelir.

Değerlendirme kurgusu için destek

Bir yapay zeka projesinin ölçüm kurgusunu tasarlamak, mevcut bir modeli bağımsız olarak denetlemek veya kabul kriterlerini sözleşmeye çevirmek için bize ulaşabilirsiniz. AI Yapay Zeka Mühendislik A.Ş. AI agent geliştirme, görüntü ve video işleme, dil modeli çözümleri ve kurumsal eğitim alanlarında çalışır; ISO 42001 belgesine sahiptir ve aynı alanda danışmanlık verir.

Telefon: 0540 509 19 05 · E-posta: gokhan@aiyapayzeka.io · Web: www.aiyapayzeka.io · Çalışma saatleri: her gün 09.00-19.00

Ücretsiz danışmanlık için bize ulaşın

← Tüm yazılar