Entropi: Bilginin Belirsizliği Nedir?

Entropi derken neyi kastediyoruz?

“Entropi” tek bir kelime ama iki farklı dünyada iki farklı şey söyler. Gündelik dilde entropi çoğu zaman “kaos” ve “bozulma” diye anlaşılır. Bu kullanımın bir dayanağı var: termodinamikte entropi, enerjinin dağılmasıyla birlikte, sistemin düzenli hâlden düzensiz hâle kaymasına işaret eder.

Bilgi kuramında ise entropi bambaşka bir anlama kavuşur: bir mesajın taşıdığı belirsizlik ve dolayısıyla sürpriz payı. Burada entropi “kötü” bir şey olmak zorunda değildir. Tam tersine, bilgi dediğimiz şeyin ölçülebilir bir yüzüdür. Aynı kelimeyi iki düzlemde ayırmadan kullandığımızda, entropiyi ya romantize ederiz ya da şeytanlaştırırız. Bilmek burada ayrımı bilmektir: fizikte dağılma, bilgi kuramında sürpriz.

Shannon’ın fikri: Beklenen mesaj bilgi taşımaz

Claude Shannon’ın bilgi kuramı, bilgiye “anlam” tarafından değil, olasılık tarafından yaklaşır. Temel sezgi şudur: Eğer bir mesajın ne geleceğini yüzde yüz biliyorsanız, o mesaj size yeni bir şey eklemez.

Bu yüzden iki tür iletişim ayrılır:

• Tahmin edilebilir iletişim: beklenen, tekrar eden, rutin olan.
• Tahmin edilemez iletişim: beklenmedik, düşük olasılıklı, sürpriz barındıran.

Günlük hayattan basit bir örnek: Her sabah “Günaydın” demek insan ilişkileri için kıymetli olabilir; ama bilgi ölçüsü açısından bakıldığında sürpriz payı düşüktür, çünkü beklenen budur. Fakat bir sabah “Hoşça kal” denmesi, sürprizi yükseltir: düşük olasılıklı bir ihtimal gerçekleşir ve mesajın “bilgi miktarı” artar. Bilgi kuramının “bilgi” diye ölçtüğü şey, tam da bu sürpriz payıdır.

Entropi: Mesajın “sürpriz bütçesi”

Bilgi kuramındaki entropi, bir mesaj kaynağının ne kadar belirsiz olduğunu ölçer: belirsizlik arttıkça entropi artar; belirsizlik azaldıkça entropi düşer. Bu, ilk bakışta rahatsız edebilir; çünkü belirsizliği çoğu zaman olumsuz bir şey gibi kodlarız. Oysa burada belirsizlik, potansiyel demektir.

Çünkü belirsizlik şunu söyler: “Birden fazla ihtimal var.” Birden fazla ihtimal varsa, gerçekleşen ihtimal “yeni bilgi” taşır. Tek ihtimal varsa, sonuç zaten baştan bellidir; yeni bilgi yoktur.

Kısa cümleyle: Sürpriz yükseldikçe bilgi artar.

Veri sıkıştırma: Düşük entropiyi ayıklamak

Bilgisayar dünyasında entropinin en somut göründüğü yerlerden biri veri sıkıştırmadır. Bir dosyayı ZIP gibi yöntemlerle sıkıştırırken yaptığınız iş, dosyadaki tekrar eden ve tahmin edilebilir kısımları daha kısa bir temsile dönüştürmektir.

• Dosyada tekrar çoksa, entropi düşüktür ve sıkıştırma genellikle iyi çalışır.
• Dosyada tekrar azsa, entropi yüksektir ve sıkıştırma sınırlı kalır.

Bu yüzden bazı dosyalar neredeyse hiç sıkışmaz. Bunun nedeni “kötü sıkıştırma” değil, içeriğin zaten az tekrar içermesi olabilir. Entropi burada “kaos” değil; tekrarın azalması anlamına gelir.

Şifreleme ve güvenlik: Tahmin edilemezlik güçtür

Entropi, şifreleme ve güvenliğin de merkezindedir. İyi bir şifreleme, veriyi dışarıdan bakan biri için olabildiğince tahmin edilemez hâle getirir. Çünkü tahmin edilebilirlik, saldırgan için bir kapıdır.

Pratik sezgi şöyledir:

• Şifreli veri “düzenli” görünüyorsa, yani belirgin örüntüler ve tekrarlar seziliyorsa, risk artar.
• Şifreli veri “rastgele gibi” görünüyorsa, yani dışarıdan bakana belirsizlik üretiyorsa, güvenlik artar.

Burada entropi, yıkımın değil korumanın aracıdır: düzeni görünmez kılarak anlamı saklarsınız.

Zihin ve düşünce: Tekrarın konforu, ayrımın üretkenliği

Entropi yalnızca dosya ve şifre meselesi değildir; düşünceye de uygulanabilir bir sezgi sunar. Sürekli aynı fikirleri tekrar eden bir zihnin sürpriz payı düşer. Ne diyeceği bellidir; hangi itirazı yapacağı bellidir; olasılık alanı daralmıştır. Bu, entropisi düşük bir düşünme hâlidir.

Yeni bir fikir, yeni bir ayrım, yeni bir soru ise zihinsel entropiyi artırır. Rahatsız edebilir; çünkü bekleneni bozar. Fakat bilgi üretimi çoğu zaman bu bozulmadan doğar. Düşünce, sürprizle açılır.

Yapay zekâ sorusu: Tamamlama mı, yeni ayrım mı?

Bugün entropi, yapay zekâ okuryazarlığının da anahtar kelimelerinden biri hâline geliyor. Dil modelleri olasılıkla çalışır: “Bu kelimeden sonra hangisi daha muhtemel?” Bu mekanizma akıcı metin üretir; ama akıcılık, tek başına yeni bilgi üretmez.

Bu yüzden kritik ayrım şudur:

• Eğer yapay zekâ sadece “en muhtemel” devamı yazıyorsa, size çoğu zaman düşük entropili bir akış sunar: tanıdık, pürüzsüz, beklenen. Bu, hız kazandırır; ama yenilik sınırlı kalabilir.
• Eğer yapay zekâ size yeni bir ayrım getiriyor, varsayımlarınızı görünür kılıyor, karşı örnek üretiyor, alternatif çerçeve sunuyorsa; o zaman sürpriz payı yükselir ve gerçek bilgi ihtimali artar.

Yani soru şudur: Yapay zekâ sizi sadece tamamlıyor mu, yoksa sizi ayırmaya mı zorluyor?

Sonuç: Entropi, belirsizliğin ölçüsü; bilginin kapısı

Entropi, yanlış yerde kullanıldığında “kaos”a indirgenen bir kelime; doğru yerde kullanıldığında bilgi dünyasının ölçüsüdür. Bilgi kuramında entropi, mesajın taşıdığı belirsizliği—yani sürpriz payını—ölçer. Sürpriz artınca bilgi artar; sürpriz sıfıra yaklaşınca bilgi de sıfıra yaklaşır.

Bu yüzden entropi yalnız teknik bir kavram değil; aynı zamanda düşünme disiplinidir:
Tam tahmin edebildiğiniz yerde bilgi azalır; tahmin bozulduğunda bilgi başlar.

Zihinsel Entropi Testi: Bugün okuduğunuz metinleri veya yaptığınız konuşmaları düşünün. Kaç tanesi sizin için %100 tahmin edilebilirdi (Düşük Entropi)? Kaç tanesi sizi şaşırttı veya ezberinizi bozdu (Yüksek Entropi)? Eğer hayatınız düşük entropili bir akışa girdiyse, bilgi alımınız durma noktasına gelmiş olabilir.