İnformasyon en sınırlı teknik anlamda, bir mesaj olarak yorumlanabilen bir dizi sembollerden oluşmuştur. İşaretler olarak kaydedilebildiği gibi, sinyaller olarak da yayılabilir. İnformasyon dinamik sistemlerin durumunu etkileyen herhangi bir olgudur.
Kavram olarak informasyon iletilen bir mesaj veya ifadedir.
Bu nedenden genel olarak informasyon için herhangi bir gerçek veya durumla ilgili iletilen veya alınan bilgi denebilir.
İnformasyon öngörülemez ve bilinmezliğin çözümünde kullanılamaz.
Bir olgunun belirsizliği onun olma olasılığı ile ölçülür ve onunla ters orantılıdır. Belirsizliği ne kadar çoksa, olma olasılığı o kadar azdır. Başka bir deyişle bir olgu ne kadar belirsizse onun bilinmezliğini çözmek içn o kadar çok informasyon gerekir.
İnformasyonun miktarı bit ile ölçülür.
Örneğin: Bir metal para ile yazı tura atarken informasyon: log2(2/1)=1 bit dir. İki metal para ile informasyon log2(4/1)=2 bit dir..
İnformasyon kavramı farklı koşullarda farklı anlamlar içerir. İnformasyon kavramı aşağıdaki nosyonlarla yakından ilgilidir. Komünikasyon, kontrol, bilgi, anlam, mental uyarılar, algılar ve entropi.
Entropi öngörülemezlik veya informasyon miktarı ölçüsüdür. Bununla ne demek istediğimizi açıklamak için bir örnek verelim:
Politik bir konuda halk oylaması yapmak istiyoruz. Bu oylamayı yapmadan sonucunu bilmek mümkün değildir. Zaten sonucunu bilmek için bir oylama yapıyoruz. Sonuç az çok tahmin edilse bile nisbeten öngörülemezdir. Oylamanın yapılması ve sonuç bize yeni informasyon kazandıracaktır. Bu durumda oylamanın entropisinin büyük olduğunu söyleyebiliriz.
Aynı oylamayı birinci oylamadan bir süre sonra ikinci defa yaptığımızı düşleyelim. Birinci oylamanın sonucu iyi bilindiğinden, ikinci oylamanın sonucunu daha iyi öngörmek mümkündür. Bu sonuç bize yeni informasyon vermez. İkinci oylamanın entropisi birinciye oranla küçüktür.
Yazı tura atmayı inceleyelim. Para hilesizse yazı tura gelme olasılığı eşittir ve bu durumda entropi en yüksektir. Çünkü yazının mı yoksa turanın mı geleceğini öngörmek imkansızdır. Öngörme şansı yüzde 50'den fazla değildir. Bu yazı-turanın entropisi 1 bit olarak belirtilir. Çünkü yazı ve turanın gelmesi eşit olasılıktır. Sonucu ögrenmek 1 bit informasyona bedeldir.
Hileli bir para ile yazı tura attığımızı düşleyelim. İki yüzü de tura olan bir parayı kullanırsak, sonucu öngörmek mümkün olacağı için bunun entropisi sıfırdır ve bundan yeni informasyon elde etmek mümkün değidir.
Türkçe bir yazının entropisi oldukça düşüktür. Kelimelerin bazı harfleri olmasa bile hangilerinin olacağını öngörmek mümkündür. Her kelimede yer alan a, e, i gibi harfler z, v, gibi harflerden daha sık kullanıldıklarından hangilerinin geleceğini bilmek daha kolaydır. Bu durumda her harfde kabaca 1 bitlik bir entropi vardır diyebiliriz.
Kelimeleri bazı harfleri atarak sıkıştırırsak ve kelimeler informasyon kaybetmezlerse, orijinal mesajı daha az harfle yazmış (ifade etmiş) oluruz. Bu da her harfin daha fazla informasyon içerdiği anlamına gelir. Çünkü aynı anlamı daha az harfle belirtebiliyoruz. Bunun entropisi daha yüksektir. Ama bu şekilde sıkıştırılan kelimelerden oluşan mesaj nisbeten daha az öngörülebilir. Çünkü daha kolay anlaşılmayı sağlayan fazlalıklar yoktur. Shannon'un teoriemine göre kabaca kelimeleri informasyon kaybetmeden sıkıştırma olgusu mesajları her bir mesaj başına ortalama 1 bit informasyondan daha fazla yapamaz.
Mesajda ne kadar informasyon olduğunu bulmak için mesajın entropisini mesajın uzunluğu ile çarpmak gerekir.
İnformasyon entropisi:
İnformasyon entropisi informasyon teorisinden adapte edilen bir kavramdır. Bir olguda ne kadar informasyon olduğunu belirtir. Bir kural olarak bir olgu ne kadar belirsiz ve rastgele ise, o kadar çok informasyon içerir ve entropisi o kadar yüksektir. İnformasyon entropisi kavramı bir matematikçi olan Shannon tarafından yaratılmıştır. Uygulandığı alanlar arasında kayıpsız bilgi komprese etmek, kriptografi, biyoloji ve fizik de vardır.
İnformasyon entropisini bir örnekle açıklayalım:
Birisine önceden bildiği bir bilginin söylenmesi durumunda ona çok az informasyon iletilir. Daha önce bilinenlerin tekrarlanmasının bir anlamı yoktur. Bu informasyonun entropisi çok düşüktür diyebiliriz. Ama birisine önceden bilmediği veya çok az bildiği birşeyler söylenirse, ona çok miktarda informasyon iletiliyor demektir. Bu onlar için değerli bir informasyondur. Bu informasyonun entropisi yüksektir.