Axborot o'lchovlari. Axborotlarni kodlash va fizik ifodalash usullari

Axborot o'lchovlari. Axborotlarni kodlash va fizik ifodalash usullari Reja: Axborot o'lchovlari. Axborotni kodlash tizimchlari. Axborotning fizik ifodalash usullari. Axborotni o'lchash uchun odatda axborot miqdori I va ma'lumotlar hajmi VM parametrlaridan foydalaniladi. Bu parametrlar ko'riladigan adekvatlik shakliga qarab turli ifoda va izoh kasb etadi. Adekvatlikning har bir shakliga o'zining axborot miqdori va ma'lumotlar hajmi o'lchovi mos keladi (2.1 - rasm). Axborotning sintaktik o'lchovi Axborotning bu o'lchovida obyektga nisbatan manoga ega bo'lmagan axborot bi Axbortdagi ma'lumotlar hajmi VM - bu axborotdagi simvollar (xonalar) soni bilan o'lchanadi. Turli sanoq tizimida bir xona turli salmoqqa ega va demak, ma'lumotlarning o'lchov birligi o'zgaradi. Misol. Ikkilik sanoq tizimidagi sakkiz xonali 1101011 ikkilik kodining ma'lumotlar hajmi VM8 bit. o'nli sanoq tizimida olti xonalik 247532 sonining mos ma'lumotlar hajmi VM6 dir. Sintaktik bosqichda axborot miqdorini tizim holatining noaniqligi (tizim entropiyasi) tushunchasini ko'rmasdan aniqlab bo'lmaydi. Aytaylik, axborot olinishgacha foydalanuvchi tizimi xususida qandaydir dastlabki (aprior) ma'lumotga ega bo'lsin. Uning tizimdan voqif emaslik o'lchovi H() funksiya bo'lib, bu funksiya o'z navbatida tizim holatining noaniqlik darajasi va o'lchovi hisoblanadi. Qandaydir ma'lumot qabul qilingandan so'ng qabul qiluvchi qandaydir qo'shimcha I() axborotga ega bo'ladi va uning aprior voqif emasligi kamayadi, natijada tizim holatining aposterior ( ma'lumot qabul qilingandan so'nggi) noaniqligi H () ga teng bo'ladi. Unda, ma'lumotdagi tizim xususidagi axborot miqdori I() quyidagicha aniqlanadi : I() H() - H()(1) (2.1) yani, axborot miqdori tizim holati noaniqligining o'zgarishi (kamayishi) orqali o'lchanadi. Agar so'nggi noaniqlik H() nolga aylansa, dastlabki to'liq bo'lmagan bilim to'liq bilim bilan almashtiriladi va axborot miqdori I() H() bo'ladi. Boshqacha aytganda, tizim entropiyasi H() etishmaydigan axborot o'lchovi sifatida ko'rilishi mumkin. Mumkin bo'lgan N holatlarga ega bo'lgan tizim entropiyasi H() Shennon formulasiga binoan quyidagicha aniqlanadi: H() pi logpi (2.2) bu yerda ri - tizimning i-holatda bo'lishligi ehtimolligi. Tizimning barcha holatlari teng ehtimollik bo'lgan (pi 1 N) hol uchun entropiya quyidagicha munosabat orqali aniqlanadi: H() - log (2.3) ma'lumotlarning informativlik koeffitsiyenti (darajasi) axborot miqdorining uning ma'lumotlar hajmiga nisbati orqali aniqlanadi, yani Y i Vì , bu yerda 0 ...