Bài giảng Lý thuyết thông tin - Chương 1, Phần 2: Các khái niệm căn bản - Huỳnh Văn Kha

Nội dung text: Bài giảng Lý thuyết thông tin - Chương 1, Phần 2: Các khái niệm căn bản - Huỳnh Văn Kha

1. Ch ươ ng 1: Cỏc khỏi ni m căn bn 1.2Đothụngtin
2. 2 Hu ỳnh V ăn Kha 06/03/11 ð khụng ch c ch n cú ủiu ki n và là hai bi n ng u nhiờn • ð khụng ch c ch n c a vi ủiu ki n • ð khụng ch c ch n c a vi ủiu ki n là trung bỡnh theo tr ng l ưng c a , ngh ĩa là:
3. 3 Hu ỳnh V ăn Kha 06/03/11 ðnh lý 1.4 Ch ứng minh: Do nờn ta cú ủiu c n ch ng minh
4. 4 Hu ỳnh V ăn Kha 06/03/11 ðnh lý 1.5 Du b ng x y ra khi và ch khi và ủc l p Ch ứng minh: Theo ủnh lý 1.4 thỡ: Theo ủnh lý 1.3 thỡ: Du b ng x y ra khi và ch khi , ủc l p T hai ủiu này ta suy ra ủiu c n ch ng minh
5. 5 Hu ỳnh V ăn Kha 06/03/11 ðo thụng tin • Cú 2đng xu,mt đng cõn bng,mt đng cú 2 mt đu xp. • Ch n ng u nhiờn mt đng , tung hai ln. • Nu bi t tng s mt xp ca hai ln tung thỡ ta bi t gỡ v đng xu đư c ch n? • Nu s mt xp ớt hơn 2thỡ đng xu đư c ch n là đng xu cõn bng ng ư c li thỡ khụng ch c ch n • Kt qu mt s ki n cú th cho ta bi t mt s thụng tinv cỏc s ki n khỏc
6. 6 Hu ỳnh V ăn Kha 06/03/11 ðo thụng tin • Bi t tr ư c kt qu bi n ng u nhiờn Y,đi lư ng nào s đo lư ng thụng tincú th bi t đư c ca bi n ng u nhiờn X? • Gi X là bi n ng u nhiờn nh n giỏ tr 0 nu đng xu cõn bng đư c ch n,nh n giỏ 1nu đng xu cũn li đư c ch n,Ylà tng s mt xp 0 0 1/4 1/2 1 Y X 1/4 1 1 2
7. 7 Hu ỳnh V ăn Kha 06/03/11 ðo thụng tin • Khi ch n ng u nhiờn 1đng xu thỡ đ khụng ch c ch n cn xỏc đnh là H(X) • Sau khi bi t đư c tng s mt xp thỡ đ khụng ch c ch n cn xỏc đnh ch cũn là H(X|Y) • Dođú ng ư i ta đnh nghĩa lư ng thụng tinthu đư c v bi n Xkhi bi t Ylà: I(X|Y)=H(X)– H(X|Y) • I(X|Y)đư c s dng nhi u trong vi c truy n ti thụng tinquakờnh b nhi u,mà ta s xột k trong ch ươ ng 3
8. 8 Hu ỳnh V ăn Kha 06/03/11 Mt s tớnh ch t c a • Do ủnh lý 1.5, ta th y , d u b ng x y ra khi và ch khi , ủc l p • Theo ủnh lý 1.4: Do ủú: Nh ưng: Vy:
9. 9 Hu ỳnh V ăn Kha 06/03/11 • Tớnh I(X|Y)trong vớ d trờn? • Tớnh I(Y|X)trong vớ d trờn? • Chỳ ý: Nu ta bi t tr ưc cỏc xỏc xu t thỡ nờn tớnh theo cụng th c