ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của
từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

Pi
0
0.34
0.54
0.73
0.83
0.9
0.94
0.97
0.99

ni
2
3
3
4
4
5
6
6
7

Dạng mã nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p=

=0,8279
1

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
Bài tập: Ma trận sinh của bộ mã tuyến tính (6,3) trên trường GF(2) là:
G=
a. Biểu diễn G dưới dạng chuẩn Gch.
b. Liệt kê các từ mã có được từ G và Gch.
c. Có bao nhiêu từ mã có trọng số hamming là 1,2,3,4,5,6,7.

Giải
a.

Biểu diễn G dưới dạng chuẩn Gch.
Gch=

b.

Liệt kê các từ mã của G và Gch.

Vector mang
tin a
000
001
010
011
100
101
110
111

v= a.G

w(v)

v’=a.Gch

w(v’)

000000
110110
110001
000111
011010
101100
101011
011101

0
4
3
3
3
3
4
4

000000
001111
010110
011001
100011
101100
110101
111010

0
4
3
3
3
3
4
4

2
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

c. Cả hai bộ mã trên đều có
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6

__________________________________________________________________

Chương V: MÃ VÒNG

a.

Bài tập: Cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê
tất cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu
bit?
Giải
Cho d= (0001) ta tính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mã v1 ta sẽ được thêm 6 từ mã nữa:
V2=1000101
V3=1100010
V4=0110001
V5=1011000
3
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

V6=0101100
V7=0010110
Cho d=(0011) ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101
Quay vòng từ mã vδ ta sẽ được thêm 6 từ mã nữa:
V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
V15=1111000+dư số
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000 + dư số
b.

Ta có thể tính dễ dàng trọng số Hamming của bộ mã là trọng số nhỏ nhất
của từ mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các
mẫu sai 1bít.

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 2: Lượng Tin
Trong một trò sổ số vui người ta sổ 10 chữ số từ 0 đến 9.

4
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Xác suất trúng của mỗi nhóm lá như nhau.
a. Tính lượng tin riêng của tin: “số trúng giải là số 9”
b. Tính lượng tin tương hỗ giữa tin: “số trúng giải là số 9” so với tin: “số trúng giải là
số chia hết cho 3”.
c. Trong 10 tin trên gọi U={u1, u2, u3, u4, u5, u6} với ui là tin “số i trung giải”

(i=0,1,.....,6).
Tìm lượng tin trung bình của tập tin U.
Giải
a. Gọi p(9) là xác suất số 9 trúng giải ta có:
p(9) =

= 0.1

Vậy I(9) =
b. Gọi p(0-3-6-9) là xác suất trúng giải chia hết cho 3.
Ta có

p(0-3-6-9) =

Mặc khác I(9/0-3-6-9) =

=

=
Vậy: I(9;0-3-6-9) = I(9)-I(9/0-3-6-9)
=
= 1.322
c. Lượng tin trung bình của tập tin U:
I(U) =

=-

=

= 2.325

5
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương 3: Mã Thống Kê Tối Ưu
Cho nguồn tin U có sơ đồ thống kê như sau:
ui
p(ui)

u1
0.338

u2
0.32

u3
0.13

u4
0.1

u5-6
0.018

u7-9
0.01

u10-18
0.005

u19
0.01

Dùng mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=3. Tính ntb
và tính kinh tế của từ mã:
Giải
Sơ đồ mã hóa theo phương pháp mã hóa Huffman:
ui
u1
u2
u3
u4
u5
u6
u7
u8
u9
u10
u11
u12
u13
u14
u15
u16
u17
u18
u19

p(ui)
0.338
0.32
0.13
0.1
0.018
0.018
0.01
0.01
0.01
0.005
0.005
0.005
0.005
0.005
0.005
0.005
0.005
0.005
0.001

ni
1
1
2
2
4
4
4
4
4
5
5
5
5
5
5
5
5
5
4

Từ mã
0
1
20
21
2210
2211
2200
2201
2202
22200
22201
22202
22210
22211
22212
22220
22221
22222
2212

Phương pháp mã hóa như sau:
• Bước 1: sắp xếp các tin có xác suất theo thứ tự giảm dần.
• Bước 2: ghép 3 tin có xác suất nhỏ nhất, trở thành tin phụ mới
• Bước 3: lặp lại giống bước 1( sắp xếp các tin theo xác suất giảm dần
• Bước 4: ghép 3 tin có xác suất nhỏ nhất trở thành tin phụ mới (cách trình
bày này lập đi lập lại cho đến khi còn 1 tin cuối cùng).

6
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
Độ dài trung bình tư mã:

ntb =

Entropy của tập tin:

H(U) = -

GVHD: NGUYỄN THỊ LAN ANH

=

Chỉ số kinh tế của bộ mã: p =

= 0.9913

Chương 4: Mã Khối Mã Chống Nhiễu
Ma trận sinh của bộ mã tuyến tính (7,3) trên trường GF(2) là:
G =

d. Biểu diễn G dưới dạng chuẩn Gch.
e. Xác định ma trận thử Hch.
f. Liệt kê các từ mã có được từ G và Gch.
g. Xác định khoảng cách Hamming của bộ mã này.

Giải

d.
Gch =

Hch = [-PT.In-k]

e. Ta có

1

0

1

1

0

0

0

7
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
Hch =

GVHD: NGUYỄN THỊ LAN ANH

0

1

1

0

1

0

0

1

1

1

0

0

1

0

1

1

0

0

0

0

1

f. Liệt kê các từ mã của G và Gch.

Vector mang
v= a.G
tin a
000
0000000
001
1011100
010
0101110
011
1110010
100
0010111
101
1001011
110
0111001
111
1100101

w(v)

v’=a.Gch

w(v’)

0
4
4
4
4
4
4
4

0000000
0011110
0100111
0111001
1001011
1010101
1101100
1110010

0
4
4
4
4
4
4
4

g. Cả hai bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã khác
không của chúng.

Chương 5: Mã Vòng

Đa thức sinh của bộ mã vòng hamming là: g(x)=1+x3+x4
a. Tìm đa thức thử h(x) của bộ mã này.
b. Thiết kế mạch mã hóa thực hiện qua h(x).
c. Xác định các bit thử và từ mã nhận được tương ứng với chuỗi bit mang tin
d=(10000001011).

Giải
8
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

a. Bộ mã hamming có (n,k) = (2n-k-1,k) nên:

n = 2n-k-1 = 24-1 = 15.
h(x) = (xn+1)/g(x)

Từ công thức:
Ta tính được: h(x) =

b. Khi d = (10000001011) hay d(x) =

thì:

v(x) = d(x).xn-k + dư số của
=

+ số dư của

=(

)

Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ mã nhận được
tương ứng với v(x) = (
) là v = (100000101110010).

BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN
ĐỀ BÀI: Xác định entropy khi đổ súc sắc. Giả sử súc sắc được chế tạo sao cho xác xuất
suất hiện của bất kỳ mặt nào cũng tỉ lệ với số chấm trên mặt súc sắc.
GIẢI:
Gọi P(xi) là xác suất của các mặt súc sắc. Với i=(1,2,3,4,5,6)
Entropy khi đổ súc sắc:
6

H(x) =

P(xi). I(xi)

1

=−

1
1
2
2
3
3
4
4
5
5
6
6
.log 2 ( ) - log 2 ( ) - log 2 ( ) - log 2 ( ) - log 2 ( ) - log 2 ( )
21
21 21
21 21
21 21
21 21
21 21
21

= 0.209 + 0.323 + 0.401 + 0.455 + 0.492 + 0.516
9
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

= 2.396 (bit)
CHƯƠNG 2: MÃ THỐNG KÊ TỐI ƯU
ĐỀ BÀI: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui
P(ui)

U1
.34

U2
.2

U3
.19

U4
.1

U5
.07

U6
.04

U7
.03

U8
.02

U9
.01

Bằng mã nhị phân (m = 2) theo phương pháp Shannon. Tính độ dài trung bình của từ mã
và tính kinh tế của bộ mã.
GIẢI:
Sơ đồ mã hóa theo phương pháp Shannon:
ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
.34
.2
.19
.1
.07
.04
.03
.02
.01

Pi
0
.34
.54
.73
.83
.9
.94
.97
.99

ni
2
3
3
4
4
5
6
6
7

Dạng nhị phân của Pi
0
0.010
0.100
0.1011
0.1101
0.11100
0.111100
0.111110
0.1111110

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình của từ mã:
9

ntb = ∑ ni p (ui ) = 3.1
i =1

Entropy của tập tin:
9

H (U ) = − ∑ p (u i ) log 2 p (u i) = 2.5644
i =1

Tính kinh tế của bộ mã:

10
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

ρ=

GVHD: NGUYỄN THỊ LAN ANH

H (U ) 2.5644
=
= 0.8279
ntb
3.1

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 2: Lượng Tin
Xem các con bài của bộ bài 52 lá tạo thành 1 nguồn tin rời rạc. Tính entropy của một
lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={ Ace, 2, 3, 4, 5,
6, 7, 8, 9, 10, Jack, Qeen, King}. Tính entropy của một lá bài rút ngẫu nhiên trong
trường hộp này, trong trường hợp U=(bài có hình, bài không hình).
Giải
d. H(U)=

với p(ui)=
=-

(i=1, 2, 3,.......,52)

=-52

e. H(U)=

với p(ui)=
=-

=5.700
(i=1, 2, 3,.......,13)

=-13

=3.700

f. Gọi uh là tin bài có hình thì p(uh)=

Gọi uoh là tin con bài không hình thì p(uoh)=
Vậy H(U)= p(uh)I(uh)+p(uoh)I(uoh)
=- p(uh)

)-p(

)
11

11/13/2011

ĐẶNG QUANG HUY - D09VTH2
=-

-

GVHD: NGUYỄN THỊ LAN ANH
= 0.779

Chương 5: Mã Vons

Đa thức sinh của bộ am vòng hamming là:
g(x)=1+x3+x4
d. Tìm đa thức thử h(x) của bộ am này.
e. Thiết kế mạch am hóa thực hiện qua h(x).
f. Xác định các bit thử và từ am nhận được tương ứng với chuỗi bit mang tin
d=(10000001011).

Giải

c. Bộ am hamming có (n,k)=(2n-k-1,k) nên:

n=2n-k-1=24-1=15.
Từ công thức:

h(x)=(xn+1)/g(x)

Ta tính được: h(x)=
d. Khi d=(10000001011) hay d(x)=

thì:

v(x)=d(x).xn-k+ dư số của

12
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
=

GVHD: NGUYỄN THỊ LAN ANH
+ số dư của

=(

)

Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ am nhận được
tương ứng với v(x)= (
) là v=(100000101110010).

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 2: Lượng Tin.
=

Chương 3: Mã Thống Kế Tối Ưu.
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình
của từ mã ntbvà tính kinh tế của từ mã:p=H(U)/Ntb
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

Pi
0
0.34
0.54
0.73
0.83
0.9
0.94
0.97
0.99

ni
2
3
3
4
4
5
6
6
7

Dạng mạ nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình tư mã: NTB=

13
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

Entropy của tập tin:

GVHD: NGUYỄN THỊ LAN ANH

H(u)=

Chỉ số kinh tế của bộ mã: p=

=0,8279

Chương 4: Mã Chống Nhiếu : Mã Khối

Chương 5: Mã Vòng.
Bài tập: cho mã vòng (n,k)=(7,4) có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả
các từ mã của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.
Giải
A.cho d= (0001) ta tính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:
V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011)ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101
Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:
14
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
V15=1111000+dư sô
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000+dư số
B. ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ
mã khác không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít.
__________________________________________________________________

Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của
từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3

P(ui)
0.34
0.2
0.19

Pi
0
0.34
0.54

ni
2
3
3

Dạng mã nhị phân của pi
0
0.01010111
0.10001010

Từ mã
00
010
100
15

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

U4
U5
U6
U7
U8
U9

0.1
0.07
0.04
0.03
0.02
0.01

0.73
0.83
0.9
0.94
0.97
0.99

4
4
5
6
6
7

GVHD: NGUYỄN THỊ LAN ANH

0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

1011
1101
11100
111100
111110
1111110

Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p=

=0,8279

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
Bài tập: Ma trận sinh của bộ mã tuyến tính (6,3) trên trường GF(2) là:
G=
h. Biểu diễn G dưới dạng chuẩn Gch.
i. Liệt kê các từ mã có được từ G và Gch.
j. Có bao nhiêu từ mã có trọng số hamming là 1,2,3,4,5,6,7.

Giải
h.

Biểu diễn G dưới dạng chuẩn Gch.
Gch=

i.

Liệt kê các từ mã của G và Gch.

16
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

Vector mang
tin a
000
001
010
011
100
101
110
111

GVHD: NGUYỄN THỊ LAN ANH

v= a.G

w(v)

v’=a.Gch

w(v’)

000000
110110
110001
000111
011010
101100
101011
011101

0
4
3
3
3
3
4
4

000000
001111
010110
011001
100011
101100
110101
111010

0
4
3
3
3
3
4
4

j. Cả hai bộ mã trên đều có
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
__________________________________________________________________

Chương V: MÃ VÒNG

BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN.
1.

Trong một trò chơi xổ số vui người ta xổ 10 chữ số từ 0 đến 9.
Xác xuất trúng của mỗi số là như nhau.
a. Tính lượng tin riêng của tin : “ số trúng giải là số 9”.
b. Tính lượng tin tương hỗ giữa tin : “số trúng giải là 9” so
17
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

với tin :”số trúng giải là số chia hết cho 3”.
c. Trong 10 tin trên gọi U=(u1,u2,u3,u4,u4,u5,u6) với ui là tin
“số i trúng giải” (i=0,1,…,6).
Tìm lượng tin trung bình của tập tin U.
Bài làm
a. Gọi p(9) là xác suất số 9 trúng giải ta có
p(9) = 1/10= 0.1
vậy I(9)= -log p(9)= log 10= 3.322
b. Gọi p(0-3-6-9) là xác suất để số trúng giải chia hết cho 3, ta có:
p(0-3-6-9) = 4/10= 0.4
Mặt khác : I (9/0-3-6-9) = - log p(9/0-3-6-9)

Vậy

= − log

p (9 / 0 − 3 − 6 − 9)
p (0 − 3 − 6 − 9)

= − log

1/ 10
= l og4
4 / 10

I(9; 0-3-6-9) = I(9) – I(9/0-3-6-9)

10
= log10− log4= log = 1.322
4
c. Lượng tin trung bình của tập tin U :
6

6

I (U) =p
(u )I (u )i

i =0

CHƯƠNG 2: MÃ THỐNG KÊ TỐI

i

1
1
=− ∑ log
10
i=0 10
1
= .7.log10
10

18
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Trong kênh truyền tin nhị phân có nhiễu nguồn X = {x0,x1} có p(x0)
= 0.4 và p(x1) = 0.6. Xác suất truyền tin sai nhầm p(y0/x1) = p(y1/x0) =
0.1, xác suất truyền tin đúng p(y0/x0) = p(y1/x1) = 0.9, với Y = {y0,y1}
a/ Tính H(Y)
b/ Tính H(Y/X)
c/ Tính I(X;Y)
Bài làm:
a/ H(Y) = p(y0)I(y0) + p(y1)I(y1)
p ( x, y i )
Áp dụng công thức p( x) = ∑
∀i

Ta có: P(y0) = p(y0,x0) + p(y0,x1)
= p(y0) p(y0/x0) + p(x1) p(y0/x1)
= 0,4.0,9 + 0,6.0,1
= 0,42
P(y1) = p(y1,x0) + p(y1,x1)
= p(x0) p(y1/x0) + p(x1) p(y1/x1)
= 0,4.0,1 + 0,6.0,9
= 0,58
H(Y) = -0,42log0,42 – 0,58log0,58
=0,8915
P ( x, y ) I ( y , x )
b/ H (Y / X ) = ∑
XY

= p(x 0,y0) I(y0/x0) + p(x0,y1) I(y1/x0) + p(x1,y0) I(y0/x1) +
p(x1,y1) I(y1/x1)
Mà: p(x0,y0) = p(x0) p(y0/x0) = 0,4.0,9 = 0,36
p(x0,y1) = p(x0) p(y1/x0) = 0,4.0,1 = 0,04
19
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

p(x1,y0) = p(x1) p(y0/x1) = 0,6.0,1 = 0,06
p(x1,y1) = p(x1) p(y1/x1) = 0,6.0,9 = 0,54
I(y0/x0) = -log p(y0/x0) = -log0,9 = log10/9
I(y1/x0) = -log p(y1/x0) = -log0,1 = log10
I(y0/x1) = -log p(y0/x1) = -log0,1 = log10
I(y1/x1) = -log p(y1/x1) = -log0,9 = log10/9
Nên: H(Y/X) = 0,36log10/9 + 0,04log10 + 0,06log10 + 0,54log10/9
= 0.469
p ( x, y ) I ( x; y )
c/ I ( X ; Y ) = ∑
XY

= p(x 0,y0) I(x0;y0) + p(x0,y1) I(x0;y1) + p(x1,y0) I(x1;y0) +
p(x1,y1)I(x1;y1)
Mà: I(x0;y0) = I(y0;x0) = I(y0) - I(y0/x0) = log p(y0/x0)/p(y0) = log0,9/0,42
I(x 0;y1) = I(y1;x0) = I(y1) - I(y1/x0) = log p(y1/x0)/ p(y1) =
log0,1/0,58
I(x 1;y0) = I(y0;x1) = I(y0) - I(y0/x1) = log p(y0/x1)/ p(y0) =
log0,1/0,42
I(x 1;y1) = I(y1;x1) = I(y1) - I(y1/x1) = log p(y1/x1)/ p(y1) =
log0,9/0,58
Vậy I(X;Y) = 0,36log0,9/0,42 + 0.04log0,1/0,58 + 0,06log0,1/0,42 +
0,54log0,9/0,58
= 0,512

BÀI TẬP LÝ THUYẾT THÔNG TIN
__________________________________________________________________

Chương III: MÃ THỐNG KÊ TỐI ƯU
20
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của
từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

Pi
0
0.34
0.54
0.73
0.83
0.9
0.94
0.97
0.99

ni
2
3
3
4
4
5
6
6
7

Dạng mã nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p=

=0,8279

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
__________________________________________________________________

Chương V: MÃ VÒNG

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II

21
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Xem các con bài của bộ bài 52 lá tạo thành 1 nguồn tin rời rạc, Tính Entropy của 1 lá bài
rút ngẫu nhiên. Giả sử bỏ qua nước của con bài để bây giờ U={ Ace, 2,3,4,5,6,7,8,9,10,Jack,
Queen, King}. Tính Entropy của 1 lá bài rút ngẫu nhiên trong trường hợp này, trong
trường hợp U={ bài có hình, bài ko hình}
Giải:
H(U)=i=152puiIui với p(ui)=1/52 ( i= 1,2,3,….52)
=-i=152p(ui)log pui =-52.1/52 log (1/52)= log52 = 5700
b) H(U)=i=113puiIui với p(ui)=1/13 ( i= 1,2,3,….13)
=-i=113p(ui)Iui =-13.1/13 log (1/13)= log13 = 3700
c) Gọi uh là tin bài có hình thì p(uh)=3/13
Gọi uoh là tin bài có hình thì p(uoh)=10/13
Vậy H(U)= p(uh)I (uh)+ p(uoh)I (uoh)
=- p(uh)log p(uh)- )- p(uoh)log (uoh)

= 313log 313- 1013log1013
=0,779
Chương III
Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui

u1

u2

u3

u4

u5

u6

u7

u8

u9

P(ui) .34

.2

.19

.1

.07

.04

.03

.02

.01

Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung bình của từ mã ntb
và tính kinh tế của từ mã p=H(U)/ ntb
Giải:

Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui

P(ui)

Pi

ni

Dạng nhị phân của Pi

Từ Mã
22

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

U1

.34

0

2

0

00

U2

.2

.34

3

0,01010111

010

U3

.19

.54

3

0,10001010

100

U4

.1

.73

4

0,10111010

1011

U5

.07

.83

4

0,11010100

1101

U6

.04

.9

5

0,11100110

11100

U7

.03

.94

6

0,11110000

111100

U8

.02

.97

6

0,11111000

111110

U9

.01

.99

7

0,11111101

1111110

Độ dài trung bình từ mã : ntb= i=19ni pui=3.1
Entropy của tập tin : H(U)=-i=19puilogui=2,5664
Chỉ số kinh tế của bộ mã:

ρ= H(U)/ ntb=2.5664/3.1=0,8279

Chương V
Chứng minh rằng trong 1 bộ mã vòng khi sai E(x) có thể dò được thì mẫu sai
Ei(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được

Giải:
Nếu Ei(x) là 1 mẫu sai ko phát hiện được thì Ei(x) là 1 từ mã. Từ đây theo đn
của mã vòng thì E(x) cũng là 1 từ mã.Khi đó vì mã vòng là mã tuyến tính nên 1
từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x)
và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu
sai phát hiện được.

BÀI TẬP LÝ THUYẾT THÔNG TIN
23
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài 8 : chứng minh rằng

Bài giải :

= H(X) + H(Y/X) (đpcm)
Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u

U. Với mỗi tin u chọn 1 từ mã có

độ dài l(u) thỏa :
Chứng minh rằng độ dài trung bình

Thỏa

Bài giải:

24
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Theo đề bài với mọi u ta có:

Vì p(u)>0 nên bất đẳng thức trên tương đương với:

Cộng tất cả các bất đẳng thức của từng tin u theo vế:

Hay
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
a. Vẽ cây mã và đồ hình kết cấu của bộ mã U
b. Vẽ mặt tọa độ mã
c. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
a. Cây mã :
----------------------------------------------------------------------------------------------------Mức 0
2

1

---------------------------------------------------------------------------------------------------Mức 1
3

1

2 0

--------------------------------------------------------------------------------------------------Mức 2
3

25
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

---------------------------------------------------------------------------------------------------Mức 3
Đồ hình kết cấu :

0

0

3
1

0
b. Mặt tọa độ mã:
ui

ni

pi

3

1

3

23

2

14

11

2

5

123

3

57

10

2

1

c. Tổ hợp sơ đẳng : 23,123,10
Tổ hợp cuối : 3,11
Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311,
u6=102311

Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

u4

u5

u6

u7

P(ui)

.34

.2

.19

.1

.07

.04

.03

u8

u9

.02

.01

Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính
theo kinh tế của từ mã :

26
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài giải :
Sơ đồ mã hóa theo phương pháp Shannon:
ui

P(ui)

Pi

ni

Dạng nhị phân của Pi

Từ Mã

u1

.34

0

2

0

00

u2

.2

.34

3

0.01010111

010

u3

.19

.54

3

0.10001010

100

u4

.1

.73

4

0.1011010

1011

u5

.07

.83

4

0.11010100

11 01

u6

.04

.9

5

0.11100110

11100

u7

.03

.94

6

0.11110000

111100

u8

.02

.97

6

0.11111000

111110

u9

.01

.99

1

0.11111101

1111110

Đọ dài trung bình từ mã :

Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

P(ui)

.5

.25

.315

u14
.31

. 0157

.0156

Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2
Bài giải:
P(ui)
.5

Sơ đồ mã hóa

Từ mã
0

27
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

.25

10

.315

11000

.31

11001

.31

11010

.31

11011

. 0157

111000

. 0157

111001

. 0157

111010

. 0157

111011

. 0157

111100

. 0157

111101

. 0157

111110

.0156

111111

Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI

Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :

a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này

28
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

bài giải:
a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:

b.Ta có :Hch [-PTIn-k] =

c.Liệt kê các từ mã của G và Gch:
Vector mang
tin a

V=a.G

w(v)

v’=a.Gch

W(v’)

000

0000000

0

0000000

0

001

1011100

4

0011110

4

010

0101110

4

0100111

4

011

1110010

4

0111001

4

100

0010111

4

1001011

4

101

1001011

4

1010101

4

110

0111001

4

1101100

4

29
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
111

1100101

GVHD: NGUYỄN THỊ LAN ANH
4

1110010

4

a. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã
khác không của chúng

Chương 5 : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:


Từ đây :
Hay
Tức là

(đpcm)

Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì
mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định
nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên
1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và
không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát
hiện được.

BÀI TẬP LÝ THUYẾT THÔNG TIN
30
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài tập: Xem các con bài của bộ bài 52 lá tạo thành một nguồn tin rời rạc.
Tính entropy của một lá bài rút ngẫu nhiên. Giả sử bỏ qua nước của con bài
để bây giờ U={Ace,2,3,4,5,6,7,8,9,10, Jack, Queen, King}. Tính entropy của
một lá bài rút ngẫu nhiên trong trường hợp này, trong trường hợp U={bài có
hình, bài không có hình}
Giải:
Câu a:
H(U)=

với

=

(i= 1,2,…,52)

với

=

(i= 1,2,…,13)

=
=-52
=

52

=5.7

Câu b:
H(U)=
=
=-13
31
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

=

GVHD: NGUYỄN THỊ LAN ANH

13

=3.7

Câu c:
Gọi
Gọi
Vậy:

=
là tin bài không có hình
H(U) =

=

+

=
=
= 0.779

CHƯƠNG III: MÃ THỐNG KÊ TỐI ƯU

Bài tập: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê:

0.34

0.2

0.19

0.1

0.07

0.04

0.03

0.02

0.01
32

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bằng mã nhị phân (m=2)theo phương pháp Fano. Tính độ dài trung bình của
từ mã ntbvà tính kinh tế của từ mã: =H(U)

Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:

0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

0
0
1
1
1
1
1
1
1

0
1
0
0
1
1
1
1
1

0
1
0
1
1
1
1

0
1
1
1

0
1
1

Độ dài trung bình tư mã:
Entropy của tập tin:

Chỉ số kinh tế của bộ mã:

0
1

Từ mã
00
01
100
101
110
1110
11110
111110
111111

2
2
3
3
3
4
5
6
6

=
H(U)=

=

=2.5664

= 0.9685

33
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

CHƯƠNG IV: MÃ CHỐNG NHIỄU – MÃ KHỐI
Bài tập: Một không gian vector được tạo bởi mọi tổ hợp tuyến tính của tập
hợp các vector:
= 1101000
= 0110100
= 0100011
= 1110010
= 1010001
a. Các vector b có độc lập tuyến tính không?
b. Tìm số chiều và cơ hệ của không gian vector này

Giải:

Câu a: Các vector

phụ thuộc tuyến tính vì:
=0

34
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Câu b:
Gọi

là hệ số

Giả sử tồn tại

sao cho:
=0

1101000)+

(0110100)+

0100011) +

(1110010) = (0000000)

=0
=0
=0
=0
=0
=0
=0
=

=

Vậy

=

=0
độc lập tuyến tính, có thể biểu diễn tuyến tính theo

nên không gian vector có 4 chiều và một cơ hệ của nó là

35
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

<

GVHD: NGUYỄN THỊ LAN ANH

>.

CHƯƠNG V: MÃ VÒNG

Bài tập:Xét bộ mã vọng (7,3) có đa thức sinh g(x)= 1+

+

+

. Cho v =

(0011101) là một từ mã của bộ mã (7,3). Tìm tất cả các từ mã bằng cách
dùng đẳng thức sau:
[v(i)T]=S[v(i-1)]T, i= 1,n-1
Với v(k) là từ mã thứ k và:

S=

Giải:
36
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Trước hết đặt : v(1)= (0011101)

[v(2)]T=

[v(1)]T

=

=

Vậy v(2)= (1001110). Tương tự ta xác định được:
v(3)= (0100111)
37
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

v(4)= (1010011)
v(5)= (1101001)
v(7)= (1110100)
v(8)= (0111010)
Cuối cùng bộ mã có từ mã tầm thường:
v(0)= (0000000)

38
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

39
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II: LƯỢNG TIN
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của
từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

Pi
0
0.34
0.54
0.73
0.83
0.9
0.94
0.97
0.99

ni
2
3
3
4
4
5
6
6
7

Dạng mã nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p=

=0,8279

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
__________________________________________________________________
40
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương V: MÃ VÒNG

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 2 lượng tin

Chương 3:Mã thống kê tối ưu:
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà tính kinh tế
của từ mã:p=H(U)/Ntb
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

Pi
0
0.34
0.54
0.73
0.83
0.9
0.94
0.97
0.99

ni
2
3
3
4
4
5
6
6
7

Dạng mạ nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình tư mã:NTB=
Entropy của tập tin:H(u)=
Chỉ số kinh tế của bộ mã:p=

=0,8279

41
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương 4:mã chống nhiếu:mã khối
Bài tập ma trận sinh của bộ mã tuyến tính (6,3)có dạng chuẩ1n là

a.tìm ma trận thử hch của bộ mã.
b.liệt kê tất cả các từ mã của bộ mã trên và xác định khoảng cách hamming của bộ mã.
c.xác định hàm cấu trúc trọng số mã A(z) và xác định hàm số cấu trủ trọng số mã của bộ mã trực giao
sinh ra từ ma trận HCH làB (z) bằng hai phương pháp:trực tiếp và gian tiếp qua A(z).
d.lập bảng sắp chuẩncủa bộ mã này với chú ý rằng bảng có chứa mấu sai 2 bít và tính syndrome của tất cả
các mẫu sai có thể sửa sai được.
e,thiết lập mạch mã hõa,mạch tinhsyndrome và mạch sửa sai của bộ mã.
GIẢI
a

Hch=(-pT,IN-K)=

HTch=

b liệt kê các từ mã:
Vector mang tin a
V= aGch
W(v)
000
000 000
0
001
001 010
2
010
010 111
4
011
011 101
4
100
100 100
2
101
101 110
4
110
110 011
4
111
111 001
4
Vậy khoảng cách hamming của bộ mã D=2 là trọng số hamming nhở nhất của các từ mã khác không.
C: Dựa vào bảng liệt kê ta có:
A(z)=1+2z2=5z4
Xác định trực tiếp b(z):
Ta liẹt kê các tu8ừ mã của5 bộ mã sinh ra bởi hch
Vector mang tin a
000
001
010
011

V= aGch
000 000
010 001
011 010
001 011

W(v)
0
2
3
3

42
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
100
101
110
111

GVHD: NGUYỄN THỊ LAN ANH
110
100
101
111

100
101
110
111

3
3
4
6

Vậy B(z)=1+z2+4z3+z4+z6

Chương 5:mã vòng:
Bài tập:cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã của bộ
mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.
GIẢI
A.cho d= (0001) tatính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:
V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011)ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101
Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:
V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010
Cho d=(1111000) ta tinh được:
V15=1111000+dư sô
V15=1111000+111=1111111
Cho d=(0000) ta tính được:

43
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

V0=0000000+dư số
b,ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác không : H(V)=3
nên bộ mã có khả năng sửa được tất các mẫu sai 1bít

BÀI TẬP LÝ THUYẾT THÔNG TIN

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 5: Mã Vons

Đa thức sinh của bộ am vòng hamming là:
g(x)=1+x3+x4
g. Tìm đa thức thử h(x) của bộ am này.
h. Thiết kế mạch am hóa thực hiện qua h(x).
i. Xác định các bit thử và từ am nhận được tương ứng với chuỗi bit mang tin
d=(10000001011).

Giải

e. Bộ am hamming có (n,k)=(2n-k-1,k) nên:

44
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

n=2n-k-1=24-1=15.
h(x)=(xn+1)/g(x)

Từ công thức:
Ta tính được: h(x)=

f. Khi d=(10000001011) hay d(x)=

thì:

v(x)=d(x).xn-k+ dư số của
=

+ số dư của

=(

)

Trong đó x3+1 tương ứng với chuỗi bit 1001 là các bit thử và từ am nhận được
tương ứng với v(x)= (
) là v=(100000101110010).

BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN
CHƯƠNG 1: LƯỢNG TIN

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 3: Mã Thống Kê Tối Ưu
Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui
u1
u2
u3
u4
u5
u6
u7
u8
u9
P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2) theo phương pháp shannon. Tính độ dài trung bình của từ mã
ntbvà tính kinh tế của từ mã: p=H(U)/ntb

Giải
45
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Sơ đồ mã hóa theo phương pháp mã hóa shannon:
ui
p(ui) Pi
ni
Dạng mạ nhị phân của Pi
u1
0.34 0
2
0
u2
0.2
0.34 3
0.01010111
u3
0.19 0.54 3
0.10001010
u4
0.1
0.73 4
0.10111010
u5
0.07 0.83 4
0.11010100
u6
0.04 0.9
5
0.11100110
u7
0.03 0.94 6
0.11110000
u8
0.02 0.97 6
0.11111000
u9
0.01 0.99 7
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Chọn ni thỏa điều kiện 2-ni<p(ui)<21-ni
Độ dài trung bình tư mã:

ntb=

entropy của tập tin:

H(U)=-

Chỉ số kinh tế của bộ mã: p=

=

=0.8279

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 1 : Tin và lượng tin
Bài 2.9 / tr 36
Cho tập tin U={ ui } với ui=xiyizi ( i = 1,2,3,4,5)
i
Ui
P(ui)

1
010
0.25

2
011
0.25

3
100
0.125

4
101
0.125

5
110
0.125

6
111
0.125

Gọi tin a là tin ui= u3 = 100, gọi tin b là tin xi=1 ,gọi tin c là tin yi=0 . Tính I(a) , I(a;b) , I(a;c)

Giải
I(a) = - log 2 0.125
>> I(a) = - log(0.125)/log(2)

46
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

=3
I(a;b) = I (a) – I(a/b)
= -log p(u3) + log p( u3/ u3,u4,u5,u6)
= 3 + log 2 0.125/0.125*4
>> I= 3+log(0.125/4/0.125)/log(2)
=1
I(a;c) = I (a) – I(a/c)
= -log p(u3) + log p( u3/ u3,u4)
= 3 + log 2 0.125/0.125*2
>> I= 3+log(0.125/2/0.125)/log(2)
=2

Chương 2 : Mã hóa nguồn tin
Bài 5 / tr
Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

U1

U2

U3

U4

U5

U6

U7

U8

U9

P(ui)

0.34

0.2

0.19

0.1

0.07

0.04

0.03

0.02

0.01

Bằng mã nhị phân (m=2) theo phương pháp Fano . Tính độ dài trung bình của từ mã ntb
và tính kinh tế của từ mã p=H(u)/ ntb

Giải

47
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
Ui

P(ui)

Lần 1

Lần 2

U1

0.34

0

U2

0.2

U3

GVHD: NGUYỄN THỊ LAN ANH
Lần 3

Lần 4

Lần 5

Lần 6

ni

Từ mã

0

2

00

0

1

2

01

0.19

1

0

0

3

100

U4

0.1

1

0

1

3

101

U5

0.07

1

1

0

3

110

U6

0.04

1

1

1

0

4

1110

U7

0.03

1

1

1

1

0

5

11110

U8

0.02

1

1

1

1

1

0

6

111110

U9

0.01

1

1

1

1

1

1

6

111111

Độ dài trung bình của từ mã ntb là:

ntb = ∑ ni pi
= (0.34*2) + (0.2*2) + (0.19*3) + (0.1*3) + (0.07*3) +(0.04*4) +(0.03*5)
+(0.02*6) + (0.01*6)
= 2.65

H(u) = - ∑ pi log2 pi
= - [ (0.34*log2 0.34)+(0.2*log2 0.2)+(0.19*log2 0.19)+(0.1*log2 0.1)+(0.07*log2
0.07)+(0.04*log2 0.04)+(0.03*log2 0.03)+(0.02*log2 0.03)+(0.01*log2 0.01) ]

H(u) = 2.5664
Chỉ số kinh tế của bộ mã : p = H(u) / ntb = 2.5664 / 2.65 = 0.9684

Chương 3 : Mã hóa kênh truyền ( mã khối Hamming)
Bài 2 / tr
Cho ma trân sinh của bộ mã tuyến tính C (6,3) trên trường Galois
G=0

1

1

0

1

0

48
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
1

1

0

0

0

1

1

1

0

1

1

0

GVHD: NGUYỄN THỊ LAN ANH

Tính Gch
Có bao nhiêu từ mã có trọng số Hamming 0,1,2,3,4,5,6,7

Giải
Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch như sau :
Gch =

1

0

0

0

1

1

0

1

0

1

1

0

0

0

1

1

1

1

Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh chuẩn tắc Gch
Vector mang tin
a

V=aG

W(v)

V’ = a Gch

W(v’)

000

000000

0

000000

0

001

110110

4

001111

4

010

110001

3

010110

3

011

000111

3

011001

3

100

011010

3

100011

3

101

101100

3

101100

3

110

101011

4

110101

4

111

011101

4

111010

4

Vậy bộ mã có
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3

49
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
0 từ mã có trọng số là 7

Chương 3 : Mã vòng
Bài 2 / tr
Cho bộ mã vòng (7,4) có đa thức sinh là :
G(x) = x3+x2+1
a. Tìm đa thức thử h(x) của bộ mã này
b. Giả sử nhận được tổ hợp u(x) = x6+x5+x2+1 . Xác định đa thức syndrome của u(x)

Giải
a.Ta có công thức h(x) = xn+1 / g(x) và ta tính được
h(x) = x7+1 / x3+x2+1 = x4+ x3+x2+1
vậy h(x) = x4+ x3+x2+1
b.Già sử nhận được đa thức u(x) = x6+x5+x2+1 , khi đó đa thức syndrome của nó :
Su(x) = số dư của ( u(x) / g(x) ) = số dư của (x6+x5+x2+1 / x3+x2+1) = 0
Vậy đa thức syndrome của u(x) là su(x) = 0

50
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương 1 : Tin và lượng tin
Bài 2.9 / tr 36
Cho tập tin U={ ui } với ui=xiyizi ( i = 1,2,3,4,5)
i
Ui
P(ui)

1
010
0.25

2
011
0.25

3
100
0.125

4
101
0.125

5
110
0.125

6
111
0.125

Gọi tin a là tin ui= u3 = 100, gọi tin b là tin xi=1 ,gọi tin c là tin yi=0 . Tính I(a) , I(a;b) , I(a;c)

Giải
I(a) = - log 2 0.125
>> I(a) = - log(0.125)/log(2)
=3
I(a;b) = I (a) – I(a/b)

51
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

= -log p(u3) + log p( u3/ u3,u4,u5,u6)
= 3 + log 2 0.125/0.125*4
>> I= 3+log(0.125/4/0.125)/log(2)
=1
I(a;c) = I (a) – I(a/c)
= -log p(u3) + log p( u3/ u3,u4)
= 3 + log 2 0.125/0.125*2
>> I= 3+log(0.125/2/0.125)/log(2)
=2

Chương 2 : Mã hóa nguồn tin
Bài 5 / tr
Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

U1

U2

U3

U4

U5

U6

U7

U8

U9

P(ui)

0.34

0.2

0.19

0.1

0.07

0.04

0.03

0.02

0.01

Bằng mã nhị phân (m=2) theo phương pháp Fano . Tính độ dài trung bình của từ mã ntb
và tính kinh tế của từ mã p=H(u)/ ntb

Giải

52
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
Ui

P(ui)

Lần 1

Lần 2

U1

0.34

0

U2

0.2

U3

GVHD: NGUYỄN THỊ LAN ANH
Lần 3

Lần 4

Lần 5

Lần 6

ni

Từ mã

0

2

00

0

1

2

01

0.19

1

0

0

3

100

U4

0.1

1

0

1

3

101

U5

0.07

1

1

0

3

110

U6

0.04

1

1

1

0

4

1110

U7

0.03

1

1

1

1

0

5

11110

U8

0.02

1

1

1

1

1

0

6

111110

U9

0.01

1

1

1

1

1

1

6

111111

Độ dài trung bình của từ mã ntb là:

ntb = ∑ ni pi
= (0.34*2) + (0.2*2) + (0.19*3) + (0.1*3) + (0.07*3) +(0.04*4) +(0.03*5)
+(0.02*6) + (0.01*6)
= 2.65

H(u) = - ∑ pi log2 pi
= - [ (0.34*log2 0.34)+(0.2*log2 0.2)+(0.19*log2 0.19)+(0.1*log2 0.1)+(0.07*log2
0.07)+(0.04*log2 0.04)+(0.03*log2 0.03)+(0.02*log2 0.03)+(0.01*log2 0.01) ]

H(u) = 2.5664
Chỉ số kinh tế của bộ mã : p = H(u) / ntb = 2.5664 / 2.65 = 0.9684

Chương 3 : Mã hóa kênh truyền ( mã khối Hamming)
Bài 2 / tr
Cho ma trân sinh của bộ mã tuyến tính C (6,3) trên trường Galois
G=0

1

1

0

1

0

53
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
1

1

0

0

0

1

1

1

0

1

1

0

GVHD: NGUYỄN THỊ LAN ANH

Tính Gch
Có bao nhiêu từ mã có trọng số Hamming 0,1,2,3,4,5,6,7

Giải
Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch như sau :
Gch =

1

0

0

0

1

1

0

1

0

1

1

0

0

0

1

1

1

1

Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh chuẩn tắc Gch
Vector mang tin
a

V=aG

W(v)

V’ = a Gch

W(v’)

000

000000

0

000000

0

001

110110

4

001111

4

010

110001

3

010110

3

011

000111

3

011001

3

100

011010

3

100011

3

101

101100

3

101100

3

110

101011

4

110101

4

111

011101

4

111010

4

Vậy bộ mã có
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3

54
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6
0 từ mã có trọng số là 7

Chương 3 : Mã vòng
Bài 2 / tr
Cho bộ mã vòng (7,4) có đa thức sinh là :
G(x) = x3+x2+1
c. Tìm đa thức thử h(x) của bộ mã này
d. Giả sử nhận được tổ hợp u(x) = x6+x5+x2+1 . Xác định đa thức syndrome của u(x)

Giải
a.Ta có công thức h(x) = xn+1 / g(x) và ta tính được
h(x) = x7+1 / x3+x2+1 = x4+ x3+x2+1
vậy h(x) = x4+ x3+x2+1
b.Già sử nhận được đa thức u(x) = x6+x5+x2+1 , khi đó đa thức syndrome của nó :
Su(x) = số dư của ( u(x) / g(x) ) = số dư của (x6+x5+x2+1 / x3+x2+1) = 0
Vậy đa thức syndrome của u(x) là su(x) = 0

55
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II: LƯỢNG TIN
Bài tập: Giả sử có một nguồn tin rời rạc với xác suất xuất hiện p<u> khi u thuộc
U, với mỗi tin u, chọn một từ mã có dộ dài 1(u) thỏa:
Log(1/p(u))<l(u)<log(1/p(u))+1
Chứng minh rằng độ dài trung bình:
<1(u)>=
Thỏa H(u)<<1(u)><H(u)+1
Giải
Theo đề bài với mọi u ta có:

Ví p(u)
nên bất đẳng thức trên tương đương với:
P(u)
Cộng tất cả các bất đẳng thức của trường tin u vế theo vế:

Hay H(u)

l(u)

H(u)+1
56

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

__________________________________________________________________

Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của
từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

Pi
0
0.34
0.54
0.73
0.83
0.9
0.94
0.97
0.99

ni
2
3
3
4
4
5
6
6
7

Dạng mã nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110
0.11110000
0.11111000
0.11111101

Từ mã
00
010
100
1011
1101
11100
111100
111110
1111110

Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p=

=0,8279

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
__________________________________________________________________

Chương V: MÃ VÒNG
57
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương II : LƯỢNG TIN
Bài 8 : Chứng minh rằng
Bài giải :

= H(X) + H(Y/X) (đpcm)

CHƯƠNG III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê:

0.34

0.2

0.19

0.1

0.07

0.04

0.03

0.02

0.01

Bằng mã nhị phân (m=2)theo phương pháp Fano. Tính độ dài trung bình của
từ mã ntbvà tính kinh tế của từ mã: =H(U)

Giải:
58
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Sơ đồ mã hóa theo phương pháp mã hóa shannon:

0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01

0
0
1
1
1
1
1
1
1

0
1
0
0
1
1
1
1
1

0
1
0
1
1
1
1

0
1
1
1

0
1
1

Độ dài trung bình tư mã:

0
1

Từ mã
00
01
100
101
110
1110
11110
111110
111111

2
2
3
3
3
4
5
6
6

=

Entropy của tập tin:
H(U)=

Chỉ số kinh tế của bộ mã:

=2.5664

=

= 0.9685

CHƯƠNG IV : MÃ CHỒNG NHIỄU: MÃ KHỐI

CHƯƠNG V: MÃ VÒNG
59
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài tập:Xét bộ mã vọng (7,3) có đa thức sinh g(x)= 1+

+

+

. Cho v =

(0011101) là một từ mã của bộ mã (7,3). Tìm tất cả các từ mã bằng cách
dùng đẳng thức sau:
[v(i)T]=S[v(i-1)]T, i= 1,n-1
Với v(k) là từ mã thứ k và:

S=

Giải:
Trước hết đặt : v(1)= (0011101)

[v(2)]T=

[v(1)]T

60
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

=

=

Vậy v(2)= (1001110). Tương tự ta xác định được:
v(3)= (0100111)
v(4)= (1010011)
v(5)= (1101001)
v(7)= (1110100)
v(8)= (0111010)
Cuối cùng bộ mã có từ mã tầm thường:
v(0)= (0000000)

BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN

CHƯƠNG 3: MÃ KHỐI
61
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương II : LƯỢNG TIN
Bài 8 : chứng minh rằng
Bài giải :

= H(X) + H(Y/X) (đpcm)

Chương III :MÃ THỐNG KÊ TỐI ƯU

Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

u4

u5

u6

u7

P(ui)

.34

.2

.19

.1

.07

.04

.03

u8

u9

.02

.01

Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính
theo kinh tế của từ mã :

Bài giải :
62
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Sơ đồ mã hóa theo phương pháp Shannon:
ui

P(ui)

Pi

ni

Dạng nhị phân của Pi

Từ Mã

u1

.34

0

2

0

00

u2

.2

.34

3

0.01010111

010

u3

.19

.54

3

0.10001010

100

u4

.1

.73

4

0.1011010

1011

u5

.07

.83

4

0.11010100

11 01

u6

.04

.9

5

0.11100110

11100

u7

.03

.94

6

0.11110000

111100

u8

.02

.97

6

0.11111000

111110

u9

.01

.99

1

0.11111101

1111110

Độ dài trung bình từ mã :
Etropy của tập tin:
Chỉ số kinh tế của bộ mã :

Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3)

trên đường GF (2) là :

a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này

63
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

bài giải:
a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:

b.Ta có :Hch [-PTIn-k] =

c.Liệt kê các từ mã của G và Gch:
Vector mang
tin a

V=a.G

w(v)

v’=a.Gch

W(v’)

000

0000000

0

0000000

0

001

1011100

4

0011110

4

010

0101110

4

0100111

4

011

1110010

4

0111001

4

100

0010111

4

1001011

4

101

1001011

4

1010101

4

110

0111001

4

1101100

4

111

1100101

4

1110010

4

b. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã
khác không của chúng

64
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương 5 : MÃ VÒNG

Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì
mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được

Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định
nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên
1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và
không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát
hiện được.

Chương II: LƯỢNG TIN

Bài 6: Trong kênh truyền tin nhị phân có nhiễu nguồn X =
{x0,x1} có p(x0) = 0.4 và p(x1) = 0.6. Xác suất truyền tin sai nhầm p(y0/x1) = p(y1/x0) =
0.1, xác suất truyền tin đúng p(y0/x0) = p(y1/x1) = 0.9, với Y = {y0,y1}
a/ Tính H(Y)
b/ Tính H(Y/X)
c/ Tính I(X;Y)
Bài làm:
a/ H(Y) = p(y0)I(y0) + p(y1)I(y1)
p ( x, y i )
Áp dụng công thức p( x) = ∑
∀i

Ta có: P(y0) = p(y0,x0) + p(y0,x1)
= p(y0) p(y0/x0) + p(x1) p(y0/x1)
= 0,4.0,9 + 0,6.0,1
65
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

= 0,42
P(y1) = p(y1,x0) + p(y1,x1)
= p(x0) p(y1/x0) + p(x1) p(y1/x1)
= 0,4.0,1 + 0,6.0,9
= 0,58
H(Y) = -0,42log0,42 – 0,58log0,58
=0,8915
P ( x, y ) I ( y , x )
b/ H (Y / X ) = ∑
XY

= p(x0,y0) I(y0/x0) + p(x0,y1) I(y1/x0) + p(x1,y0) I(y0/x1) + p(x1,y1) I(y1/x1)
Mà: p(x0,y0) = p(x0) p(y0/x0) = 0,4.0,9 = 0,36
p(x0,y1) = p(x0) p(y1/x0) = 0,4.0,1 = 0,04
p(x1,y0) = p(x1) p(y0/x1) = 0,6.0,1 = 0,06
p(x1,y1) = p(x1) p(y1/x1) = 0,6.0,9 = 0,54
I(y0/x0) = -log p(y0/x0) = -log0,9 = log10/9
I(y1/x0) = -log p(y1/x0) = -log0,1 = log10
I(y0/x1) = -log p(y0/x1) = -log0,1 = log10
I(y1/x1) = -log p(y1/x1) = -log0,9 = log10/9
Nên: H(Y/X) = 0,36log10/9 + 0,04log10 + 0,06log10 + 0,54log10/9
= 0.469
p ( x, y ) I ( x; y )
c/ I ( X ; Y ) = ∑
XY

= p(x0,y0) I(x0;y0) + p(x0,y1) I(x0;y1) + p(x1,y0) I(x1;y0) + p(x1,y1)I(x1;y1)
Mà: I(x0;y0) = I(y0;x0) = I(y0) - I(y0/x0) = log p(y0/x0)/p(y0) = log0,9/0,42
I(x0;y1) = I(y1;x0) = I(y1) - I(y1/x0) = log p(y1/x0)/ p(y1) = log0,1/0,58
66
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

I(x1;y0) = I(y0;x1) = I(y0) - I(y0/x1) = log p(y0/x1)/ p(y0) = log0,1/0,42
I(x1;y1) = I(y1;x1) = I(y1) - I(y1/x1) = log p(y1/x1)/ p(y1) = log0,9/0,58
Vậy I(X;Y) = 0,36log0,9/0,42 + 0.04log0,1/0,58 + 0,06log0,1/0,42 + 0,54log0,9/0,58
= 0,512

Chương III: MÃ THỐNG KÊ TỐI ƯU

Bài 5: Lập một bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

u4

u5

u6

u7

u8

u9

P(ui)

.34

.2

.19

.1

.07

.04

.03

.02

.01

Bằng mã nhị phân(m = 2)theo phương pháp Shannon. Tính độ dài trung binh2cua3 từ mã
ntbvà tính kinh tế của từ mã.
Bài làm:
Sơ đồ mã hóa theo phương pháp mã hóa Shannon:
ui

P(ui)

Pi

ni

Dạng nhị phân của pi

Từ mã

u1

.34

0

2

0

00

u2

.2

.34

3

0,01010111

010

u3

.19

.54

3

0,10001010

100

u4

.1

.73

4

0,10111010

1011
67

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

u5

.07

.83

4

0,11010100

1101

u6

.04

.9

5

0,11100110

11100

u7

.03

.94

6

0,11110000

111100

u8

.02

.97

6

0,11111000

111110

u9

.01

.99

7

0,11111101

1111110

9

Độ dài trung bình từ mã: ntb = ∑ ni p(u i ) = 3,1
i =1
9

Entropy của tập tin: H (U ) = −∑ p (u i ) log 2 p(u i ) = 2,5664
i =1

H (U )

Chỉ số kinh tế của bộ mã: ρ = n
tb

=

2,5644
= 0,8279
3,1

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI

Bài 2: Ma trận của bộ mã tuyến tính (6,3) trên trường GF (2) được cho bởi:

0
G = 1

 1

1 1 0 1 0
1 0 0 0 1

1  0 1 1 0

a/ Hãy biểu diễn G dưới dạng chuẩnGch
68
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

b/ Liệt kê các từ mã có được từ 2 ma trận sinh G và Gch
c/ Co1bao nhiêu từ mã có trọng số hamming là 0,1,2,3,4,5,6?
Bài làm:
a/ Lấy cột 3 làm cột 1, cột 6 làm cột 2 và cột 4 làm cột 3 ta có ma trận sinh Gch

1

Gc = h  0
 0

0 0 0 1 1
1 0 1 1 0

0 1 1 1 1

b/ Liệt kê các từ mã có được từ ma trận sinh G và ma trận sinh Gch
Vector mang tin a

V = aG

W(v)

V’ = aGch

W(v’)

000

000000

0

000000

0

001

110110

4

001111

4

010

110001

3

010110

3

011

000111

3

011001

3

100

011010

3

011001

3

101

101100

3

101100

3

110

101011

4

110101

4

111

011101

4

111010

4

c/ Cả 2 bộ mã đều có:
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
69
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6

70
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương V: MÃ VÒNG

Bài 2: Chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì mẫu sai
E(i)(x) chuyển dịch vòng I bit so với E(x) cũng có thể dò được.
Bài làm:
Chứng minh bằng phản chứng.
Nếu E(i)(x)là một mẫu sai không phát hiện được thì E(i)(x) là một từ mã. Từ đây theo
định nghĩa của mã vòng thì E(x) cũng là một từ mã. Khi đó vì mã vòng là mã tuyến tính
nên một từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành một từ mã
v’(x) và không phát hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu sai
phát hiện được.
BÀI TẬP MÔN LÝ THUYẾT THÔNG TIN.
CHƯƠNG 1: LƯỢNG TIN
CHƯƠNG 3: MÃ KHỐI
=

71
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương II : LƯỢNG TIN
BÀI 2: Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p
Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½
Bài giải:
Xét hàm số : f(x) = log = - log

f’( ) = -log e (ln

) = -log e (ln

)

f ’’( ) =
trong khoảng

(0,1] có f’’(

.

Vậy với a,b

Dấu đẳng thức xảy ra khi và chỉ khi a = b
Cho a = p và b = 1-p ta được :

=
Vậy H(U) =

Bài 8 : chứng minh rằng

72
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài giải :

= H(X) + H(Y/X) (đpcm)
Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u

U. Với mỗi tin u chọn 1 từ mã có

độ dài l(u) thỏa :
Chứng minh rằng độ dài trung bình

Thỏa

Bài giải:
Theo đề bài với mọi u ta có:

73
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Vì p(u)>0 nên bất đẳng thức trên tương đương với:

Cộng tất cả các bất đẳng thức của từng tin u theo vế:

Hay
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
d. Vẽ cây mã và đồ hình kết cấu của bộ mã U
e. Vẽ mặt tọa độ mã
f. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
d. Cây mã :
----------------------------------------------------------------------------------------------------Mức 0
2

1

---------------------------------------------------------------------------------------------------Mức 1
3

1

2 0

--------------------------------------------------------------------------------------------------Mức 2
3
---------------------------------------------------------------------------------------------------Mức 3

74
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Đồ hình kết cấu :

0

0

3
1

0
e. Mặt tọa độ mã:
ui

ni

pi

3

1

3

23

2

14

11

2

5

123

3

57

10

2

1

f. Tổ hợp sơ đẳng : 23,123,10
Tổ hợp cuối : 3,11
Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311,
u6=102311

Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

u4

u5

u6

u7

P(ui)

.34

.2

.19

.1

.07

.04

.03

u8

u9

.02

.01

Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính
theo kinh tế của từ mã :

Bài giải :

75
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Sơ đồ mã hóa theo phương pháp Shannon:
ui

P(ui)

Pi

ni

Dạng nhị phân của Pi

Từ Mã

u1

.34

0

2

0

00

u2

.2

.34

3

0.01010111

010

u3

.19

.54

3

0.10001010

100

u4

.1

.73

4

0.1011010

1011

u5

.07

.83

4

0.11010100

11 01

u6

.04

.9

5

0.11100110

11100

u7

.03

.94

6

0.11110000

111100

u8

.02

.97

6

0.11111000

111110

u9

.01

.99

1

0.11111101

1111110

Đọ dài trung bình từ mã :

Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

P(ui)

.5

.25

.315

u14
.31

. 0157

.0156

Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2
Bài giải:
P(ui)

Sơ đồ mã hóa

Từ mã

.5

0

.25

10

76
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

.315

11000

.31

11001

.31

11010

.31

11011

. 0157

111000

. 0157

111001

. 0157

111010

. 0157

111011

. 0157

111100

. 0157

111101

. 0157

111110

.0156

111111

Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI

Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :

a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này

bài giải:

77
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:

b.Ta có :Hch [-PTIn-k] =

c.Liệt kê các từ mã của G và Gch:
Vector mang
tin a

V=a.G

w(v)

v’=a.Gch

W(v’)

000

0000000

0

0000000

0

001

1011100

4

0011110

4

010

0101110

4

0100111

4

011

1110010

4

0111001

4

100

0010111

4

1001011

4

101

1001011

4

1010101

4

110

0111001

4

1101100

4

111

1100101

4

1110010

4

78
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

c. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã
khác không của chúng

Chương 5 : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:


Từ đây :
Hay
Tức là

(đpcm)

Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì
mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định
nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên
1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và
không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát
hiện được.

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương III
79
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui

u1

u2

P(ui) .34 .2

u3

u4

.19 .1

u5

u6

u7

u8

u9

.07 .04 .03 .02 .01

Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung
bình của từ mã ntb và tính kinh tế của từ mã p=H(U)/ntb
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui

P(u
i)

Pi

U1

.34

0

U2

.2

U3

ni
2

Dạng nhị phân
của Pi

Từ Mã

0

00

.34 3

0,01010111

010

.19

.54 3

0,10001010

100

U4

.1

.73 4

0,10111010

1011

U5

.07

.83 4

0,11010100

1101

U6

.04

.9

5

0,11100110

11100

U7

.03

.94 6

0,11110000

111100

U8

.02

.97 6

0,11111000

111110

U9

.01

.99 7

0,11111101

1111110

Độ dài trung bình từ mã :ntb=
Entropy của tập tin : H(U)=
Chỉ số kinh tế của bộ mã:

=3.1
=2,5664

ᵨ= H(U)/ntb=2.5664/3.1=0,8279

Chương IV
80
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương V
Chứng minh rằng trong 1 bộ mã vòng khi sai E(x) có thể dò
được thì mẫu sai Ei(x) chuyển dịch vòng I bit so với E(x) cũng có
thể dò được
Giải:
Nếu Ei(x) là 1 mẫu sai ko phát hiện được thì Ei(x) là 1 từ mã. Từ
đây theo đn của mã vòng thì E(x) cũng là 1 từ mã.Khi đó vì mã
vòng là mã tuyến tính nên 1 từ mã v(x) bất kỳ sau khi chịu tác
động sai của E(x) sẽ biến thành 1 từ mã v’(x) và không phát
hiện sai được. Điều này mâu thuẫn với giả thiết là E(x) là mẫu
sai phát hiện được.

Chương II : LƯỢNG TIN
BÀI 2:
Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p
Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½

Bài giải:
Xét hàm số : f(x) = log = - log

f’( ) = -log e (ln

) = -log e (ln

)

f ’’( ) =
trong khoảng

(0,1] có f’’(

.

Vậy với a,b

81
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Dấu đẳng thức xảy ra khi và chỉ khi a = b
Cho a = p và b = 1-p ta được :

=
Vậy H(U) =

Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1:
cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
g. Vẽ cây mã và đồ hình kết cấu của bộ mã U
h. Vẽ mặt tọa độ mã
i. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
g. Cây mã :
----------------------------------------------------------------------------------------------------Mức 0
2

1

---------------------------------------------------------------------------------------------------Mức 1
3

1

2 0

--------------------------------------------------------------------------------------------------Mức 2

82
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH
3

---------------------------------------------------------------------------------------------------Mức 3
Đồ hình kết cấu :

0

3

0

1

0
h. Mặt tọa độ mã:
ui

ni

pi

3

1

3

23

2

14

11

2

5

123

3

57

10

2

1

i. Tổ hợp sơ đẳng : 23,123,10
Tổ hợp cuối : 3,11
Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311,
u6=102311

Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI
Chương V : MÃ VÒNG

Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:

83
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH


Từ đây :
Hay
Tức là

(đpcm)

BÀI TẬP LÝ THUYẾT THÔNG TIN

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II: LƯỢNG TIN
Chương III: MÃ THỐNG KÊ TỐI ƯU
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của
từ mã ntb và tính kinh tế của từ mã: p=H(U)/Ntb.
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04

Pi
0
0.34
0.54
0.73
0.83
0.9

ni
2
3
3
4
4
5

Dạng mã nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110

Từ mã
00
010
100
1011
1101
11100
84

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

U7
U8
U9

0.03
0.02
0.01

0.94
0.97
0.99

6
6
7

GVHD: NGUYỄN THỊ LAN ANH

0.11110000
0.11111000
0.11111101

111100
111110
1111110

Độ dài trung bình từ mã: NTB=
Entropy của tập tin: H(u)=
Chỉ số kinh tế của bộ mã: p=

=0,8279

__________________________________________________________________

Chương IV: MÃ CHỐNG NHIỄU: MÃ KHỐI
__________________________________________________________________

Chương V: MÃ VÒNG

BÀI TẬP LÝ THUYẾT THÔNG TIN
Chương II

Chương III
Lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
Ui

u1

u2

P(ui) .34 .2

u3

u4

.19 .1

u5

u6

u7

u8

u9

.07 .04 .03 .02 .01

Bằng mã nhị phân the phương pháp shannon. Tính độ dài trung
bình của từ mã ntb và tính kinh tế của từ mã p=H(U)/ntb
Giải:
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui

P(u

Pi

ni

Dạng nhị phân

Từ Mã
85

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

i)

GVHD: NGUYỄN THỊ LAN ANH

của Pi

U1

.34

0

U2

.2

U3

2

0

00

.34 3

0,01010111

010

.19

.54 3

0,10001010

100

U4

.1

.73 4

0,10111010

1011

U5

.07

.83 4

0,11010100

1101

U6

.04

.9

5

0,11100110

11100

U7

.03

.94 6

0,11110000

111100

U8

.02

.97 6

0,11111000

111110

U9

.01

.99 7

0,11111101

1111110

Độ dài trung bình từ mã :ntb=
Entropy của tập tin : H(U)=
Chỉ số kinh tế của bộ mã:

=3.1
=2,5664

ᵨ= H(U)/ntb=2.5664/3.1=0,8279

BÀI TẬP LÝ THUYẾT THÔNG TIN
-----------------o0o-----------------

CHƯƠNG I:

HỆ THỐNG THÔNG TIN

86
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

CHƯƠNG II:

LƯỢNG TIN

BÀI 6:

Trong kênh truyền tin nhị phân có nhiễu nguồn X={x0,x1} có p(x0)=0.4 và
p(x1)=0.6. Xác suất truyền tin sai nhầm p(y0, x1)=p(y1, x0)=0.1, Xác suất truyền tin đúng
p(y0, x0)= p(y1, x1)=0.9 với Y= (y0, y1).
a.Tính H(Y).
b.Tính H(Y/X).
c.Tính I(X;Y).

Giải.
a. H(Y) = p(y0)I(y0) + p(y1)I(y1)

Áp dụng công thức :
Ta có p(y0)= p(y0, x0)+ p(y0, x1) = p( x0) p(y0 /x0)+ p( x1) p(y0 /x1)=0.4*0.9+0.6*0.1=0.42

p(y1)= p(y1, x0)+ p(y1, x1)= p( x0) p(y1 /x0)+ p( x1) p(y1 /x1)=0.4*0.1+0.6*0.9=0.58

H(Y)=-0.42log0.42-0.58log0.58=0.8915

87
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

b. H(Y/X) =

= p(x0, y0) I(y0 / x0) + p(x0, y1) I(y1 / x0)+ p(x1, y0) I(y0 / x1)+ p(x1, y1) I(y1 /x1)

p(x0, y0)= p(x0 ) p(y0 /x0)=0.4*0.9=0.36
p(x0, y1)= p(x0 ) p(y1 / x0)=0.4*0.1=0.04
p(x1, y0)= p(x1 ) p(y0 /x1)=0.6*0.1=0.06
p(x1, y1)= p(x1 ) p(y1 / x1)=0.6*0.9=0.54

I(y0 /x0)= - log p(y0 /x0)= - log 0.9 = log (10/9)
I(y1 /x0)= - log p(y1 /x0)= - log 0.1 = log 10
I(y0 /x1)= - log p(y0 /x1)= - log 0.1 = log 10
I(y01/x1)= - log p(y1 /x1)= - log 0.9 = log (10/9)

Nên H(Y/X) = 0.36log (10/9) + 0.04*log10 + 0.06*log10 + 0.54*log(10/9) = 0.469

c. I(X/Y) =

= p(x0, y0) I(x0 ;y0) + p(x0, y1) I(x0 ;y1) + p(x1, y0) I(x1 ;y0) + p(x1, y1) I(x1;y1)

I(x0 ;y0) = I(y0 ;x0)= I(y0)- I(y0 ;x0) = log (p(y0 ;x0)/ p(y0))=log(0.9/0.42)

I(x0 ;y1) = I(y1 ;x0)= I(y1)- I(y1 ;x0) = log (p(y1 ;x0)/ p(y1))=log(0.1/0.58)
I(x1 ;y0) = I(y0 ;x1)= I(y0)- I(y0 ;x1) = log (p(y0 ;x1)/ p(y0))=log(0.1/0.42)
I(x1;y1) = I(y1 ;x1)= I(y1)- I(y1 ;x1) = log (p(y1 ;x1)/ p(y1))=log(0.9/0.58)

88
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Vậy I(X;Y) = 0.36*log(0.9/0.42) + 0.04*log(0.1/0.58) + 0.06*log(0.1/042) +
0.54*log(0.9/0.58) = 0.512

CHƯƠNG III:

MÃ THỐNG KÊ TỐI ƯU

Câu 2:

Với bộ mã gốc {00,01,100,1010,10110} phân thành 3 tổ hợp sơ đẳng 00,01,100
và hai tổ hợp cuối 1010 và 10110 để thành lập mã hệ thống có tính prefix. Hãy xác định
G(nj) với nj = 1,2,3,……,9.

Giải:
Theo đề bài:
n1=2, n2=2, n3=3, i=3
λ1 =4, λ2 =4, k=2.
Áp dụng công thức:
G(nj)= g(nj- λ1) + g(nj- λ2)+…..+ g(nj- λ1)+ g(nj- λk)
Ta được: G(nj)= g(nj- 4) + g(nj- 5)

(1)

Mặc khác: g(nj)= g(nj- n1) + g(nj- n2) + g(nj- n3)
Hay

g(nj)= g(nj- 2) + g(nj- 2) + g(nj- 3)

89
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
g(nj)= 2*g(nj- 2) + g(nj- 3)

GVHD: NGUYỄN THỊ LAN ANH
(2)

Vậy
g(1)=2g(-1)+g(-2)=0
g(2)=2g(0)+g(-1)=2
g(3)=2g(1)+g(0)=1
g(4)=2g(2)+g(1)=4
g(5)=2g(3)+g(2)=4
Từ đây theo (1):
G(1)= g(-3) + g(-4)=0
G(2)= g(-2) + g(-3)=0
G(3)= g(-1) + g(-2)=0
G(4)= g(0) + g(-1)=1
G(5)= g(1) + g(0)=1
G(6)= g(2) + g(1)=2
G(7)= g(3) + g(2)=3
G(8)= g(4) + g(3)=5
G(9)= g(5) + g(4)=8

90
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

CHƯƠNG IV:

MÃ CHỐNG NHIỄU (MÃ KHỐI)

Câu 1:

Một không gian vectơ được tạo bởi mọi tổ hợp tuyến tính của tập hợp các

vectơ sau:
b0=1101000
b1=0110100
b2=0100011
b3=1110010
b4=1010001
a. Các vêctơ b ở trên có độc lập tuyến tính hay không?
b. Tìm số chiều và cơ hệ của không gian vectơ này.

Giải:
1. a. Các vectơ b0, b1, b2, b3, b4 phụ thuộc tuyến tính vì dễ thấy:

91
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

0 b0 +0b1 + b2+b3+b4=0
b.Bây giờ giả sử tồn tại λ0 ,λ1, λ2, λ3 sao cho:
λ0b0 + λ1b1+ λ2b2+ λ3b3=0

↔ λ (1101000)+ λ (0110100)+ λ (0100011)+ λ (1110010)=(0000000)
0

1

2

3

→ λ0+ λ3=0
λ0+ λ1 + λ2+ λ3=0
λ0+ λ3=0
λ0=0
λ1=0
λ2+ λ3=0
λ2=0

→ λ0= λ1= λ2= λ3=0
Vậy b0, b1, b2 ,b3 độc lập tuyến tính, b4 có thể biểu diễn tuyến tính theo b0, b1, b2, b3 nên
không gian vectơ có 4 chiều dài và một cơ hệ của nó là < b0, b1,b2, b3>.

92
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

93
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

CHƯƠNG V:

MÃ VÒNG

Câu 8:

Cho bộ mã vòng (n,k)=(7,4) có ma trận sinh là g(x)=x3+x+1. Liệt kê tất
cả các từ mã của bộ mã và cho biết bộ mã có khả năng sửa được các mẫu sai bao
nhiêu bit.

Giải:
8. a. Cho d=(0001) ta tính được:
v1=0001000 + dư số (0001000/1011)
v1=0001000 + 011=0001011
Quay vòng từ mã v1 ta sẽ được them 6 từ mã nữa:
v2=1000101
v3=1100010
v4=0110001
v5=1011000
v6=0101100

94
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

v7=0010110
Cho d=(0011) ta tính được:
v8=0011000 + dư số(0011000/1011)
v8=0011000 + 101=0011101
Quay vòng từ mã v8 ta sẽ được thêm 6 từ mã nữa;
v9=1001110
v10=0100111
v11=1010011
v12=1101001
v13=1110100
v14=0111010
Cho d=(11110) ta tính được.
V15=1111000 + dư số(1111000/1011)
V15=1111000 + 111=1111111
Cho d=(0000) ta tính được:
V0=0000000 + dư số(1111000/1011)
V0=0000000 + 000=0000000
b.Ta có thể tính được dễ dàng trọng số Hamming của bộ mã là trọng số nhỏ nhất của các từ mã
khác không: H(V) = 3 nên bộ mã có khả năng sửa được tất cả các mẫu sai 1 bit.

95
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

BÀI TẬP
96
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

LÝ THUYẾT THÔNG TIN

CHƯƠNG 2: LƯỢNG TIN
1. Cho tập tin U = {ui} với ui = xi yi zi

97
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

i

1

2

3

4

5

6

7

8

ui

000

001

010

011

100

101

110

111

p(ui)

0.25

0.25

0.125

0.0625

0.0625

0.0625

0.0625

0.0625

Gọi tin ui = u6 = 101

là tin a

xi = 1

là tin b

xi = 1 , xi = 0

là tin c

xi = 1 , yi = 0 , zi = 1

là tin d

Tính I(a) , I(a,b) , I(a,c) , I(a,d).

Bài làm:

I(a) = I(u6) = - log p(u6)
= - log 1/16 = log 1/16
I(a,b) = I(u6 ; xi=1)
= I(u6) - I(u6/ xi=1)
= log

= log

= log

= log

= log

98
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

= log

= log
= log 4

I(a,c) = I(u6 ; xi=1,yi=0)
= I(u6) - I(u6/ xi=1,yi=0)
= log

= log

= log

= log

= log
= log 8

I(a,d) = I(u6) - I(u6) = 0

99
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

CHƯƠNG 3: MÃ THỐNG KÊ TỐI ƯU

1. Lập một bộ mã cho nguồn tin U có thống kê như sau:
ui

u1

u2

u3

u4

u5

u6

u7

u8

u9

p(ui)

0.34

0.2

0.19

0.1

0.07

0.04

0.03

0.02

0.01

Bằng mã nhị phân (m=2) theo phương pháp Shannon. Tính độ dài trung bình của từ
mã ntb và tính kinh tế của từ mã:
ρ = H(U)/ ntb

Bài làm:

Sơ đồ mã hóa theo phương pháp mã hóa Shannon:
ui

p(ui)

pi

ni

Dạng nhị phân của pi

Từ mã

u1

0.34

0

2

0

u2

0.2

0.34

3

0,01010111

010

u3

0.19

0.54

3

0,10001010

100

u4

0.1

0.73

4

0,10111010

1011

u5

0.07

0.83

4

0,11010100

1101

u6

0.04

0.9

5

0,11100110

11100

u7

0.03

0.94

6

0,11110000

111100

u8

0.02

0.97

6

0,11111000

111110

u9

0.01

0.99

7

0,11111101

1111110

00

100
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Độ dài trung bình của từ mã: ntb =
Entropy của tập tin: H(U) = Chỉ số kinh tế của bộ mã: ρ =

2. Cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

u4+ u 6

u7+ u13

U14

p(ui)

0.5

0.25

0.315

0.31

0.0157

0.0156

Dùng mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m = 2.

Bài làm:

Sơ đồ mã hóa theo phương pháp mã hóa Fano:
ui

p(ui)

Từ mã

ni

u1

0.34

0

0

2

u2

0.2

0

1

2

u3

0.19

1

0

0

3

u4

0.1

1

0

1

3

u5

0.07

1

1

0

3

u6

0.04

1

1

1

0

u7

0.03

1

1

1

1

0

u8

0.02

1

1

1

1

1

0

6

u9

0.01

1

1

1

1

1

1

6

4
5

101
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Độ dài trung bình của từ mã: ntb =
Entropy của tập tin: H(U) = Chỉ số kinh tế của bộ mã: ρ =

CHƯƠNG 5: MÃ VÒNG

1. Cho bộ mã vòng (7,4) có đa thức sinh là:
g(x) = x3+ x2+ 1
a. Tìm đa thức thử H(x) của bộ mã này.
b. Giả sử nhận được tổ hợp u(x) = x6+ x5+ x2+ 1. Xác định đa thức syndrome
của u(x).

Bài làm:

102
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

a. Từ công thức:
h(x) =
ta tính được h(x) =

= x4+ x3 +x2+ 1

b. Giả sử nhận được đa thức u(x) = x6+ x5+ x2+ 1, khi đó đa thức syndrome của
nó :
Su(x) = số dư của

= số dư của

=0

Vậy đa thức syndrome của u(x) là Su(x) = 0.

BÀI TẬP LÝ THUYẾT THÔNG TIN

Chương 3:Mã thống kê tối ưu:
Bài tập: Lập một bộ mã cho nguồn tin u có sơ đồ thống kê như sau.
Ui
U1
U2
U3
U4
U5
U6
U7
U8
U9
P(u)
0.34
0.2
0.19
0.1
0.07
0.04
0.03
0.02
0.01
Bằng mã nhị phân (m=2)theo phương pháp shannon. Tính độ dài trung bình của từ mã ntbvà
tính kinh tế của từ mã:p=H(U)/Ntb
Giải
Sơ đồ mã hóa theo phương pháp mã hóa shannon:
Ui
U1
U2
U3
U4
U5
U6

P(ui)
0.34
0.2
0.19
0.1
0.07
0.04

Pi
0
0.34
0.54
0.73
0.83
0.9

ni
2
3
3
4
4
5

Dạng mạ nhị phân của pi
0
0.01010111
0.10001010
0.10111010
0.11010100
0.11100110

Từ mã
00
010
100
1011
1101
11100

103
11/13/2011

ĐẶNG QUANG HUY - D09VTH2
U7
U8
U9

0.03
0.02
0.01

0.94
0.97
0.99

6
6
7

GVHD: NGUYỄN THỊ LAN ANH

0.11110000
0.11111000
0.11111101

111100
111110
1111110

Độ dài trung bình tư mã:NTB=
Entropy của tập tin:H(u)=
Chỉ số kinh tế của bộ mã:p=

=0,8279

Chương 5:mã vòng:
Bài tập:cho mã vòng (n,k)=(7,4)có ma trận sinh là g(x)=x3+x+1. Liệt kê tất cả các từ mã
của bộ mã và cho biết bộ mã có khả năng sửa sai bao nhiêu bít.
GIẢI
A.cho d= (0001) tatính được:
V1=0001000+dư số
V1=0001000+011=0001011
Quay vòng từ mãv1 ta sẽ đượcthêm 6 từ mã nữa:
V2=1000101
V3=1100010
V4=0110001
V5=1011000
V6=0101100
V7=0010110
Cho d=(0011)ta tính được:
Vδ=0011000+dư số
Vδ=0011000+101=00111101
Quay vòng từ mã vδ ta sẽ đượcthêm 6 từ mã nữa:
V9 =1001110
V10 =0100111
V11=1010011
V13 =1110100
V14=0111010

104
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Cho d=(1111000) ta tinh được:
V15=1111000+dư sô
V15=1111000+111=1111111
Cho d=(0000) ta tính được:
V0=0000000+dư số
b,ta có thể tính rễ ràng trọng số hamming của bộ mã là trọng số nhở nhất của từ mã khác
không : H(V)=3 nên bộ mã có khả năng sửa được tất các mẫu sai 1bít

Trong các bài tập logarit được tính theo cơ số 2.
Bài 1-Chương LƯỢNG TIN

1.

Trong một trò chơi xổ số vui người ta xổ 10 chữ số từ 0 đến
9.
Xác xuất trúng của mỗi số là như nhau.
a. Tính lượng tin riêng của tin : “ số trúng giải là số 9”.
b. Tính lượng tin tương hỗ giữa tin : “số trúng giải là 9”
so với tin :”số trúng giải là số chia hết cho 3”.
c. Trong 10 tin trên gọi U=(u1,u2,u3,u4,u4,u5,u6) với ui là
tin “số i trúng giải” (i=0,1,…,6).
Tìm lượng tin trung bình của tập tin U.
Bài làm
a. Gọi p(9) là xác suất số 9 trúng giải ta có
p(9) = 1/10= 0.1
vậy I(9)= -log p(9)= log 10= 3.322

b. Gọi p(0-3-6-9) là xác suất để số trúng giải chia hết cho 3,
ta có:
p(0-3-6-9) = 4/10= 0.4
Mặt khác : I (9/0-3-6-9) = - log p(9/0-3-6-9)
105
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

Vậy

GVHD: NGUYỄN THỊ LAN ANH

= − log

p (9 / 0 − 3 − 6 − 9)
p (0 − 3 − 6 − 9)

= − log

1/ 10
= l og4
4 / 10

I(9; 0-3-6-9) = I(9) – I(9/0-3-6-9)

10
= log10− log4= log = 1.322
4
c. Lượng tin trung bình của tập tin U :
6

6

I (U) =p
(u )I (u )i

i =0

i

1
1
=− ∑ log
10
i=0 10
1
= .7.log10
10

Bài 2 – Chương MÃ CHỐNG NHIỄU

2.

Ma trận sinh của bộ giải mã tuyến tính (6,3) trên đường GF
(2) được cho bởi :
106
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

0
G =  1
 1

GVHD: NGUYỄN THỊ LAN ANH

1 1 0 1 0 
1 0 0 0 1 
1 0 1 1 0 
M

Hãy biểu diễn G dưới dạng chuẩn Gch.
Liệt kê các từ mã có được từ 2 ma trận sinh G và Gch .
c. Có bao nhiêu từ mã có trọng số Hamming là
0,1,2,3,4,5,6,7
Bài làm
a.
b.

a.

Lấy cột 3 làm cột 1,cột 6 làm cột 2 và cột 4 làm cột 3 ta
có ma trận sinh Gch :

1 0 0 0 1 1
G = 0 1 0 1 1 0
0 0 1 1 1 1

b.

Liệt kê các từ mã có được từ ma trận sinh G và ma trận
sinh Gch :
Vector
mang tin a

V=aG

w(v)

v’= a.Gch

w(v’)

000

000000

0

000000

0

001

110110

4

001111

4

010

110001

3

010110

3
107

11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

011

000111

3

011001

3

100

011010

3

100011

3

101

101100

3

101100

3

110

101011

4

110101

4

111

011101

4

111010

4

c. Cả 2 bộ mã đều có :
1 từ mã có trọng số là 0
0 từ mã có trọng số là 1
0 từ mã có trọng số là 2
4 từ mã có trọng số là 3
3 từ mã có trọng số là 4
0 từ mã có trọng số là 5
0 từ mã có trọng số là 6.

108
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài 9 –Chương MÃ THỐNG KÊ TỐI ƯU

3. Cho nguồn tin có sơ đồ thống kê như sau :
109
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Dùng mã Fano để mã hóa nguồn tin trên với cơ số mã m =
3. Tính ntb và tính kinh tế từ mã :
P = H(U) / ntb

Bài làm

Sơ đồ mã hóa bằng bộ mã Fano :

110
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

19

ntb = ∑ni p u( i =) 1.618

Độ dài trung bình từ mã :

i =0

19

Entropy của tập tin :

H (U ) = −∑ p( ui ) log p( ui ) =1.597
i=0

111
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

H (U ) 1.597
=
=
n
1.618
tb
Chỉ số kinh tế của bộ mã :

ρ=

0.987

112
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài 1 – Chương MÃ VÒNG

4. Chứng minh rằng đa thức sinh g(x) của một mã vòng là
ước số của xn +1

Giả sử v(x) = v1xn-1 + v2xn-2 + … +vn-1x + vn là một đa thức
mã khi đó v’(x) = vnxn-1 + v1xn-2 + … +vn-2x + vn-1 cũng là một đa
thức mã . Khi đó :
v(x) = v1xn-1 + v2xn-2 + … +vn-1x + vn M g(x)

v’(x) = vnxn-1 + v1xn-2 + … +vn-2x + vn-1 M g(x)
Từ đây : xv’(x) – v(x) = vnxn – vn M g(x)
Hay :

xn – 1 M g(x)

Đây là điều cần chứng minh.

113
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương II : LƯỢNG TIN
BÀI 2: Với nguồn tin rời rạc gồm 2 ký tự U = {a1,a2} và p(a1) = p
Chứng minh rằng H(U) = H(p) = p log (1/p) + log 1/(1-p) lớn nhất khi p= ½
Bài giải:
Xét hàm số : f(x) = log = - log

f’( ) = -log e (ln

) = -log e (ln

)

f ’’( ) =
trong khoảng

(0,1] có f’’(

.

Vậy với a,b

Dấu đẳng thức xảy ra khi và chỉ khi a = b
Cho a = p và b = 1-p ta được :

=
Vậy H(U) =

Bài 8 : chứng minh rằng

114
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Bài giải :

= H(X) + H(Y/X) (đpcm)
Bài 9 : Giả sử có một nguồn tin rời rạc xuất hiện p(u) khi u

U. Với mỗi tin u chọn 1 từ mã có

độ dài l(u) thỏa :
Chứng minh rằng độ dài trung bình

Thỏa

Bài giải:
Theo đề bài với mọi u ta có:

Vì p(u)>0 nên bất đẳng thức trên tương đương với:

115
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Cộng tất cả các bất đẳng thức của từng tin u theo vế:

Hay
Chương III :MÃ THỐNG KÊ TỐI ƯU
BÀI 1: cho bộ mã có cơ số mã m = 4 như sau:
U={3,23,11,123,10}
j. Vẽ cây mã và đồ hình kết cấu của bộ mã U
k. Vẽ mặt tọa độ mã
l. Lập 1 bộ mã hệ thống 6 từ mã có các tổ hợp sơ đẳng. Vẽ đồ hình kết cấu của bộ mã vừa
lặp
Bài giải:
j. Cây mã :
----------------------------------------------------------------------------------------------------Mức 0
2

1

---------------------------------------------------------------------------------------------------Mức 1
3

1

2 0

--------------------------------------------------------------------------------------------------Mức 2
3
---------------------------------------------------------------------------------------------------Mức 3
Đồ hình kết cấu :

0

3

0

1

0
11/13/2011

116

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

k. Mặt tọa độ mã:
ui

ni

pi

3

1

3

23

2

14

11

2

5

123

3

57

10

2

1

l. Tổ hợp sơ đẳng : 23,123,10
Tổ hợp cuối : 3,11
Bộ mã hệ thống có 6 từ mã :u1 =233, u2=1233, u3=101011, u4=2311, u5=12311,
u6=102311

Bài 5 : lập 1 bộ mã cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

u4

u5

u6

u7

P(ui)

.34

.2

.19

.1

.07

.04

.03

u8

u9

.02

.01

Bằng mã nhị phân m=2, theo phương pháp Shannon,tính đọ dài trung bình của từ mã ntb và tính
theo kinh tế của từ mã :

Bài giải :
Sơ đồ mã hóa theo phương pháp Shannon:
ui

P(ui)

Pi

ni

Dạng nhị phân của Pi

Từ Mã

u1

.34

0

2

0

00

u2

.2

.34

3

0.01010111

010

117
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

u3

.19

.54

3

0.10001010

100

u4

.1

.73

4

0.1011010

1011

u5

.07

.83

4

0.11010100

11 01

u6

.04

.9

5

0.11100110

11100

u7

.03

.94

6

0.11110000

111100

u8

.02

.97

6

0.11111000

111110

u9

.01

.99

1

0.11111101

1111110

Đọ dài trung bình từ mã :

Etropy của tập tin:
Chỉ số kinh tế của bộ mã :
Bài 7 : cho nguồn tin U có sơ đồ thống kê như sau:
ui

u1

u2

u3

P(ui)

.5

.25

.315

u14
.31

. 0157

.0156

Dung mã Huffman kết hợp mã đều để mã hóa nguồn tin trên với cơ số mã m=2
Bài giải:
P(ui)

Sơ đồ mã hóa

Từ mã

.5

0

.25

10

.315

11000

.31

11001

.31

11010

118
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

.31

11011

. 0157

111000

. 0157

111001

. 0157

111010

. 0157

111011

. 0157

111100

. 0157

111101

. 0157

111110

.0156

111111

Chương IV : MÃ CHỒNG NHIỄU: MÃ KHỐI

Bài 3 : ma trận Sinh của bộ mã tuyến tính (7,3) trên đường GF (2) là :

a.Biểu diễn G dưới dạng chuẩn Gch
b.Xác định ma trận thử Hch
c. Liệt kê các từ mã có được từ G và Gch
d. Xác định khoảng cách Hamming của bộ mã này

bài giải:

119
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

a.Lấy cột 7 làm cột 1,cột 1 làm cột 3 ta có ma trận Sinh Gch:

b.Ta có :Hch [-PTIn-k] =

c.Liệt kê các từ mã của G và Gch:
Vector mang
tin a

V=a.G

w(v)

v’=a.Gch

W(v’)

000

0000000

0

0000000

0

001

1011100

4

0011110

4

010

0101110

4

0100111

4

011

1110010

4

0111001

4

100

0010111

4

1001011

4

101

1001011

4

1010101

4

110

0111001

4

1101100

4

111

1100101

4

1110010

4

120
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

d. Cả 2 bộ mã trên đều có D=4 là trọng số Hamming nhỏ nhất của các từ mã
khác không của chúng

Chương 5 : MÃ VÒNG
Bài 1: chứng minh rằng đa thức sinh g(x) của 1 bộ mã vòng là ước số của xn+1
Bài giải:
Giả sử
cũng là 1 đa thức mã.Khi đó:


Từ đây :
Hay
Tức là

(đpcm)

Bài 5 : chứng minh rằng trong 1 bộ mã vòng khi mẫu sai E(x) có thể dò được thì
mẫu sai E(i)(x) chuyển dịch vòng i bit so với E(x) cũng có thể dò được
Bài giải:
Ta chứng minh bằng phản chứng.
Nếu E(i)(x) là 1 mẫu sai không phát hiện được thì E(i)(x) là 1 từ mã. Từ đây theo định
nghĩa của mã vòng thì E(x) cũng là 1 từ mã. Khi đó vì mã vòng là mã tuyến tính nên
1 từ mã v(x) bất kỳ sau khi chịu tác động sai của E(x) sẽ biến thành 1 từ mã v’(x) và
không phát hiện sai được. Điều nay mẫu thuẫn với giả thiết là E(x) là mẫu sai phát
hiện được.

BÀI TẬP LÝ THUYẾT THÔNG TIN
121
11/13/2011

ĐẶNG QUANG HUY - D09VTH2

GVHD: NGUYỄN THỊ LAN ANH

Chương 5: Mã Vòng

Gỉa sử g(x) là đa thức sinh của một bộ mã vòng có độ dài từ mã n.Chứng minh
rằng nếu n là số nguyên nhỏ nhất sao cho xn + 1 chia hết cho g(x) thì trọng số
Hamming của bộ mã không nhỏ hơn 3.

GIẢI

Ta chứng minh bài toán bằng phương pháp chứng minh phàn chứng.Giả sử bộ mã
như vậy có trọng số Hamming nhỏ hơn 3,tức là bằng 1 hoặc 2.
a. Trường hợp trọng số Hamming bằng 1 thì tồn tại một từ mã v(x) sao cho

w(v)=1.Khi đó trong từ mã v chỉ có duy nhất một ký tự bằng 1,giả sử đó là vi.
Vậy:
Vi(x) = vixn-i : g(x)
Khi đó g(x) không thể là ước số của xn + 1
b.

Trường hợp trọng số Hamming bằng 2 thì tồn tại một từ mã v(x) sao cho
w(v) = 2. Khi đó trong từ mã v có 2 ký tự bằng 1, giả sử đó là vi và vj. Có thể
giả sử i > j và dĩ nhiên n > i > j.Vậy:
vi(x)= vixn-i + vjxn-j = xn-i + xn-j : g(x)
xn-i (xi-j + 1) : g(x)

Hay:

Từ đây:
xi-j + 1 : g(x) trong khi i-j < n mâu thuẫn với giả thiết ban đầu n là số
nhỏ nhất sao cho xn + 1 : g(x).
Vậy trọng số Hamming của bộ mã phải luôn lớn hơn hoặc bằng 3.

122
11/13/2011

Sign up to vote on this title
UsefulNot useful