CÂY QUYẾT ðỊNH (ID3)

HỌC QUI NẠP (ILA)

TRÍ TUỆ NHÂN TẠO
 Nội dung trình bày
2

Cây quyết ñịnh

Học cây quyết ñịnh – Thuật toán ID3

Biểu diễn tri thức bằng luật

Rút luật từ cây quyết ñịnh

Thuật toán học quy nạp
 Cây quyết ñịnh
3

Cây quyết ñịnh biểu diễn:

• Mỗi nút trong kiểm tra
một thuộc tính
• Mỗi nhánh tương ứng
với giá trị thuộc tính
• Mỗi nút lá ñược gán một
phân lớp

Nguyên lý Occam: những

cây ñơn giản là những
cây quyết ñịnh tốt hơn
 Ví dụ Huấn luyện
7
 Ví dụ (tt)
9

Outlook Temparature

Rain Sunny Hot Cool

Overcast Mild
3+,2- 4+,0- 2+,3- 2+,2- 4+,2- 3+,1-
H = 0.971 H=0 H = 0.971 H=1 H = 0.918 H = 0.811

AE = 5/14*.971 + 4/14*0 + 5/14*.971 AE = 4/14*1 + 6/14*.918 + 4/14*.811

= 0.694 = 0.911
 Thuật toán học ID3
6

ðược phát triển ñồng thời bởi Quinlan trong AI và Breiman, Friedman,
Olsen và Stone trong thống kê

Lặp:
1. Chọn A  thuộc tính quyết ñịnh “tốt nhất” cho nút kế tiếp
2. Gán A là thuộc tính quyết ñịnh cho nút
3. Với mỗi giá trị của A, tạo nhánh con mới của nút
4. Phân loại các mẫu huấn luyện cho các nút lá
5. Nếu các mẫu huấn luyện ñược phân loại hoàn toàn thì NGƯNG,
Ngược lại, lặp với các nút lá mới.

Thuộc tính tốt nhất sẽ làm tối thiểu hoá entropy trung bình của dữ liệu
trong các nút con
 Ví dụ (tt)
13
Outlook

Rain Sunny
Overcast

3+,2- Yes 2+,3-

AE (Sunny, Temperature) = 2/5*0 + 2/5*1 + 1/5*0= 0.4

AE (Sunny, Humidity) = 2/5*0 + 3/5*0 = 0
AE (Sunny, Wind) = 2/5*1 + 3/5*.918 = 0.951
 Ví dụ (tt)
14
Outlook

Rain Sunny
Overcast
Wind Yes Humidity

Weak Strong Normal High

Yes Yes No
No
 Ví dụ (tt)
9

Outlook Temparature

Rain Sunny Hot Cool

Overcast Mild
3+,2- 4+,0- 2+,3- 2+,2- 4+,2- 3+,1-
H = 0.971 H=0 H = 0.971 H=1 H = 0.918 H = 0.811

AE = 5/14*.971 + 4/14*0 + 5/14*.971 AE = 4/14*1 + 6/14*.918 + 4/14*.811

= 0.694 = 0.911
 Ví dụ ILA
18

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
2 Nhỏ ðỏ Nón Không mua
3 Nhỏ ðỏ Cầu Mua
4 Lớn ðỏ Nón Không mua
5 Lớn Xanh lá Trụ Mua
6 Lớn ðỏ Trụ Không mua
7 Lớn Xanh lá Cầu Mua
 Ví dụ (tt)
11
Outlook

Rain Sunny
Overcast

3+,2- Yes 2+,3-

Chọn thuộc tính gì tiếp theo?

Tiếp tục thực hiện việc phân chia
 Ví dụ (tt)
12
Outlook

Rain Sunny
Overcast

3+,2- Yes 2+,3-

AE (Rain, Temperature) = 2/5*1 + 3/5*.918 = 0.951

AE (Rain, Humidity) = 2/5*1 + 3/5*.918 = 0.951
AE (Rain, Wind) = 2/5*0 + 3/5*0 = 0
 Ví dụ ILA (tt)
24

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
IF Hình dáng = Nón THEN Quyết ñịnh = Không mua
 Ví dụ (tt)
14
Outlook

Rain Sunny
Overcast
Wind Yes Humidity

Weak Strong Normal High

Yes Yes No
No
 Tri thức dạng luật
15

Tri thức ñược biểu diễn dưới dạng luật:

IF ðiều kiện 1 ^ ðiều kiện 2… THEN Kết luận

Dễ hiểu với con người, ñược sử dụng chủ yếu trong các
hệ chuyên gia

Rút luật từ cây quyết ñịnh: ñi từ nút gốc ñến nút lá, lấy
các phép thử làm tiền ñề và phân loại của nút lá làm kết
quả
 Rút luật từ cây quyết ñịnh
16

IF Outlook = Overcast THEN

Yes
Outlook

IF Outlook = Rain AND
Rain Sunny Wind=Weak THEN Yes
Overcast
Wind Humidity

IF Outlook = Rain AND
Yes
Wind=Strong THEN No

Weak Strong Normal High
IF Outlook = Sunny AND

Humidity=Normal THEN Yes
Yes Yes No
No
IF Outlook = Sunny AND
Humidity=High THEN No
 Thuật giải Học Quy nạp (ILA)
17

Dùng ñể rút các luật phân lớp từ tập mẫu dữ liệu:

1. Chia tập mẫu thành các tập con ứng với thuộc tính quyết ñịnh
2. Với mỗi bảng con
3. Với mỗi tổ hợp thuộc tính có thể (bắt ñầu với số lượng = 1)
4. Tìm các giá trị chỉ xuất hiện ở bảng con này mà không xuất hiện
ở các bảng con khác
5. (Nếu có nhiều tổ hợp thì chọn tổ hợp có số lượng mẫu tin nhiều
nhất)
6. Sử dụng tổ hợp thuộc tính, giá trị vừa tìm ñược ñể tạo luật
7. ðánh dấu các dòng ñã xét
8. Nếu còn dòng chưa xét, lặp lại bước 3
9. Lặp lại bước 2 với các bảng con
 Ví dụ ILA
18

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
2 Nhỏ ðỏ Nón Không mua
3 Nhỏ ðỏ Cầu Mua
4 Lớn ðỏ Nón Không mua
5 Lớn Xanh lá Trụ Mua
6 Lớn ðỏ Trụ Không mua
7 Lớn Xanh lá Cầu Mua
 Ví dụ ILA (tt)
19

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
 Ví dụ ILA (tt)
20

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ Chọn thuộc
ðỏ tính Màu sắc Nón Không mua
với giá trị Xanh lá
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
 Ví dụ ILA (tt)
21

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua

IF Màu sắc = Xanh lá THEN Quyết ñịnh = Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
 Ví dụ ILA (tt)
22

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

3 Nhỏ ðỏ Cầu Mua

IF Màu sắc = Xanh lá THEN Quyết ñịnh = Mua

IF Kích cỡ = Vừa THEN Quyết ñịnh = Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
 Ví dụ ILA (tt)
23

IF Màu sắc = Xanh lá THEN Quyết ñịnh = Mua

IF Kích cỡ = Vừa THEN Quyết ñịnh = Mua
IF Hình dáng= Cầu THEN Quyết ñịnh = Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
 Ví dụ ILA (tt)
24

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

2 Nhỏ ðỏ Nón Không mua
4 Lớn ðỏ Nón Không mua
6 Lớn ðỏ Trụ Không mua
IF Hình dáng = Nón THEN Quyết ñịnh = Không mua
 Ví dụ ILA (tt)
25

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

6 Lớn ðỏ Trụ Không mua

IF Hình dáng = Nón THEN Quyết ñịnh = Không mua

 Ví dụ ILA (tt)
26

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

1 Vừa Xanh dương Hộp Mua
3 Nhỏ ðỏ Cầu Mua
5 Lớn Xanh lá Trụ Mua
7 Lớn Xanh lá Cầu Mua

STT Kích cỡ Màu sắc Hình dáng Quyết ñịnh

6 Lớn ðỏ Trụ Không mua

IF Hình dáng = Nón THEN Quyết ñịnh = Không mua

IF Kích cỡ = Lớn AND Màu sắc = ðỏ THEN Quyết ñịnh = Không mua
 ðiều cần nắm
27

Nắm ñược khái niệm cây quyết ñịnh

Hiểu và vận dụng thuật toán ID3

Hiểu và vận dụng thuật toán học quy nạp
 Thắc mắc
28