TTNT

HC VIN CNG NGH BU CHNH VIN THNG ---------------------------T MINH PHNG
BI GING
Nhp mn tr tu nhn to
H ni 2010 1
LI NI U Tr tu nhn to l mt nhnh ca khoa hc my tnh vi mc tiu nghin cu xy dng v ng dng cc h thng thng minh nhn to. y l mt trong nhng lnh vc c quan tm nghin cu nhiu nht ca khoa hc my tnh hin nay vi nhiu kt qu c ng dng rng ri. Mn hc Nhp mn tr tu nhn to l mn hc mang tnh chuyn ngnh trong chng trnh o to cng ngh thng tin h i hc. Mc tiu ca mn hc nhm gip sinh vin lm quen vi khi nim tr tu nhn to thng qua vic gii thiu mt s k thut v ng dng c th. Vi vic hc v tr tu nhn to, mt mt, sinh vin s c lm quen vi nhng phng php, cch gii quyt vn khng thuc lnh vc ton ri rc hoc gii thut truyn thng, chng hn cc phng php da trn heuristics, cc phng php da trn tri thc, d liu. Mt khc, sinh vin s c lm quen vi kh nng ng dng tim tng cc k thut tr tu nhn to trong nhiu bi ton thc t. Do tr tu nhn to hin pht trin thnh mt lnh vc rng vi kh nhiu lnh vc chuyn su, vic la chn cc ni dung gii thiu cho sinh vin l vn khng n gin. Trong ti liu ny, cc ni dung c la chn hoc l nhng ni dung c tnh tiu biu, kinh in ca tr tu nhn to nh ni dung v biu din tri thc bng logic, cc phng php tm kim, hoc l nhng ni dung c tnh ng dng v ang c tnh thi s hin nay, tiu biu l phng php suy din xc sut v cc k thut hc my. Do khun kh c hn ca ti liu vi tnh cht l bi ging, phn gii thiu v vic s dng k thut tr tu nhn to trong ng dng c th khng c trnh by nhiu. Chng ti dnh phn la chn ng dng c th cho ging vin trong qu trnh ln lp v hng dn sinh vin. Ty iu kin, ging vin c th la chn trong danh mc ng dng rt phong ph gii thiu v minh ha cho cc ni dung ca ti liu. Ni dung ti liu c trnh by thnh nm chng. Chng 1 l phn gii thiu tng quan v tr tu nhn to bao gm khi nim, lch s hnh thnh, s lc v nhng k thut v ng dng tiu biu. Ni dung chng khng i qu su vo vic nh ngha chnh xc tr tu nhn to l g, thay vo , sinh vin c gii thiu v nhng lnh vc nghin cu chuyn su v lch s pht trin, trc khi lm quen vi ni dung c th trong cc chng sau. Chng 2 trnh by cch gii quyt vn bng phng php tm kim. Cc phng php tm kim bao gm: tm kim m, tm kim c thng tin, v tm kim cc b. Khc vi mt s ti liu khc v tr tu nhn to, ni dung v tm kim c i th khng c cp n trong ti liu ny. Chng 3 tm tt v vn s dng, biu din tri thc v suy din, trc khi i su trnh by v biu din tri thc v suy din vi logic. Trong hai h thng logic c trnh by l logic mnh v logic v t, ni dung chng c dnh nhiu hn cho logic v t. Do ni dung v lp trnh logic hin khng cn ng dng nhiu, chng ti khng gii thiu v vn lp trnh v xy dng ng dng c th y. Chng 4 l m rng ca biu din tri thc v suy din vi vic s dng nguyn tc suy din xc sut v mng Bayes. Sau khi trnh by v s cn thit ca lp lun trong iu kin 2
khng r rng cng vi nguyn tc suy din xc sut, phn chnh ca chng tp trung vo khi nim cng vi ng dng mng Bayes trong biu din tri thc v suy din. Chng 5 l chng nhp mn v hc my. Trong chng ny, sinh vin c lm quen vi khi nim, nguyn tc v ng dng ca hc my. Trong phm vi chng cng trnh by ba k thut hc my dng cho phn loi l cy quyt nh, phn loi Bayes v phn loi da trn v d. y l nhng phng php n gin, d gii thiu, ng thi l nhng phng php tiu biu v c nguyn l khc nhau, thun tin trnh by vi tnh cht nhp mn. Ti liu c bin son t kinh nghim ging dy hc phn Nhp mn tr tu nhn to ca tc gi ti Hc vin Cng ngh bu chnh vin thng, trn c s tip thu phn hi t sinh vin v ng nghip. Ti liu c th s dng lm ti liu hc tp cho sinh vin i hc ngnh cng ngh thng tin v cc ngnh lin quan, ngoi ra c th s dng vi mc ch tham kho nhanh cho nhng ngi quan tm ti tr tu nhn to. Trong qu trnh bin son ti liu, mc d tc gi c nhiu c gng song khng th trnh khi nhng thiu st. Ngoi ra, tr tu nhn to mt lnh vc rng, ang tin b rt nhanh ca khoa hc my tnh i hi ti liu phi c cp nht thng xuyn. Tc gi rt mong mun nhn c kin phn hi, gp cho cc thiu st cng nh kin v vic cp nht, hon thin ni dung ca ti liu. H ni 2010 Tc gi
Mc lc
CHNG 1: GII THIU CHUNG ................................................................................ 7 1.1. KHI NIM TR TU NHN TO .......................................................................... 7 1.2. LCH S HNH THNH V PHT TRIN ............................................................. 9 1.3. CC LNH VC NGHIN CU V NG DNG CHNH.................................... 10 1.3.1. Cc lnh vc nghin cu ....................................................................................... 10 1.3.2. Mt s ng dng................................................................................................... 11 CHNG 2: GII QUYT VN BNG TM KIM ............................................. 13 2.1. GII QUYT VN V KHOA HC TTNT ..................................................... 13 2.2. BI TON TM KIM TRONG KHNG GIAN TRNG THI ............................ 13 2.2.1. Pht biu bi ton tm kim .................................................................................. 13 2.2.2. Mt s v d ......................................................................................................... 14 2.2.3. Cc tiu chun nh gi thut ton tm kim ......................................................... 15 2.2.4. Thut ton tm kim tng qut v cy tm kim..................................................... 16 2.3. TM KIM KHNG C THNG TIN (TM KIM M) ........................................ 17 2.3.1. Tm kim theo chiu rng (Breadth-first search BFS) ........................................ 17 2.3.2. Tm kim theo gi thnh thng nht (Uniform-Cost-Search) ................................. 19 2.3.3. Tm kim theo chiu su (Depth-First-Search: DFS) ............................................. 19 2.3.4. Tm theo hai hng (Bidirectional Search) ........................................................... 23 2.4. TM KIM C THNG TIN (INFORMED SEARCH) ........................................... 25 2.4.1. Tm kim tham lam (Greedy Search) .................................................................... 25 2.4.2. Thut ton A*....................................................................................................... 26 2.4.3. Cc hm heuristic ................................................................................................. 27 2.4.4. Thut ton IDA* (thut ton A* su dn).............................................................. 28 2.5. TM KIM CC B ................................................................................................ 30 2.5.1. Thut ton leo i (Hill climbing) ......................................................................... 31 2.5.2. Thut ton ti thp (Simulated Annealing)............................................................ 33 2.5.3. Mt s thut ton tm kim cc b khc ................................................................ 35 CHNG 3: BIU DIN TRI THC V SUY DIN LOGIC ..................................... 36 3.1. S CN THIT S DNG TRI THC TRONG GII QUYT VN ............. 36 3.2. LOGIC MNH ................................................................................................... 37 3.2.1. C php ................................................................................................................ 37 3.2.2. Ng ngha............................................................................................................. 38 3.3. SUY DIN VI LOGIC MNH ........................................................................ 40 3.3.1. Suy din logic....................................................................................................... 40 3.3.2. Suy din s dng bng chn l ............................................................................. 40 3.3.3. S dng cc quy tc suy din ................................................................................ 41 3.4. LOGIC V T (LOGIC BC 1) ............................................................................... 44 3.4.1. c im .............................................................................................................. 44 3.4.2. C php v ng ngha ........................................................................................... 44 4
3.5. SUY DIN VI LOGIC V T ............................................................................... 49 3.5.1. Quy tc suy din ................................................................................................... 49 3.5.2. Suy din tin v suy din li ................................................................................. 51 3.5.3. Suy din s dng php gii .................................................................................. 54 3.5.4. H thng suy din t ng: lp trnh logic ............................................................ 59 CHNG 4: SUY DIN XC SUT ........................................................................... 60 4.1. VN THNG TIN KHNG CHC CHN KHI SUY DIN ............................ 60 4.2. NGUYN TC SUY DIN XC SUT ................................................................. 61 4.3. MT S KHI NIM V XC SUT ................................................................... 62 4.3.1. Cc tin xc sut .............................................................................................. 62 4.3.2. Xc sut ng thi ................................................................................................ 62 4.3.3. Xc sut iu kin ................................................................................................ 63 4.3.4. Tnh c lp xc sut ............................................................................................ 64 4.3.5. Quy tc Bayes ...................................................................................................... 65 4.4. MNG BAYES........................................................................................................ 67 4.4.1. Khi nim mng Bayes ......................................................................................... 67 4.4.2. Tnh c lp xc sut trong mng Bayes ............................................................... 69 4.4.3. Cch xy dng mng Bayes .................................................................................. 70 4.5. SUY DIN VI MNG BAYES ............................................................................. 73 4.5.1. Suy din da trn xc sut ng thi..................................................................... 73 4.5.2. phc tp ca suy din trn mng Bayes ........................................................... 74 4.5.3. Suy din cho trng hp ring n gin ............................................................... 74 4.5.4. Suy din bng phng php ly mu .................................................................... 76 4.6. NG DNG SUY DIN XC SUT...................................................................... 78 CHNG 5: HC MY ............................................................................................... 81 5.1. KHI NIM HC MY.......................................................................................... 81 5.1.1. Hc my l g ....................................................................................................... 81 5.1.2. ng dng ca hc my ......................................................................................... 81 5.1.3. Mt s khi nim .................................................................................................. 82 5.1.4. Cc dng hc my ................................................................................................ 82 5.2. HC CY QUYT NH ....................................................................................... 84 5.2.1. Khi nim cy quyt nh ..................................................................................... 84 5.2.2. Thut ton hc cy quyt nh .............................................................................. 85 5.2.3. Cc c im thut ton hc cy quyt nh.......................................................... 90 5.2.4. Vn qu va d liu ......................................................................................... 91 5.2.5. S dng thuc tnh c gi tr lin tc..................................................................... 92 5.2.6. S dng cch nh gi thuc tnh khc ................................................................. 93 5.3. PHN LOI BAYES N GIN ........................................................................... 94 5.3.1. Phng php phn loi Bayes n gin ................................................................ 94 5.3.2. Vn tnh xc sut trn thc t ........................................................................... 96 5.3.3. ng dng trong phn loi vn bn t ng ........................................................... 96 5.4. HC DA TRN V D: THUT TON K HNG XM GN NHT ............... 97 5.4.1. Nguyn tc chung ................................................................................................. 97 5
5.4.2. Phng php k-hng xm gn nht ....................................................................... 98 5.4.3. Mt s lu vi thut ton k-NN ......................................................................... 99 5.5. S LC V MT S PHNG PHP HC MY KHC .............................. 101 TI LIU THAM KHO .................................................................................................. 104
CHNG 1:
GII THIU CHUNG
1.1. KHI NIM TR TU NHN TO Tr tu nhn to l mt lnh vc nghin cu ca khoa hc my tnh v khoa hc tnh ton ni chung. C nhiu quan im khc nhau v tr tu nhn to v do vy c nhiu nh ngha khc nhau v lnh vc khoa hc ny. Mc ch ca tr tu nhn to l xy dng cc thc th thng minh. Tuy nhin, do rt kh nh ngha th no l thc th thng minh nn cng kh thng nht nh ngha tr tu nhn to. Theo mt ti liu c s dng rng ri trong ging dy tr tu nhn to hin nay, cc nh ngha c th nhm thnh bn nhm khc nhau, theo , tr tu nhn to l lnh vc nghin cu vic xy dng cc h thng c c im sau: 1) H thng hnh ng nh ngi. 2) H thng c th suy ngh nh ngi 3) H thng c th suy ngh hp l 4) H thng hnh ng hp l Trong s cc nh ngha trn, nhm th hai v ba quan tm ti qu trnh suy ngh v t duy, trong khi nhm th nht v th t quan tm ch yu ti hnh vi. Ngoi ra, hai nhm nh ngha u xc nh mc thng minh hay mc tr tu bng cch so snh vi kh nng suy ngh v hnh ng ca con ngi, trong khi hai nhm nh ngha sau da trn khi nim suy ngh hp l v hnh ng hp l. Trong phn phn tch bn di ta s thy suy ngh v hnh ng hp l khc vi suy ngh v hnh ng nh ngi th no. Sau y ta s xem xt c th cc nhm nh ngha trn. 1) Hnh ng nh ngi Theo cch nh ngha ny, tr tu nhn to nhm to ra cc h thng c kh nng thc hin nhng cng vic i hi c tr tu ca con ngi. Php th Turing (Turing test): Vo nm 1950, Alan Turing nh ton hc ngi Anh c nhiu ng gp cho khoa hc my tnh xy dng th tc cho php nh ngha tr tu. Th tc ny sau c gi l php th Turing (Turing test), v c thc hin nh sau. H thng c gi l thng minh, hay c tr tu nu h thng c th hnh ng tng t con ngi trong cc cng vic i hi tr tu. Trong qu trnh th, mt ngi kim tra s t cc cu hi (di dng vn bn) v nhn cu tr li cng di dng vn bn t h thng. Nu ngi kim tra khng phn bit c cu tr li l do ngi tht tr li hay do my sinh ra th h thng qua c php th v c gi l c tr tu. Cn lu rng, php th Turing nguyn bn khng i hi c s tip xc vt l trc tip gia ngi kim tra v h thng b kim tra, do vic to ra h thng ngi nhn to mt cch vt l c coi l khng lin quan ti tr tu.
Gii thiu chung
qua c php th Turing, h thng cn c nhng kh nng sau: X l ngn ng t nhin: c th phn tch, hiu cu hi v tng hp cu tr li trn mt ngn ng giao tip thng thng nh ting Vit hay ting Anh. Biu din tri thc: phc v vic lu tri thc v thng tin trong h thng. Suy din: s dng tri thc tr li cu hi. Hc my: c th thch nghi vi hon cnh v hc nhng mu tr li.
Trong lch s tr tu nhn to c nhng h thng nh ELIZA c xy dng nhm mc ch vt qua php th Turing m khng cn y ti c bn kh nng trn. 2) Suy ngh nh ngi Nhng nghin cu theo hng ny da trn vic nghin cu qu trnh nhn thc v t duy ca con ngi, t y m hnh ha v to ra nhng h thng c m hnh nhn thc, t duy tng t. Vic tm hiu qu trnh nhn thc, t duy ca ngi c th thc hin bng cch thc hin th nghim tm l hoc theo di qu trnh sinh ra ngh ngi. Mt h thng tr tu nhn to dng ny l h thng GPS, vit tt ca General Problem Solver do Newell v Simon trnh din nm 1961. GPS l chng trnh my tnh cho php gii quyt cc bi ton bng cch m phng chui suy ngh ca con ngi khi gii quyt nhng bi ton nh vy. Hin nay, hng nghin cu ny c thc hin trong khun kh khoa hc nhn thc (cognitive science) v c quan tm nhiu hn trong khun kh tm l hc. 3) Suy ngh hp l Mt cch tip cn khc l xy dng nhng h thng c kh nng suy din da trn vic s dng cc h thng hnh thc nh l gic. Tin thn ca cch tip cn ny c gc r t trit hc Hy lp do Aristot khi xng. C s ch yu l s dng l gic biu din bi ton v gii quyt bng suy din l gic. Kh khn ch yu ca cch tip cn ny l vic m t hay biu din bi ton di dng cc cu trc l gic c th gii quyt c. Trn thc t, tri thc v thng tin v bi ton thng c yu t khng y , khng chnh xc. Ngoi ra, vic suy din l gic i hi khi lng tnh ton ln khi s dng trong thc t. 4) Hnh ng hp l Cch tip cn ny tp trung vo vic xy dng cc tc t (agent) c kh nng hnh ng hp l, tc l hnh ng em li kt qu tt nht hoc kt qu k vng tt nht khi c yu t khng chc chn. Cn lu rng, hnh ng hp l c th khc vi hnh ng ging con ngi: con ngi khng phi lc no cng hnh ng hp l do b chi phi bi cc yu t ch quan. Mt c im quan trng ca hnh ng hp l l hnh ng kiu ny c th da trn vic suy ngh (suy din) hp l hoc khng. Trong nhiu tnh hung, vic hnh ng theo phn x, chng hn khi gp nguy him, khng i hi suy din phc tp, nhng li cho kt qu tt hn.
Gii thiu chung
1.2. LCH S HNH THNH V PHT TRIN Lch s hnh thnh v pht trin TTNT c th chia thnh mt s giai on sau (cc giai on c chia theo mc pht trin v c th giao nhau v thi gian): a. Giai on tin khi u (1943-1955) Mc d cha c khi nim v TTNT, giai on ny ghi nhn mt s kt qu c lin quan trc tip ti nghin cu v TTNT sau ny: Nm 1943, Warren McCulloch v Walter Pitts m t m hnh mng n ron nhn to u tin, v cho thy mng n ron nhn to c kh nng biu din nhiu hm s ton hc. Nm 1950, Alan Turing cng b bi bo nhc ti tr tu my, trong ln u tin m t khi nim php th Turing, hc my, thut ton di truyn, v hc tng cng. Nm 1956 c coi l nm chnh thc ra i ca khi nim tr tu nhn to. Mi nh nghin cu tr t chc mt cuc hi tho ko di hai thng ti trng t hc Dartmouth vi mc ch t nn mng u tin cng vi tn gi chnh thc ca TTNT.
b. Giai on khi u (1952-1969) y l giai on vi nhiu thnh tch nht nh ca cc nghin cu TTNT, c th hin qua mt s v d sau: Cc chng trnh Logic Theorist v sau l General Problem Solver ca Newell v Simon, c kh nng chng minh nh l ton hc theo cch tng t t duy ca con ngi. Nm 1952, Arthur Samuel xy dng mt s chng trnh chi checkers. Chng trnh c kh nng hc v nh thng cc i th nghip d. Nm 1958, John McCarthy xut ngn ng Lisp, sau ny tr thnh mt trong hai ngn ng thng dng nht ca TTNT. Mng n ron nhn to tip tc tip tc c pht trin vi mt s pht minh mi nh mng adalines (1962), Perceptron ca Rosenblatt (1962), cho php gii quyt nhiu bi ton hc my.
c. H thng da trn tr thc (1969-1979) Cc chng trnh tr tu nhn to xy dng trong giai on trc c mt s nht nh do khng c tri thc v lnh vc lin quan, v do vy khng th gii quyt nhng bi ton kh, i hi khi lng tnh ton ln hoc nhiu tri thc chuyn su. khc phc, giai on ny ch trng ti vic s dng nhiu tri thc, thng tin c th cho lnh vc hp ca vn cn gii quyt. Sau y l mt s h thng nh vy: DENDRAL l chng trnh h chuyn gia xy dng ti trng Stanford, cho php d on cu trc phn t. Chng trnh lm vic da trn cc lut do chuyn gia ha cung cp. Mt trong cc tc gi ca DENDRAL, sau cng vi cng s xy dng MYCIN, h chuyn gia cho php chn on bnh nhim trng my. Vi khong 450 quy 9
Gii thiu chung
tc do chuyn gia cung cp, h thng c cht lng chn on tng ng chuyn gia trong lnh vc ny. Vic s dng tri thc cng c s dng gii quyt vn hiu ngn ng t nhin, v d trong h thng dch t ng.
d. TTNT c sn phm thng mi (1980 n nay) Sau thnh cng ca nhng h chuyn gia u tin, vic xy dng h chuyn gia c thng mi ha t nm 1980 v c bit pht trin cho ti 1988. Sau giai on ny, do mt s hn ch ca h chuyn gia, TTNT ri vo mt giai on tr tr, khng c nhng bc tin ng k. Giai on ny cng nh du s tr li ca mng n ron nhn to sau mt thi gian khng c cc pht minh v ng dng ng k. Cho n hin ny, mng n ron nhn to vn c s dng tng i nhiu cho hc my v nh cc chng trnh nhn dng, phn loi t ng. e. TTNT chnh thc tr thnh ngnh khoa hc (1987 n nay) Bt u t giai on ny, TTNT c phng php nghin cu ring ca mnh, tun theo cc yu cu chung i vi phng php nghin cu khoa hc. Chng hn, kt qu cn chng minh bng thc nghim, v c phn tch k lng bng khoa hc thng k. Nhiu pht minh trc y ca TTNT nh mng n ron nhn to c phn tch v so snh k cng vi nhng k thut khc ca thng k, nhn dng, v hc my, do vy cc phng php khng cn mang tnh kinh nghim thun ty m u da trn cc c s l thuyt r rng hn. 1.3. CC LNH VC NGHIN CU V NG DNG CHNH 1.3.1. Cc lnh vc nghin cu Tr tu nhn to c chia thnh mt s lnh vc nghin cu nh hn nhm gii quyt nhng vn khc nhau khi xy dng mt h thng tr tu nhn to. Thng thng, mt h thng tr tu nhn to hon chnh, lm vic trong vic mt mi trng no cn c kh nng: cm nhn (perception), suy din (reasoning), v hnh ng (action). Lnh vc nghin cu ca tr tu nhn to cng c phn chia theo ba thnh phn ny. a. Cm nhn H thng cn c c ch thu nhn thng tin lin quan ti hot ng t mi trng bn ngoi. c th l camera, cm ng m thanh, cc cm bin khc. cng c th n gin hn l thng tin do ngi dng nhp vo chng trnh nhp vo bng tay. bin i thng tin nhn c v dng c th hiu c, thng tin cn c x l nh nhng k thut thuc cc lnh vc sau: Th gic my (computer vision): nghin cu v vic thu nhn, x l, nhn dng thng tin hnh nh (chng hn t camera) thnh biu din mc cao hn nh cc i tng xung quanh my tnh sau c th hiu c.
10
Gii thiu chung
X l ngn ng t nhin (natural language processing): phn tch thng tin, d liu nhn c di dng m thanh hoc vn bn v c trnh by di dng ngn ng t nhin ca con ngi.
b. Suy din L qu trnh a ra kt lun v hnh ng trn c s cm nhn v tri thc bn trong. Thnh phn ny c xy dng da trn k thut t nhng lnh vc nghin cu sau: Biu din tri thc (knowledge representation): s kin, thng tin, tri thc v th gii xung quanh cn c biu din di dng my tnh c th hiu c, chng hn di dng l gic hoc ngn ng TTNT no . Tm kim (search): nhiu bi ton hoc vn c th pht biu v gii quyt nh bi ton tm kim trong khng gian trng thi. TTNT nghin cu cch tm kim khi s trng thi trong khng gian qu ln. Suy din (inference hay reasoning): l qu trnh sinh ra kt lun hoc s kin mi t nhng s kin v thng tin c. Hc my (machine learning): lm tng hiu qu gii quyt vn nh trn d liu v kinh nghim c. Lp k hoch (planning): l qu trnh sinh ra cc bc hnh ng cn thc hin thc hin mt mc tiu no da trn thng tin v mi trng, v hiu qu tng hnh ng, v tnh hung hin thi v mc tiu cn t.
c. Hnh ng Cho php h thng tc ng vo mi trng xung quanh hoc n gin l a ra thng tin v kt lun ca mnh. Thnh phn ny c xy dng da trn nhng k thut sau: K thut rbt (robotics): l k thut xy dng cc c quan chp hnh nh cnh tay ngi my, tng hp ting ni, tng hp ngn ng t nhin.
1.3.2. Mt s ng dng a. Cc chng trnh tr chi Vic xy dng chng trnh c kh nng chi nhng tr chi tr tu l mt lnh vc c nhiu thnh tu ca TTNT. Tiu biu l chng trnh c vua Deep Blue tng thng v ch c vua th gii Gary Kasparov. b. Nhn dng ting ni Cho php bin i t m thanh thu c thnh cc t. Mt trong nhng h thng nhn dng ting ni thng mi u tin l PEGASUS c dng ti American Airlines cho php nhn thng tin t ch t ng qua in thoi. Ph bin hn l nhng chng trnh nhn dng cho php quay s di ng bng ging ni. Nhn chung, cc h thng nhn dng ting ni hin nay c chnh xc tng i hn ch. c. Th gic my tnh 11
Gii thiu chung
Tiu biu l cc h thng nhn dng ch in vi chnh xc gn nh tuyt i, h thng nhn dng trng mt, vn tay, mt ngi. Nhng h thng dng ny c s dng rng ri trong sn xut kim tra sn phm, trong h thng camera an ninh. Nhiu nghin cu thuc vng ng dng ny ang c thc hin nh nghin cu nhn dng ch vit tay. d. H chuyn gia L cc h thng lm vic da trn kinh nghim v tri thc ca chuyn gia trong mt lnh vc tng i hp no a ra khuyn co, kt lun, chun on mt cch t ng. Cc v d gm: MYCIN: h chuyn gian u tin chn on bnh v nhim trng mu v cch iu tr. XCON ca DEC: h tr chn cu hnh my tnh t ng.
e. X l, hiu ngn ng t nhin Tiu biu l cc h thng dch t ng nh h thng dch ca Google, cc h thng tm tt ni dung vn bn t ng. Nhng h thng ny s dng nhng thnh phn n gin hn nh cc phn h phn tch hnh thi, c php, ng ngha. f. Lp k hoch, lp thi kha biu K thut TTNT c s dng nhiu trong bi ton lp thi kha biu cho trng hc, x nghip, cc bi ton lp k hoch khc. Mt v d lp k hoch thnh cng vi quy m ln l k hoch m bo hu cn cho qun i M trong chin dch Cn bo sa mc ti Iraq c thc hin gn nh hon ton da trn k thut TTNT.
12
CHNG 2: GII QUYT VN BNG TM KIM
2.1. GII QUYT VN V KHOA HC TTNT Ti sao phi tm kim Tm kim l mt trong nhng hng nghin cu quan trng ca TTNT. Mc ch ca TTNT l tm cch gii quyt vn hay bi ton mt cch hp l, trong khi , mt lp ln cc bi ton c th pht biu v gii quyt di dng tm kim. Sau y l mt s v d cc bi ton nh vy. Tr chi: nhiu tr chi, v d c vua, thc cht l qu trnh tm kim nc i ca cc bn trong s nhng nc m lut chi cho php, ginh ly u th cho bn mnh. Lp thi kha biu: lp thi kha biu l la chn th t, thi gian, ti nguyn (my mc, a im, con ngi) tha mn mt s tiu ch no . Nh vy, lp thi kha biu c th coi nh qu trnh tm kim trong s t hp phng n sp xp phng n p ng yu cu ra. Tm ng i: trong s nhng ng i, la chn ng i ti ch, c th tha mn mt s tiu ch no nh tiu ch ti u v di, thi gian, gi thnh.v.v. Lp k hoch: l la chn chui hnh ng c s cho php t mc tiu ra ng thi tha mn cc yu cu ph.
S ph bin ca cc vn c tnh cht tm kim dn ti yu cu pht biu bi ton tm kim mt cch tng qut, ng thi xy dng phng php gii bi ton tm kim sao cho hiu qu, thun li. Do vy, tm kim c nghin cu trong khun kh ton ri rc, l thuyt thut ton. Trong khun kh TTNT, tm kim c c bit quan tm t kha cnh xy dng phng php cho php tm ra kt qu trong trng hp khng gian tm kim c kch thc ln khin cho nhng phng php truyn thng gp kh khn. Ngoi vic ng c lp nh ch nghin cu ring, tm kim cn l c s cho rt nhiu nhnh nghin cu khc ca TTNT nh lp k hoch, hc my, x l ngn ng t nhin, suy din. 2.2. BI TON TM KIM TRONG KHNG GIAN TRNG THI 2.2.1. Pht biu bi ton tm kim Mt cch tng qut, mt vn c th gii quyt thng qua tm kim bng cch xc nh tp hp tt c cc phng n, i tng, hay trng thi lin quan, gi chung l khng gian trng thi. Th tc tm kim sau s kho st khng gian trng thi theo mt cch no tm ra li gii cho vn . Ty vo cch thc kho st khng gian trng thi c th, ta s c nhng phng php tm kim khc nhau.
Gii quyt vn bng tm kim
c th kho st khng gian trng thi, thut ton tm kim bt u t mt trng thi xut pht no , sau s dng nhng php bin i trng thi nhn bit v chuyn sang trng thi khc. Qu trnh tm kim kt thc khi tm ra li gii, tc l khi t ti trng thi ch. Bi ton tm kim c bn c th pht biu thng qua bn thnh phn chnh sau: Tp cc trng thi Q. y chnh l khng gian trng thi ca bi ton. Tp (khng rng) cc trng thi xut pht S (S Q). Thut ton tm kim s xut pht t mt trong nhng trng thi ny kho st khng gian tm kim. Tp (khng rng) cc trng thi ch G (G Q). Trng thi ch c th c cho mt cch tng minh, tc l ch ra c th l trng thi no, hoc khng tng minh. Trong trng hp sau, thay v trng thi c th, bi ton s quy nh mt s iu kin m trng thi ch cn tha mn. V d, khi chi c vua, thay v ch ra v tr c th qun c, ta ch c quy tc cho bit trng thi chiu ht. Cc ton t, cn gi l hnh ng hay chuyn ng. Thc cht y l mt nh x P: QQ, cho php chuyn t trng thi hin thi sang cc trng thi khc. Vi mi trng thi n, P (n) l tp cc trng thi c sinh ra khi p dng ton t hay chuyn ng P. Gi thnh c: Q x Q R. Trong mt s trng hp, qu trnh tm kim cn quan tm ti gi thnh ng i. Gi thnh di chuyn t nt x ti nt hng xm y c cho di dng s dng c (x, y).
2.2.2. Mt s v d Cc thnh phn ca bi ton tm kim c minh ha trn mt s v d sau. y l nhng v d khng c ng dng thc t nhng n gin, d s dng cho mc ch minh ha. Bi ton tm Cho hnh ch nht c chia thnh chn nh trn hnh di, trong tm c nh s t 1 n 8 v mt trng. C th thay i v tr cc s bng cch di chuyn trng. Mi ln di chuyn, trng c th i ch vi mt s ngay pha trn, pha di, bn phi hoc bn tri. 3 5 2 7 1 6 8 4 3 6 1 4 7 2 5 8
Trng thi xut pht Hnh 2.1. Tr 8
Trng thi ch
14
Yu cu ca bi ton l thc hin cc di chuyn chuyn t mt sp xp cc (v d trn hnh bn tri) sang mt cch sp xp khc (hnh bn phi). Ngoi ra c th c yu cu ph, v d cn di chuyn sao cho s ln i ch trng l ti thiu. Tr 8 c th pht biu nh bi ton tm kim vi cc thnh phn sau. Trng thi (state): mi trng thi l mt sp xp c th v tr cc Hnh ng (action): mi hnh ng tng ng vi mt di chuyn trng tri, phi, ln, xung Mc tiu v kim tra (goal & test): so snh vi trng thi ch Gi thnh (cost): bng tng s ln dch chuyn trng.
Bi ton n con hu Cho mt bn c vua kch thc n x n. Cn xp n con hu ln bn c sao cho khng c i hu no e da nhau. y cng l bi ton tm kim vi cc thnh phn c th nh sau: Trng thi: sp xp ca c n con hu trn bn c, hoc sp xp ca 0 n n con hu trn bn c. Trng thi xut pht: Trng thi ch: sp xp n con hu trn bn c sao cho khng c i hu no e da nhau. Chuyn ng: C nhiu cch khc nhau: i ch 2 con hu, di chuyn mt con hu sang khc (cng ct, khc ct).
2.2.3. Cc tiu chun nh gi thut ton tm kim Vi bi ton tm kim c pht biu nh trn, nhiu thut ton tm kim c th s dng kho st khng gian v tm ra li gii. Thut ton tm kim c nh gi theo bn tiu chun sau: phc tp tnh ton: c xc nh bng khi lng tnh ton cn thc hin tm ra li gii. Thng thng, khi lng tnh ton c xc nh bng s lng trng thi cn xem xt trc khi tm ra li gii. Yu cu b nh: c xc nh bng s lng trng thi cn lu tr ng thi trong b nh khi thc hin thut ton. Tnh y : nu bi ton c li gii th thut ton c kh nng tm ra li gii khng? Nu c, ta ni rng thut ton c tnh y , trong trng hp ngc li ta ni thut ton khng c tnh y .
15
Tnh ti u: nu bi ton c nhiu li gii th thut ton c cho php tm ra li gii tt nht khng? Thut ton tng qut da trn nguyn l chung nh sau:
2.2.4. Thut ton tm kim tng qut v cy tm kim tng chung: xem xt trng thi, s dng cc hm bin i trng thi di chuyn trong khng gian trng thi cho ti khi t n trng thi mong mun. tng ny c th hin qua thut ton tm kim tng qut trn hnh 2.2. Search(Q, S, G, P) (Q: khng gian trng thi, S: trng thi bt u, G: ch, P: hnh ng) u vo: bi ton tm kim vi 4 thnh phn nh trn u ra: trng thi ch Khi to: O S (O: danh sch cc nt m, bc ny lm nhim v gn S cho O) While(O ) do 1. chn nt n O v xa n khi O 2. If n G, return (ng i ti n) 3. Thm P(n) vo O Return: Khng c li gii Hnh 2.2. Thut ton tm kim tng qut Thut ton tm kim tng qut sinh ra mt cy tm kim, trong mi trng thi tng ng vi mt nt trn cy. Trng thi xut pht tng ng vi gc cy, nhng trng thi c m rng to thnh cc nt th h tip theo. Trn hnh 2.3 l v d mt cy tm kim sinh ra cho bi ton 8 . Thut ton trn cng gi s rng mi nt c duyt s khng c duyt li ln na, do vy khng cn lu tr danh sch nhng nt duyt. Trn thc t, trong nhiu trng hp, vic di chuyn trong khng gian trng thi s dn ti nhng nt duyt qua v to thnh vng lp. Trong trng hp nh vy cy tm kim c th l v tn v cn c cch kim tra khng xem xt li nt duyt. Sau y l mt s thut ng s dng khi trnh by v thut ton tm kim:
Cc nt m (nt bin): l cc nt ang ch c m rng tip Sau khi nt c m rng, ta xa n khi danh sch cc nt m v nt khi gi l nt ng. 16
Cn lu l trong thut ton tm kim tng qut trn khng quy nh r nt no trong s cc nt bin (nm trong tp O) c chn m rng. Vic la chn nt c th ph thuc vo tng phng php tm kim v c trnh by trong nhng phn tip theo.
Hnh 2.3. Cy tm kim cho bi ton 8
2.3. TM KIM KHNG C THNG TIN (TM KIM M) nh ngha: Tm kim khng c thng tin, cn gi l tm kim m (blind, uninformed search) l phng php duyt khng gian trng thi ch s dng cc thng tin theo pht biu ca bi ton tm kim tng qut trong qu trnh tm kim. Tm kim khng c thng tin bao gm mt s thut ton khc nhau. im khc nhau cn bn ca cc thut ton l th t m rng cc nt bin. Sau y ta s xem xt cc thut ton tm theo chiu rng, tm theo chiu su, tm kim su dn v mt s bin th ca nhng thut ton ny. 2.3.1. Tm kim theo chiu rng (Breadth-first search BFS) Nguyn tc ca tm kim theo chiu rng l trong s nhng nt bin la chn nt nng nht (gn nt gc nht) m rng.
17
Khi m rng mt nt ta cn s dng con tr ngc ghi li nt cha ca nt va c m ra. Con tr ny c s dng tm ngc li ng i v trng thi xut pht khi tm c trng thi ch. C th nhn thy, thc hin nguyn tc tm kim theo chiu rng, ta cn la chn nt c thm vo sm hn trong danh sch nt bin O m rng. iu ny c th thc hin d dng bng cch dng mt hng i lu cc nt bin. Thut ton tm theo chiu rng c th hin trn hnh sau: BFS (Q, S, G, P) u vo: bi ton tm kim u ra: trng thi ch Khi to: O S While(O khng rng) do 1. Chn nt u tin n t O v xa n khi O 2. If n G, return (ng i ti n) 3. Thm P(n) vo cui O Return: Khng c li gii Hnh 2.4. Thut ton tm kim theo chiu rng Tnh cht ca tm theo chiu rng: i chiu vi cc tiu chun trn, tm kim theo chiu rng c nhng tnh cht sau:
Thut ton c tnh y , tc l nu bi ton c li gii, tm kim theo chiu rng m bo tm ra li gii. C tnh ti u. m bo tm ra li gii nm gn nt gc nht. Tuy nhin, trong trng hp gi thnh ng i gia cc nt khng bng nhau th iu ny cha m bo tm ra ng i ngn nht. phc tp ca thut ton ln (gi s mi bc c b node c m rng trn b nhnh v c d mc, khi phc tp ca thut ton l O( b d )).
Gi s rng, mi trng thi khi c pht trin s sinh ra b trng thi k. Ta s gi b l nhn t nhnh. Gi s rng, nghim ca bi ton l ng i c di d. Bi nhiu nghim c th c tm ra ti mt nh bt k mc d ca cy tm kim, do s nh cn xem xt tm ra nghim l: 1 + b + b2 + ... + bd-1 + k 18
Trong k c th l 1, 2, ..., bd. Do s ln nht cc nh cn xem xt l: 1 + b + b2 + ... + bd Nh vy, phc tp thi gian ca thut ton tm kim theo b rng l O(bd). phc tp khng gian cng l O(bd), bi v ta cn lu vo danh sch L tt c cc nh ca cy tm kim mc d, s cc nh ny l bd.
2.3.2. Tm kim theo gi thnh thng nht (Uniform-Cost-Search) Trong trng hp gi thnh di chuyn gia hai nt l khng bng nhau gia cc cp nt, tm theo chiu rng khng cho tm ra li gii c gi thnh nh nht v do vy khng ti u. tm ra ng i ngn nht trong trng hp ny cn s dng mt bin th ca tm theo chiu rng c tn gi l tm kim theo gi thnh duy nht. Phng php: chn node m rng c gi thnh nh nht m rng trc thay v chn nt nng nht nh trong tm theo chiu rng. Thut ton: c bin i t tm kim theo chiu rng bng cch thay ba bc trong vng lp While nh sau: 1. Chn node n c gi thnh nh nht thuc O v xa n khi O 2. If n G, return (ng i ti n) 3. Thm P(n) v gi thnh ng i ti n vo O Thut ton tm kim theo gi thnh thng nht cn c gi l thut ton Dijkstra 2.3.3. Tm kim theo chiu su (Depth-First-Search: DFS) Nguyn tc ca tm kim theo chiu su l trong s nhng nt bin la chn nt su nht (xa nt gc nht) m rng. thc hin nguyn tc trn, ta cn la chn nt c thm vo sau cng trong tp nt bin O m rng. iu ny c th thc hin d dng bng cch dng mt ngn xp lu cc nt bin, cc nt c thm vo v ly ra theo nguyn l LIFO. Thut ton tm kim theo chiu su c th hin trn hnh 2.5. Tnh cht thut ton tm theo chiu su:
Thut ton khng y trong trng hp s trng thi l v hn (c i theo nhnh khng ng mi m khng chuyn sang nhnh khc c). Thut ton khng ti u: thut ton c th m rng nhng nhnh dn ti li gii khng ti u trc, c bit trong trng hp c nhiu li gii. phc tp ca thut ton trng hp xu nht l O( b m ) vi m l su ti a. Trn thc t DFS tm ra li gii nhanh hn BFS, c bit nu tn ti nhiu li gii. 19
B nh cn nh ti a b*m (mi mc ch nh b node, vi m mc). nh gi phc tp khng gian ca tm kim theo su ta c nhn xt rng, khi ta pht trin mt nh u trn cy tm kim theo su, ta ch cn lu cc nh cha c pht trin m chng l cc nh con ca cc nh nm trn ng i t gc ti nh u. Nh vy i vi cy tm kim c nhn t nhnh b v su ln nht l m, ta ch cn lu t hn b*m nh. u cu b nh so vi tm theo chiu rng l u im ni bt nht ca tm theo chiu su.
DFS(Q, S, G, P) u vo: bi ton tm kim u ra: (ng i ti) trng thi ch Khi to: OS While(O ) do 1. Chn node u tin n O v xa n khi O 2. If n G, return (ng i ti n) 3. Thm P(n) vo u O Return: Khng c li gii Hnh 2.5. Thut ton tm kim theo chiu su Trnh cc nt lp: Trong nhiu trng hp c th c nhiu ng i cng dn ti mt nt. Khi cy tm kim s tr thnh th tm kim, tc l c nhiu hn mt ng i gia hai nt. Thut ton tm kim khi s m rng cng mt nt nhiu ln lm tng khi lng tnh ton khng cn thit. Thm ch c th dn ti vng lp v hn. trnh m rng nhng nt m rng ri cn ghi li nhng nt c m rng. i vi tm kim theo chiu su c hai cch kim tra: Ch ghi nh cc nt m rng ca nhnh hin thi, nu nt chun b m rng c trong s ny th khng cn m rng na. Phng php ny yu cu nh t nt, thi gian kim tra cng nhanh, tuy nhin ch cho php trnh vng lp v hn v khng cho php gim khi lng tnh ton trong trng hp nhiu nhnh ca th tm kim c nhng phn trng nhau. Ghi nh ton b nhng nt c m rng. Nhng nt ny c lu trong mt danh sch gi l danh sch nt ng. Khi chun b m rng mt nt, thut ton kim tra xem nt c trong danh sch nt ng cha, nu cha, thut ton s m rng sau
20
thm nt vo danh sch nt ng. Trong trng hp nt c trong danh sch nt ng ri, nt s khng c m rng li ln th hai. Vic khng m rng nhng nt c trong danh sch nt ng s nh hng ti tnh ti u ca li gii do thut ton ch xem xt mt ng i ti mt nt, trong khi c th l ng i khng ti u. 3.4. Tm kim su dn (Iterative Depending Search - IDS) Mc d c u im rt ln l khng yu cu nhiu b nh nh tm theo chiu rng, tm theo chiu su c th rt chm hoc b tc nu m rng nhng nhnh su (v tn) khng cha li gii. khc phc, c th s dng k thut tm kim vi su hu hn: tm kim theo phng php su dn nhng khng tip tc pht trin mt nhnh khi t ti mt su no , thay vo , thut ton chuyn sang pht trin nhnh khc. K thut ny c th s dng trong trng hp c th d on c su ca li gii bng cch da trn c im bi ton c th. Chng hn, nu ta bit rng i t H ni vo Vinh khng i qua qu 4 thnh ph khc th c th dng 4 lm gii hn chiu su khi tm kim ng i. Mt s bi ton khc cng c th d on trc gii hn su nh vy. Tuy nhin, trong trng hp chung, ta thng khng c trc thng tin v su ca li gii. Trong trng hp nh vy c th s dng phng php tm kim su dn. Thc cht tm kim su dn l tm kim vi su hu hn, trong gii hn su c khi u bng mt gi tr nh, sau tng dn cho ti khi tm c li gii. Phng php: Tm theo DFS nhng khng bao gi m rng cc node c su qu mt gii hn no . Gii hn su s c tng dn cho n khi tm c li gii (VD: nu gii hn l 2 m khng tm c th s tng ln 3). Thut ton tm kim su dn th hin trn hnh 2.6, trong tm kim su c lp li, ti mi bc lp, su c gii hn bi bin C.
IDS(Q, S, G, P) u vo: thut ton tm kim u ra: trng thi ch Khi to: OS (O: danh sch cc node m, bc ny lm nhim v gn S cho O) C 0 (C l gii hn su tm kim) While(O ) do 1. Thc hin 3 bc
Ly node n u tin ra khi O If n G, return (ng i ti) n 21
If su (n) nh hn hoc bng C, then thm P(n) vo u O
2. C++, OS Return: Khng c li gii Hnh 2.6. Thut ton tm kim su dn Cy tm kim trong trng hp tm su dn c minh ha trn hnh 2.7.
Hnh 2.7. Cy tm kim theo thut ton tm kim su dn
22
Tnh cht:
Thut ton y Thut ton ti u (nu c nhiu li gii, c th tm ra c li gii gn gc nht) Yu cu b nh nh (b*d) do ti mi bc lp, thut ton thc hin tm kim su dn phc tp tnh ton O( b d ).Trong tm kim su lp, ta phi pht trin lp li nhiu ln cng mt trng thi. iu lm cho ta c cm gic rng, tm kim su lp lng ph nhiu thi gian. Thc ra thi gian tiu tn cho pht trin lp li cc trng thi l khng ng k so vi thi gian tm kim theo b rng. Tht vy, mi ln gi th tc tm kim su hn ch ti mc d, nu cy tm kim c nhn t nhnh l b, th s nh cn pht trin l: 1 + b + b2 + ... + bd Nu nghim su d, th trong tm kim su lp, ta phi gi th tc tm kim su hn ch vi su ln lt l 0, 1, 2, ..., d. Do cc nh mc 1 phi pht trin lp d ln, cc nh mc 2 lp d-1 ln, ..., cc nh mc d lp 1 ln. Nh vy tng s nh cn pht trin trong tm kim su lp l: (d+1)1 + db + (d-1)b2 + ... + 2bd-1 + 1bd Do thi gian tm kim su dn l O(bd).
2.3.4. Tm theo hai hng (Bidirectional Search) Trong cc phng php tm kim trn, qu trnh tm kim bt u t nt xut pht v kt thc khi t ti nt ch. Do tnh cht i xng ca ng i, qu trnh tm kim cng c th bt u t nt ch v tm ti nt xut pht. Ngoi ra, qu trnh tm kim c th xut pht ng thi t c nt xut pht v nt ch, xy dng ng thi hai cy tm kim. Qu trnh tm kim kt thc khi hai cy tm kim c mt nt chung (hnh 2.8). Phng php: tm kim bt ngun t nt xut pht v nt ch. V vy, s tn ti hai cy tm kim, mt cy c gc l nt xut pht v mt cy c gc l nt ch. Tm kim kt thc khi c l ca cy ny trng vi l ca cy kia.
Hnh 2.8: Cy tm kim trong trng hp tm theo hai hng 23
Ch :
Khi tm theo hai hng cn s dng tm theo chiu rng. Vic tm theo chiu su c th khng cho php tm ra li gii nu hai cy tm kim pht trin theo hai nhnh khng gp nhau. tm theo hai hng cn vit thm mt hm chuyn ng ngc l P(x): tp cc node con ca x v D(x): tp cc node cha ca x. Node cng gn node xut pht cng c coi l t tin
Tnh cht:
Vic kim tra xem node l ny c trng vi node l kia gy tn thi gian phc tp tnh ton: do gp nhau gia nn chiu su mi cy l d/2. Theo tnh ton i vi tm theo chiu rng, phc tp tnh ton khi l O( b d / 2 ). Nh vy mc d vic kim tra cc nt trng nhau gy tn thi gian nhng s lng nt cn m rng ca c hai cy gim ng k so vi tm theo mt chiu.
6. Bi tp p dng
Tm chu trnh Hamilton xut pht t A
24
2.4. TM KIM C THNG TIN (INFORMED SEARCH) i vi tm kim m, vic m rng cc nt thun theo mt quy lut v khng da vo thng tin h tr ca bi ton. Kt qu ca vic tm kim nh vy l vic di chuyn trong khng gian tm kim khng c nh hng, dn ti phi xem xt nhiu trng thi. i vi nhng bi ton thc t c khng gian trng thi ln, tm kim m thng khng thc t do c phc tp tnh ton v yu cu b nh ln. gii quyt vn trn, chin lc tm kim c thng tin s dng thm nhng thng tin ph t bi ton nh hng tm kim, c th l la chn th t m rng nt theo hng mau dn ti ch hn. Nguyn tc chung ca tm kim c thng tin l s dng mt hm f (n) nh gi tt tim nng ca nt n, t chn nt n c hm f tt nht m rng trc. Trn thc t, vic xy dng hm f (n) phn nh chnh xc tt ca nt thng khng thc hin c, thay vo ta s dng cc gi tr c lng cho f (n). Trong phn ny ta s xem xt hai chin lc tm kim c thng tin, l tm kim tham lam v tm kim A*. 2.4.1. Tm kim tham lam (Greedy Search) Phng php: xem xt m rng nt c gi thnh ng i ti ch nh nht trc. Trong phng php ny, nh gi tt ca mt nt, ta s dng hm o gi thnh ng i t nt ti ch. Tuy nhin, do khng bit c chnh xc gi thnh ng i t mt nt ti ch, ta ch c th c lng gi tr ny. Hm c lng tt, hay gi thnh ng i t mt nt n ti ch gi l hm heuristic v k hiu h(n). Nh vy, i vi thut ton tham lam, ta c f(n) = h(n). Do hm h(n) ch l hm c lng gi thnh ng i ti ch nn c th ni rng tm kim tham lam m rng nt trng c v gn ch nht trc cc nt khc. Thut ton c gi l tham lam do thut ton ch quan tm ti vic la chn nt trng c v tt nht mi bc m khng quan tm ti vic trong tng lai vic dng nt c th khng phi l ti u. iu kin ca hm h(n): h(n) 0 Nhn xt: tm kim heuristic tng t DFS nhng cho php quay lui khi gp b tc V d hm heuristic h(n). Khi tm ng trn bn , hm heuristic cho mt thnh ph c th tnh bng khong cch theo ng chim bay gia thnh ph vi thnh ph ch cn n. c im:
Khng c tnh y do c kh nng to thnh vng lp mt s nt. phc tp v thi gian: O( b m ) (thut ton nhanh hn BFS, v c th cng nhanh hn DFS nu tn ti heuristic tt). Tuy nhin trong trng hp heuristic khng tt th thut ton s i sai hng v do vy gn ging vi tm su. 25
phc tp v khng gian lu tr: O( b m ) (lu tt c cc nt trong b nh) Thut ton khng ti u
2.4.2. Thut ton A* Mt trong nhng nhc im ca tm kim tham lam l khng cho li gii ngn nht. L do tm kim tham lam khng m bo tm ra ng i ngn nht l do thut ton ch quan tm ti khong cch c lng t mt nt ti ch m khng quan tm ti ng i t nt xut pht ti nt . Trong trng hp khong cch t nt xut pht ti nt ang xt ln s lm tng di ng i t xut pht ti ch qua nt hin thi ln ln. khc phc nhc im ny, thut ton A* s dng hm nh gi f(n) vi hai thnh phn, thnh phn th nht l ng i t nt ang xt ti nt xut pht, thnh phn th hai l khong cch c lng ti ch. Phng php: khc phc nhc im ca thut ton tham lam, thut ton A* s tnh f(n) = g(n) + h(n). Trong :
g(n) l gi thnh ng i t nt xut pht n nt n h(n) l gi thnh c lng ng i t nt n n nt ch, h(n) l hm heuristic. Thut ton A* yu cu hm h(n) l hm chp nhn c (admissible).
nh ngha: Hm h(n) c gi l chp nhn c nu h(n) khng ln hn khong cch thc t t n ti nt ch. Thut ton: A*(Q, S, G, P, c, h)
u vo: bi ton tm kim, hm heuristic h u ra: ng i ngn nht t nt xut pht n nt ch Khi to: tp cc nt bin (nt m) O S
While(O khng rng) do 1. Ly nt n c f(n) nh nht ra khi O 2. Nu n thuc G, return(ng i ti n) 3. Vi mi m P(n) i. ii. iii.
g(m) = g(n) + c(m, n) f(m) = g(m) + h(m)

Thm m vo O cng gi tr f(m)
Return: khng tm c ng i Hnh 2.9. Thut ton A* 26
Nhn xt:
Thut ton cho kt qu ti u nu hm heuristic h l hm chp nhn c. Thut ton y tr trng hp c v s cc node vi hm f c gi tr rt nh nm gia node xut pht v node ch. Thi gian: O( b m ) Trong tt c cc thut ton tm kim ti u th thut ton A* hiu qu nht vi phc tp ca thut ton l nh nht
2.4.3. Cc hm heuristic Cc hm heuristic h(n) c xy dng ty thuc vo bi ton c th. Cng mt loi bi ton chng ta c th c rt nhiu hm heuristic khc nhau. Cht lng hm heuristic nh hng rt nhiu n qu trnh tm kim. Hm heuristic h(n) c gi l chp nhn c khi: h(n) h*(n) trong h*(n) l gi thnh ng i thc t t n n node ch. Lu rng hm h(n)=0 vi mi n, l hm chp nhn c. V d: ng chim bay nh nhc ti trn l mt v d ca hm heuristic chp nhn c. Ngoi ra, ta s xem xt mt s hm heuristic cho bi ton tr 8 .
3 5 2
6 4 3 6
1 4 7
2 5 8
Ta c th s dng hai hm heuristic sau. -
h1 (n) : s t sai ch. Chng hn nu hnh bn phi l trng thi ch v hnh bn tri
l trng thi u th trng thi bn tri c h1(u) = 5 do c 5 l cc 3, 6, 4, 5, 2 nm sai v tr. C th nhn thy h1 l hm chp nhn c do mun di chuyn t trng thi bn tri sang trng thi ch ta phi chuyn v tr tt c nhng ng sai, trong khi di chuyn mi sai, ta cn t nht mt nc i. Nh vy di ng i lun ln hn hoc bng h1.
h2 (n) : tng khong cch Manhattan gia v tr hin thi ca mi ti v tr ng ca

. Khong cch Manhattan c tnh bng s t nht cc dch chuyn theo hng hoc 27
ct a mt qun ti v tr ca n trong trng thi ch. V d, a qun 2 ti v tr ch ta cn 4 dch chuyn v do vy khong cch Manhattan ca 2 ti ch l 4. Gi tr h2 ca trng thi u trn hnh bn tri s bng h2(u) = 1 + 4 + 1 + 2 + 1. Hm h2 cng l hm chp nhn c. Tht vy, di chuyn mt ti v tr ch, ta cn t nht s nc i bng khong cch Manhattan t ti ch. Nh vy, s nc di chuyn ton b cc ng sai s ln hn hoc bng tng khong cch Manhattan nh cch tnh h2. Hm heuristic tri V d trn cho thy, vi cng mt bi ton, ta c th xy dng ng thi nhiu hm heuristic chp nhn c. Vn t ra khi l nn dng hm no trong thut ton tm kim, hm c chn phi l hm tt hn, tc l hm nhanh dn ti kt qu hn. Gi s c hai hm heuristic chp nhn c h1(n) v h2(n). Nu h1(n) h2(n) vi mi n th ta ni rng h2 (n) tri hn so vi h1 (n) . R rng hm h2 (n) mang nhiu thng tin hn v do vy l hm tt hn do dn ti kt qu nhanh hn. Trong trng hp trong hai hm h1(n) v h2(n) khng c hm tri hn th ta c th to ra hm h(n) = max (h1(n) , h2(n)) vi mi n. R rng, h(n) l hm tri hn hai hm ban u. Cch xy dng hm heuristic Vic la chn hm heuristic ph thuc vo bi ton c th. Nguyn tc chung xy dng hm heuristic cho mt bi ton l ni lng cc rng buc ca bi ton . V d, i vi hm h1 (n) trong tr 8 , ta b rng buc v vic cc phi di chuyn tng bc n c v tr ch. Hay i vi heuristic ng chim bay, ta ni rng rng buc v vic di chuyn trn ng b v gi s c th di chuyn thng t mt im ti ch. 2.4.4. Thut ton IDA* (thut ton A* su dn) Thut ton A* c nhng u im quan trng nh tnh ti u v tnh y . Tuy nhin, nu hm heuristic khng tt, thut ton s phi xem xt nhiu trng thi v c yu cu b nh trong trng hp xu nht l O(bm). Yu cu b nh theo hm m nh vy lm gim kh nng s dng A*. gii quyt vn ny c th s dng phin bn ca A* c gi l A* su dn (Iterative Deepening A*) c yu cu b nh t l tuyn tnh vi su. Phng php: Nguyn tc ca A* su dn l lp li vic tm kim theo chiu su trn cc cy tm kim con c gi tr hm f(n) khng ln hn cc ngng 0, , 2, 3, .v.v.. C th: 1. Tm kim su dn (DFS), khng m rng nt c hm f > 0, nu tm c ch th dng li. 2. Tm kim su dn (DFS), khng m rng nt c hm f > , nu tm c ch th dng li. 2. Tm kim su dn , khng m rng nt c hm f > 2, nu tm c ch th dng li. 28
y, l gi tr c thm vo ngng sau mi vng lp. mi vng lp c th xt thm cc nt mi cn c gi tr ln hn hoc bng gi thnh nh nht di chuyn gia hai trng thi trong khng gian tm kim. y cn lu cch chn . Nu nh, sau mi ln tng ngng, cy tm kim mi s thm c t nt do vi cy tm kim c v do vy cn lp li qu trnh tm su nhiu ln, dn ti tng phc tp tnh ton. V d, trong trng hp c bit, khi gi tr ca f(n) trn mi nt u khc nhau, mi bc lp s ch xem xt thm c mt nt so vi bc trc. Khi , nu A* cn m rng N nt, th A* su dn s phi m rng 1+2++N = O(N2). Gii php cho vn phc tp tnh ton l s dng mc tng ngng > , sao cho ti mi bc lp s m rng cy tm kim thm mt s nt mi. Gi tr nh vy cho php gim thi gian tm kim, tuy nhin ch tr li li gii -ti u trong trng hp xu nht, tc l nu thut ton tm c li gii m* th ta c g(m*) < g* + . Thut ton A* su dn chi tit c th hin trn hnh di y:
Thut ton: A*(Q, S, G, P, c, h)
u vo: bi ton tm kim, hm heuristic h u ra: ng i ngn nht t nt xut pht n nt ch Khi to: danh sch cc nt bin (nt m) O S gi tr i = 0 l ngng cho hm f
While(1) do 1. while (O khng rng) do a) Ly nt n t u O b) Nu n thuc G, return(ng i ti n) c) Vi mi m P(n) i. ii. iii. g(m) = g(n) + c(m, n) f(m) = g(m) + h(m) If f(m) i then Thm m vo u O
2. i i + , O S Hnh 2.10. Thut ton A* su dn
Tnh cht:
Thut ton y v -ti u 29
Yu cu b nh tuyn tnh (ch nh nhnh, tng ng su dn) phc tp tnh ton ln hn ca thut ton A* Khng ph thuc vo h(n) (sau mi ln tng li lm li t u khng s dng h(n) thu hp nhnh cn tm).
2.5. TM KIM CC B Cc thut ton tm kim trn u da trn vic kho st khng gian tm kim mt cch h thng bng cch ghi li nhng ng i qua cng vi thng tin v phng n hoc cha c xem xt ti mi trng thi trn ng i. Vn ca thut ton nh vy l vic s dng ng i kho st khng gian tm kim mt cch h thng lm tng s lng trng thi cn xem xt ng thi i hi ghi nh nhiu trng thi v do vy khng thch hp vi bi ton c khng gian trng thi ln.. Trong phn ny ta s xem xt cc thut ton tm kim cc b (local search), cn c gi l tm kim ci thin dn (iterative improvement). Tm kim cc b thng c s dng cho nhng bi ton ti u ha t hp hoc ti u ha ri rc, tc l nhng bi ton trong cn tm trng thi ti u hoc t hp ti u trong khng gian ri rc cc trng thi, v khng quan tm ti ng i dn ti trng thi . Bi ton ti u ha t hp (ti u ha ri rc) c nhng c im sau.
Tm trng thi ti u cc i ha hoc cc tiu ha hm mc tiu. Khng quan tm ti ng i. Khng gian trng thi rt ln. Khng th s dng cc phng php tm kim trc xem xt tt c khng gian trng thi Thut ton cho php tm li gii tt nht vi phc tp tnh ton nh. Thut ton cng chp nhn li gii tng i tt.
V d: ti u ha t hp l lp bi ton c nhiu ng dng trn thc t. C th k ra mt s v d sau: bi ton lp lch, bng biu, thit k transitor, triu con hu, Tm kim cc b c thit k cho bi ton tm kim vi khng gian trng thi rt ln v cho php tm kim trng thi tng i tt vi thi gian tm kim chp nhn c. tng: nguyn tc chung ca tm kim cc b
Ch quan tm n trng thi ch, khng quan tm n ng i. Mi trng thi tng ng vi mt li gii (cha ti u) ci thin dn bng cch ch quan tm ti mt trng thi hin thi, sau xem xt chuyn sang trng thi hm xm ca trng thi hin thi (thng l trng thi c hm mc tiu tt hn). 30
Thay i trng thi bng cch thc hin cc chuyn ng (trng thi nhn c t trng thi n bng cch thc hin cc chuyn ng c gi l hng xm ca n).
Do tm kim cc b ch quan tm ti trng thi hin thi v hng xm nn cn t b nh hn nhiu so vi cc phng php tm kim h thng trn. Tm kim cc b thng cho php tm c li gii chp nhn c k c khi bi ton ln n mc khng dng c nhng phng php tm kim h thng. Pht biu bi ton: Bi ton tm kim cc b c cho bi nhng thnh phn sau:
Khng gian trng thi X Tp chuyn ng sinh ra hng xm Hm mc tiu Obj: X R Yu cu: Tm trng thi X* sao cho Obj(X*) l min hoc max.
C th minh ha bi ton tm kim cc b bng cch xem xt hnh 2.11. Trc honh trn hnh v th hin khng gian cc trng thi ( cho n gin, khng gian trng thi y c th hin trong khng gian mt chiu di dng cc im trn trc honh), trc tung l ln ca hm mc tiu. Yu cu bi ton ti u ha t hp l tm c trng thi (im trn trc honh) c hm mc tiu ln nht. Lu , hnh v minh ha trng hp cn tm trng thi vi hm mc tiu ln nht, tuy nhin trong bi ton khc c th yu cu tm trng thi vi hm mc tiu nh nht.
Hnh 2.11. Bi ton tm kim cc b vi khng gian trng thi v hm mc tiu 2.5.1. Thut ton leo i (Hill climbing) Leo i l tn chung ch mt h cc thut ton. Thut ton thc hin bng cch to ra hng xm cho trng thi hin thi v di chuyn sang hng xm c hm mc tiu tt hn, tc l di chuyn ln cao i vi trng hp cn cc i ha hm mc tiu. Thut ton dng li khi t ti 31
mt nh ca th hm mc tiu, tng ng vi trng thi khng c hng xm no tt hn. nh ny c th l nh cao nht, hoc cng l nhng nh thp hn (hnh 2.11). Trong trng hp th nht, thut ton tm c gi tr cc tr, trong trng hp th hai thut ton ch tm c cc tr a phng. Thut ton leo i khng lu li nhng trng thi qua, ng thi khng nhn xa hn hng xm ca trng thi hin thi. a) Di chuyn sang trng thi tt nht C nhiu phin bn khc nhau ca thut ton leo i. Mt trong nhng phin bn thng dng nht c tn l leo i di chuyn sang trng thi tt nht (best-improvement hill climbing). Phin bn ny ca leo i la chn trong s hng xm hin thi hng xm c hm mc tiu tt nht. Nu hng xm tt hn trng thi hin thi th di chuyn sang hm xm . Nu ngc li th kt thc v tr v trng thi hin thi. Thut ton y c th hin trn hnh 2.12. u vo: bi ton ti u t hp u ra: trng thi vi hm mc tiu ln nht (hoc cc i a phng)
1. Chn ngu nhin trng thi x 2. Gi Y l tp cc trng thi hng xm ca x

3. Nu yiY: Obj (yi) < Obj (x) th Kt thc v tr li x l kt qu 1. x yi , trong i = argmaxi (Obj (yi)) 2. Go to 2 Hnh 2.12. Thut ton leo i di chuyn sang trng thi tt nht
c im ca leo i n gin,d lp trnh, khng tn b nh do khng phi lu li bt k th g, ch lu li trng thi tm thi v cc hng xm. D b li gii ti u cc b (cc tr a phng) tng ng vi nh cc i thp trong hnh 2.11. khc phc phn no vn ny, thut ton c thc hin nhiu ln, mi ln s dng mt trng thi xut pht sinh ngu nhin khc vi trng thi xut pht trong nhng ln trc .
Khi thit k thut ton leo i, vic la chn chuyn ng rt quan trng. Nu nhiu chuyn ng s sinh ra nhiu hng xm, do vy vic chn ra hng xm tt nht i hi nhiu thi gian do phi tnh hm mc tiu cho tt c hng xm. Ngc li, nu sinh ra tp hng xm nh s d dn ti cc tr a phng do khng vt qua c nhng h nh trn ng i. 32
b) Leo i ngu nhin
Leo i ngu nhin (stochastic hill climbing) l mt phin bn khc ca leo i. Thay v tm ra hng xm tt nht, phin bn ny la chn ngu nhin mt hng xm. Nu hng xm tt hn trng thi hin thi, hng xm s c chn lm trng thi hin thi v thut ton lp li. Ngc li, nu hng xm c chn khng tt hn, thut ton s chn ngu nhin mt hng xm khc v so snh. Thut ton kt thc v tr li trng thi hin thi khi ht kin nhn. Thng thng, kin nhn c cho bng s lng ti a hng xm m thut ton xem xt trong mi bc lp hoc trong ton b thut ton.
Thut ton leo i ngu nhin c th hin trn hnh 2.13. u vo: bi ton ti u t hp u ra: trng thi vi hm mc tiu ln nht (hoc cc i a phng) --------------------------------------------
1. Chn ngu nhin trng thi x 2. Gi Y l tp cc trng thi hng xm ca x

3. Chn ngu nhin yiY 4. Nu Obj (yi) > Obj (x) th
x yi
5. Go to 2 nu cha ht kin nhn Hnh 2.13. Thut ton leo i ngu nhin Cc nghin cu cho thy, trong mt s trng hp, leo i ngu nhin cho kt qu nhanh hn v c th trnh c mt s cc tr a phng.
2.5.2. Thut ton ti thp (Simulated Annealing) Mt vn ln vi leo i l thut ton khng c kh nng i xung v do vy khng thot khi c cc tr a phng khi ri vo. Ngc li, cch di chuyn hon ton ngu nhin (random walk) c th kho st ton b khng gian trng thi nhng khng hiu qu. Thut ton ti thp (simulated annealing) l mt phng php tm kim cc b cho php gii quyt phn no vn cc tr a phng mt cch tng i hiu qu. C th coi ti thp l phin bn ca thut ton leo i ngu nhin, trong thut ton chp nhn c nhng trng thi km hn trng thi hin thi vi mt xc sut p no . C th l khi la chn ngu nhin mt hng xm, nu hng xm km hn trng thi hin thi, thut ton c th quyt nh di chuyn sang vi mt xc sut p. 33
Vn quan trng i vi thut ton l la chn xc sut p th no. Nguyn tc chung l khng chn p c nh, gi tr p c xc nh da trn hai yu t sau. Nu trng thi mi km hn nhiu so vi trng thi hin thi th p phi gim i. C ngha l xc sut chp nhn trng thi t l nghch vi km ca trng thi . Gi (x,y) = Obj(x) Obj(y) trong x l trng thi hin thi, ta cn chn p t l nghch vi (x,y). Theo thi gian, gi tr ca p phi gim dn. ngha ca vic gim p theo thi gian l do khi mi bt u, thut ton cha vo vng trng thi tt v do vy chp nhn thay i ln. Theo thi gian, thut ton s chuyn sang vng trng thi tt hn v do vy cn hn ch thay i.
Thut ton ti thp c th hin trn hnh 2.14. SA(X, Obj, N, m, x, C) //Obj cng nh cng tt u vo: s bc lp m trng thi bt u x (chn ngu nhin) s lm lnh C u ra: trng thi tt nht x*
Khi to: x* = x For i = 1 to m 1. chn ngu nhin y N(x) a) tnh (x,y) = Obj(y) Obj(x) b) if (x,y) < 0 then p = 1 c) else p = e - (x,y)/T d) if rand[0,1] < p then x y if Obj(x) < Obj(x*) then x* x 2. gim T theo s C return x* //x* l trng thi tt nht trong s nhng trng thi xem xt Hnh 2.14. Thut ton ti thp Thut ton ti thp va trnh by da trn mt hin tng c hc l qu trnh lm lnh kim loi to ra cu trc tinh th bn vng. Hm mc tiu khi c o bng vng chc ca 34
cu trc tinh th. Khi cn nng, mc nng lng trong kim loi cao, cc nguyn t kim loi c kh nng di chuyn linh ng hn. Khi nhit gim xung, tinh th dn chuyn ti trng thi n nh v to ra mng tinh th. Bng cch thay i nhit hp l, c th to ra nhng mng tinh th rt rn chc. Chnh v s tng t vi cch ti kim loi nh vy nn trong thut ton, xc sut p gim theo thi gian da vo mt cng thc gi l s lm lnh C. C nhiu dng s lm lnh khc nhau. Sau y l v d mt s lm lnh. S lm lnh C:
Tt +1 = T0 * t*k
Trong :
T0 > 0, thuc (0,1), 1 < k < m

t cng tng cng nh T cng nh Khi T : p = 1 vi mi (x, y) tng ng vi chuyn ng ngu nhin Khi T 0: p = 0 vi mi (x, y) a v trng hp leo i ngu nhin Vic la chn cc tham s cho s lm lnh thng c thc hin bng cch thc nghim vi tng bi ton c th. Thut ton ti thp c dng nhiu trong vic thit k vi mch c tch hp ln cng nh gii quyt nhng bi ton ti u ha t hp c kch thc ln trn thc t. 2.5.3. Mt s thut ton tm kim cc b khc Ngoi phng php leo i v ti thp, nhiu thut ton tm kim cc b khc c xut v s dng trong thc t, trong phi k n nhng thut ton sau: Tabu search. Thut ton lu mt danh sch nhng trng thi i qua gi l tabu list (tm dch l danh sch cm). Khi duyt tp hng xm, nhng trng thi thuc danh sch ny s b loi khng c xem xt. Gii thut di truyn (genetic algorithm). Gii thut di truyn c th xem nh mt phin bn leo i ngu nhin c thc hin song song. Thut ton m ha cc trng thi di dng cc chui gen, sau thc hin ba thao tc bin i chnh l: chn lc, lai ging v t bin sinh ra trng thi mi. Qu trnh i ti trng thi tt c thc hin da trn s tng t vi qu trnh chn lc c th tt theo thuyt tin ha ca c Uyn.
35
CHNG 3:
BIU DIN TRI THC V SUY DIN LOGIC
3.1. S CN THIT S DNG TRI THC TRONG GII QUYT VN S cn thit ca tri thc v suy din Mt yu cu quan trng i vi h thng thng minh l phi c kh nng s dng tri thc v suy din. Rt kh t c nhng hnh vi thng minh v mm do m khng c tri thc v th gii xung quanh v kh nng suy din vi tri thc . S dng tri thc v suy din em li nhng li ch sau. H thng da trn tri thc c tnh mm do cao. Vic kt hp tri thc v suy din cho php to ra tri thc khc, gip h thng t c nhng mc tiu khc nhau, ng thi c kh nng suy din v bn thn mc tiu. Chng trc cp ti k thut gii quyt vn bng cch tm kim. Nhng h thng tm kim ch s dng tri thc hn ch, th hin trong vic biu din bi ton v cc heuristic. H thng nh vy khng c kh nng t thay i mc ch cng nh khng c kh nng hnh ng mt cch mm do, ngoi nhng g cha trong gii thut v m t bi ton. V vy k thut tm kim l cha to ra h thng thng minh. S dng tri thc v suy din cho php h thng hot ng c trong trng hp thng tin quan st v mi trng l khng y . H thng c th kt hp tri thc chung c b sung cho thng tin quan st c khi cn ra quyt nh. V d, khi giao tip bng ngn ng t nhin, c th hiu mt cu ngn gn nh s dng tri thc c v ng cnh giao tip v ni dung lin quan ti ch . Vic s dng tri thc thun li cho vic xy dng h thng. Thay v lp trnh li hon ton h thng, c th thay i tri thc trang b cho h thng v m t mc ch cn t c, ng thi gi nguyn th tc suy din.
Biu din tri thc c th s dng tri thc, tri thc cn c biu din di dng thun tin cho vic m t v suy din. Nhiu ngn ng v m hnh biu din tri thc c thit k phc v mc ch ny. Ngn ng biu din tri thc phi l ngn ng hnh thc trnh tnh trng nhp nhng nh thng gp trong ngn ng t nhin. Mt ngn ng biu din tri thc tt phi c nhng tnh cht sau: Ngn ng phi c kh nng biu din tt, tc l cho php biu din mi tri thc cn thit cho bi ton. Cn n gin v hiu qu, tc l cho php biu din ngn gn tri thc, ng thi cho php i n kt lun vi khi lng tnh ton thp. Gn vi ngn ng t nhin thun li cho ngi s dng trong vic m t tri thc.
Biu din tri thc v suy din logic
Sau khi c ngn ng biu din tri thc, tri thc v th gii ca bi ton c biu din di dng tp hp cc cu v to thnh c s tri thc (k hiu KB trong cc phn sau). Th tc suy din c s dng to ra nhng cu mi nhm tr li cho cc vn ca bi ton. Thay v trc tip hnh ng trong th gii thc ca bi ton, h thng c th suy din da trn c s tri thc c to ra. Logic Trong chng ny, ta s xem xt l gic vi vai tr l phng tin biu din tri thc v suy din. Dng biu din tri thc c in nht trong my tnh l logic, vi hai dng ph bin l logic mnh v logic v t. Logic l mt ngn ng biu din tri thc trong cc cu nhn hai gi tr ng (True) hoc sai (False)1 c xc nh bi 3 thnh phn sau: C php bao gm cc k hiu v cc quy tc lin kt cc k hiu to thnh cu hay biu thc logic. Mt v d c php l cc k hiu v quy tc xy dng biu thc trong s hc v i s. Ng ngha ca ngn ng cho php ta xc nh ngha ca cc cu trong mt min no ca th gii hin thc, xc nh cc s kin hoc s vt phn nh th gii thc ca cu mnh . i vi logic, ng ngha cho php xc nh cu l ng hay sai trong th gii ca bi ton ang xt. Th tc suy din l phng php cho php sinh ra cc cu mi t cc cu c hoc kim tra liu cc cu c phi l h qu logic ca nhau. Logic cung cp cho cc nh nghin cu mt cng c hnh thc biu din v suy lun tri thc. Cc bi sau s trnh by v hai dng logic mnh v logic v t trong biu din tri thc. 3.2. LOGIC MNH 3.2.1. C php Logic mnh l logic rt n gin, tuy kh nng biu din ca n cn mt s hn ch nhng thun tin cho ta a vo nhiu khi nim quan trng trong logic. C php ca logic mnh bao gm tp cc k hiu v tp cc quy tc kt hp cc k hiu to thnh cng thc. a) Cc k hiu Cc k hiu c dng trong logic mnh bao gm: o Cc k hiu chn l: True (k hiu T) v False (k hiu F). o Cc k hiu mnh (cn c gi l cc bin mnh v thng c k hiu bng cc ch ci): P, Q,...
1
M t s h th ng logic c pht tri n v sau s d ng nhi u gi tr hn nh logic a tr , logic m
37
o Cc kt ni logic , , , , . o Cc du ngoc. b) Cc cu hay cng thc Mi k hiu chn l v k hiu mnh l cu. V d: True, P Thm ngoc ra ngoi mt cu s c mt cu. Kt hp cc cu bng php ni logic s to ra cu mi. C th l: Nu A v B l cu th: (AB) (c A hi B hoc A v B) (AB) (c A tuyn B hoc A hoc B) ( A) (c ph nh A) (AB) (c A ko theo B hoc nu A th B). Php ko theo cn c gi l quy tc nu th (AB) (c A v B ko theo nhau) l cc cu. cho ngn gn cc cng thc c b i cc cp du ngoc khng cn thit. Chng hn, thay cho ((AB)C) ta s vit l (AB)C. Trong trng hp mt cu cha nhiu php ni, cc php ni s c thc hin theo th t sau:
, , , ,
Cc cu l cc k hiu mnh s c gi l cc cu n hoc cu nguyn t. Cc cu khng phi l cu n c gi l cu phc hp. Nu P l k hiu mnh th P v P c gi l literal, P l literal dng, cn P l literal m. Cu phc hp c dng A1...Am trong Ai l cc literal s c gi l cu tuyn (clause). 3.2.2. Ng ngha Ng ngha ca logic mnh cho php xc nh mt cu (cng thc) logic l ng hay sai trong th gii ca bi ton ang xt, tc l cch din gii ca cc k hiu mnh , k hiu chn l v php ni logic trong th gii . Trong logic mnh , ngi s dng xc nh gi tr ng hay sai cho k hiu mnh . Mi k hiu mnh c th tng ng vi mt pht biu (mnh ), v d k hiu mnh A c th tng ng vi pht biu: H Ni l th ca Vit Nam hoc bt k mt pht biu no khc. Mt pht biu ch c th ng (True) hoc sai (False). Chng hn, pht biu H Ni l th ca Vit Nam l ng cn pht biu Ln l gia cm l sai.
38
Mt minh ha l mt cch gn cho mi bin mnh mt gi tr chn l True hoc False. Nu bin mnh A c gn gi tr chn l True/False (A <-True/ A <-False) th ta ni mnh A ng/sai trong minh ha . Trong mt minh ha, ngha ca cc cu phc hp c xc nh bi ngha ca cc kt ni logic. Php ni logic cho php quy gi tr cu phc v gi tr cc cu n gin hn. ngha cc kt ni logic c cho bi bng chn l, trong lit k gi tr ca cu phc cho tt c t hp gi tr cc thnh phn ca cu. Bng chn l cho nm kt ni logic c cho trong bng sau: Bng 3.1. Bng chn l ca cc kt ni logic A False False True True B False True False True
A
True True False False
AB False False False True
AvB False True True True
A=>B True True False True
A<=>B True False False True
S dng bng chn l, ta c th tnh c gi tr bt c cu phc no bng cch thc hin quy nhng kt ni thnh phn. Cc cng thc tng ng Cc php bin i tng ng gip a cc cng thc v dng thun li cho vic lp lun v suy din. Hai cng thc A v B c xem l tng ng nu chng c cng mt gi tr chn l trong mi minh ha. K hiu: ch A tng ng vi B ta vit A B. Bng phng php bng chn l, d dng chng minh c s tng ng ca cc cng thc sau y : o A=>B A B o A<=> B (A=>B) (B=>A) o ( A)
Lut De Morgan o (A B) A B o (A B) A B Lut giao hon o AvB BvA 39
o AB BA Lut kt hp o (A B) C A ( B C) o (A B) C A ( B C)
Lut phn phi o A (B C) (A B ) (A C) o A (B C) (A v B ) (A C)
3.3. SUY DIN VI LOGIC MNH 3.3.1. Suy din logic Mt cng thc H c xem l h qu logic ca mt tp cng thc G ={G1,.....,Gm} nu trong bt k minh ha no m {G1,.....,Gm} ng th H cng ng. Khi c mt c s tri thc di dng tp hp cc cu logic, ta mun s dng cc tri thc trong c s ny suy ra tri thc mi m n l h qu logic ca cc cng thc trong c s tri thc. iu c thc hin bng cc thc hin suy din. Suy din hay suy l thng dng ch qu trnh cho php rt ra kt lun. thc hin suy din ta s dng lut suy din. Mt lut suy din gm hai phn : mt tp cc iu kin v mt kt lun. nh ngha.
Th tc suy din c gi l ng n (sound) nu kt qu suy din l h qu logic ca iu kin. Th tc suy din c gi l y (complete) nu cho php tm ra mi h qu logic ca iu kin.
Ta s s dng nhng k hiu sau: KB: k hiu tp cc cu c hay c s tri thc (Knowledge Base) KB : Khi cc cu trong KB l ng (True) th l ng (True), hay l h qu logic ca KB. 3.3.2. Suy din s dng bng chn l Bng cch s dng bng chn l ta c th xc nh c mt cng thc c phi l h qu logic ca cc cng thc trong c s tri thc hay khng. V d: cho KB: A C , B C v = A B kim tra c phi h qu logic ca KB khng, ta xy dng bng sau (bng 3.2):
40
Kt qu xy dng bng cho thy, l h qu logic ca KB, hay ni cch khc t KB suy ra c . Bng 3.2. Bng chn l A T T T T F F F F B T T F F T T F F C T F T F T F T F AC T T T T T F T F B C T T F T T T F T (A C) (B C) T T F T T F F F AB T T T T T T F F KB
Suy din vi logic mnh s dng bng chn l l th tc suy din y v ng n. Tnh ng n l hin nhin do bng chn l s dng ng ng ngha c quy nh vi kt ni logic. Tnh y l do s lng cc t hp gi tr i vi logic mnh l hu hn v do vy c th lit k y trng hp KB c gi tr ng. Tuy nhin, cn lu rng, mt cng thc cha n bin mnh , th s cc minh ha ca n l 2 , tc l bng chn l c 2n dng. Nh vy vic kim tra mt cng thc c phi l mt h qu lgic hay khng bng phng php bng chn l c phc tp tnh ton ln do i hi thi gian theo hm m. Cook (1971) chng minh rng, phng php chng minh thut suy din l vn NP-y .
n
3.3.3.
S dng cc quy tc suy din
Do vic suy din s dng bng nh trn c phc tp ln nn cn c nhng thut ton suy din hiu qu hn cho logic mnh . Cc th tc suy din u da trn mt s khi nim nh cng thc tng c v cc quy tc suy din. Sau y l mt s lut suy din quan trng trong logic mnh . Trong cc lut ny , i , , l cc cu. Phn tin hay phn iu kin c vit di dng t s, phn h qu c vit di dng mu s. 1. Lut Modus Ponens
=>,
41
T mt ko theo v gi thit ca ko theo, ta suy ra kt lun ca n. 2. Lut Modus Tollens
=>,
T mt ko theo v ph nh kt lun ca n, ta suy ra ph nh gi thit ca ko theo. 3.Lut loi tr v
1.......i........m i
T mt cng thc v ta a ra mt nhn t bt k ca cng thc . 4. Lut nhp v
1,.......,i,........m 1.......i........m
T mt danh sch cc cng thc, ta suy ra php v ca chng. 5. Lut nhp hoc
i 1v.......vi.v.......vm
T mt cng thc, ta suy ra mt php hoc m mt trong cc hng t ca php hoc l cng thc . 6. Lut loi tr ph nh kp
( )
Php ph nh ca ph nh mt cng thc, ta suy ra chnh cng thc . 7. Lut bc cu
=>, => =>

T hai ko theo, m kt lun ca n l ca ko theo th nht trng vi gi thit ca ko theo th hai, ta suy ra ko theo mi m gi thit ca n l gi thit ca ko theo th nht, cn kt lun ca n l kt lun ca ko theo th hai. 8. Php gii n v
v ,
42
T mt php hoc, mt hng t i lp vi mt hng t trong tuyn kia, ta suy ra hng t cn li. 9. Php gii
v , v v
T hai php hoc, mt php hoc cha mt hng t i lp vi mt hng t trong php hoc kia, ta suy ra php hoc ca cc hng t cn li. Mt lut suy din c xem l tin cy nu bt k mt m hnh no ca gi thit ca lut cng l m hnh kt lun ca lut. Chng ta ch quan tm n cc lut suy din tin cy. Vi cc quy tc suy din va trnh by, vic suy din trn logic mnh c thc hin nh mt s th tc nht nh, trong thng dng nht l suy din bng php gii (resolution) v phn chng (refutation). Tuy nhin trong phn ny chng ta khng i su vo cc th tc ny m s xem xt cc th tc chng minh trong phn trnh by v logic v t. Bi tp 1. KB = (A v B) ( C v D v E ) Cc cu no sau y sinh ra t KB? 1- A v B 2- (A v B v C) ( (B C D) => E ) 1. Cho KB: Red Blue => Silver Pink => Tan Silver
Pink v Blue
Tan Orange
Pink
Pink => Red Suy ra: a- Orange b- Silver Red c- Silver White
(Violet White)
Blue => Orange
43
3.4. LOGIC V T (LOGIC BC 1) Trong phn trc ta xem xt logic mnh v cch s dng logic mnh biu din tri thc. Bn cnh u im l n gin, logic mnh c mt nhc im ln l kh nng biu din hn ch, khng th s dng biu din tri thc mt cch ngn gn cho nhng bi ton c phc tp ln. C th l logic mnh thut li cho biu din s kin, s kin n gin c biu din bng cu nguyn t, s kin phc tp c biu din bng cch s dng kt ni logic kt hp cu nguyn t. Logic mnh khng cho php biu din mt cch ngn gn mi trng vi nhiu i tng. Chng hn th hin nhn xt sinh vin trong lp no chm hc ta phi s dng cc cu ring r th hin tng sinh vin c th trong lp chm hc. Trong phn ny ta s xem xt logic v t - mt h thng logic c kh nng th biu din mnh hn, ng thi xem xt chi tit th tc suy din vi logic v t. 3.4.1. c im c im quan trng nht ca logic v t cho php biu din th gii xung quanh di dng cc i tng, tnh cht i tng, v quan h gia cc i tng . Vic s dng i tng l rt t nhin trong th gii thc v trong ngn ng t nhin, vi danh t biu din i tng, tnh t biu din tnh cht v ng t biu din quan h gia cc i tng. C th k ra rt nhiu v d v i tng, tnh cht v quan h: o i tng : mt ci bn, mt ci nh, mt ci cy, mt con ngi, mt sinh vin, mt con s. ... o Tnh cht : Ci bn c th c tnh cht : c bn chn, lm bng g, khng c ngn ko, sinh vin c th c tnh cht l thng minh, cao, gy o Quan h : cha con, anh em, b bn (gia con ngi ); ln hn nh hn, bng nhau ( gia cc con s ) ; bn trong, bn ngoi nm trn nm di (gia cc vt )... o Hm : Mt trng hp ring ca quan h l quan h hm, trong vi mi u vo ta c mt gi tr hm duy nht.. V d: tay tri ca ai , b ca ai , bi s chung nh nht ca hai s. Logic v t c c php v ng ngha c xy dng da trn khi nim i tng. H thng logic ny ng vai tr quan trng trong vic biu din tri thc do c kh nng biu din phong ph v t nhin, ng thi l c s cho nhiu h thng logic khc. 3.4.2. C php v ng ngha Trong phn ny ta s xem xt c php, tc l quy tc to ra nhng cu hay biu thc logic, ca logic v t cng vi ng ngha ca nhng cu trc . Cc k hiu v ngha Logic v t s dng nhng dng k hiu sau. o Cc k hiu hng: Nam, 3, Vnh H long, o Cc k hiu bin: x, y, z,... 44
o Cc k hiu v t: Thch (Nam, Bc), Lm_t_g (t), Anh_em (An, Ba, t) K hiu v t th hin quan h gia cc i tng. Mi v t c th c n tham s ( n0). V d Thch l v t ca hai tham s, Lm_t_g l v t mt tham s. Cc k hiu v t khng tham s l cc k hiu mnh . o Cc k hiu hm: M_ca(An), min(3,4,9),... K hiu hm th hin quan h hm. Mi hm c th c n tham s ( n1). o Cc k hiu kt ni logic: ( hi), (tuyn), ( ph nh), (ko theo), ( tng ng ). o Cc k hiu lng t: ( vi mi), ( tn ti). o Cc k hiu ngn cch: du phy, du m ngoc v du ng ngoc. Tng t nh vi logic mnh , ng ngha cho php lin kt biu thc logic vi th gii ca bi ton xc nh tnh ng hoc sai ca biu thc. Mt lin kt c th nh vy c gi l mt minh ha. Minh ha xc nh c th i tng, quan h v hm m cc k hiu hng, v t, v k hiu hm th hin. xc nh mt minh ho, trc ht ta cn xc nh mt min i tng (n bao gm tt c cc i tng trong th gii hin thc m ta quan tm). Cng c th xc nh min i tng cho tng tham s ca mt v t hoc mt hm no . V d trong v t Thch(x,y), min ca x l tt c mi ngi, min ca y l cc loi ng vt. S i tng c th l v hn, chng hn trong trng hp min i tng l ton b s thc. Vic la chn tn cho hng, bin, v t, v hm hon ton do ngi dng quyt nh. C th c nhiu minh ha khc nhau cho cng mt th gii thc. Vic suy din, tnh ng n ca biu thc c xc nh da trn ton b minh ha. Hng thc (term) Hng thc (term) l biu thc logic c kt qu l i tng. Hng thc c xc nh quy nh sau. o Cc k hiu hng v cc k hiu bin l hng thc. o Nu t1, t2, t3, ..., tn l n hng thc v f l mt k hiu hm n tham s th f(t1, t2, ..., tn) l hng thc. Mt hng thc khng cha bin c gi l mt hng thc c th (ground term). Chng hn, An l k hiu hng, M_ca l k hiu hm, th M_ca(An) l mt hng thc c th. Ng ngha ca hng thc nh sau: cc hng, bin, tham s tng ng vi i tng trong min i tng; k hiu hm tng ng vi quan h hm trong th gii thc; hng thc tng ng vi i tng l gi tr ca hm khi nhn tham s. K hiu = Hai hng thc bng nhau v c k hiu = nu cng tng ng vi mt i tng. 45
V d: M_ca(Vua_T_c) = B_T_D Tnh ng n ca quan h bng c xc nh bng cch kim tra hai v ca k t =. Cu nguyn t Cc cu nguyn t, cn gi l cu n, c xc nh nh sau: o V t c tham s l hng thc l cu nguyn t. o Hng thc 1 = hng thc 2 l cu nguyn t. V d : Yu ( Hoa, M_ca( Hoa)) M_ca(Vua_T_c) = B_T_D Cu nguyn t nhn gi tr ng (true) trong mt minh ha no nu quan h c biu din bi k hiu v t l ng i vi cc i tng c biu din bi cc hng thc ng vai tr thng s. Nh vy, cu nguyn t th hin nhng s kin (n gin) trong th gii ca bi ton. Cu T cc cu nguyn t, s dng cc kt ni logic v cc lng t, ta xy dng nn cc cu. Cu c nh ngha quy nh sau: o Cu nguyn t l cu. o Nu G v H l cc cu nguyn t, th cc biu thc (G H), (G H), ( G), (GH), (GH) l cu o Nu G l mt cu nguyn t v x l bin th cc biu thc ( x G), ( x G) l cu Cc cu khng phi l cu nguyn t s c gi l cc cu phc hp. Cc cu khng cha bin c gi l cu c th. Khi vit cc cng thc ta s b i cc du ngoc khng cn thit, chng hn cc du ngoc ngoi cng. Ng ngha ca cu phc hp c xc nh bng ng ngha cc cu n v cc php ni tng t trong logic mnh . Cc lng t Logic mnh s dng hai lng t: vi mi v tn ti. Lng t vi mi ( ) cho php m t tnh cht ca c mt lp cc i tng, ch khng phi ca mt i tng, m khng cn phi lit k ra tt c cc i tng trong lp. V d ta s dng v t Elephant(x) (i tng x l con voi ) v v t Color(x, Gray) (i tng x c mu xm) th cu tt c cc con voi u c mu xm c th biu din bi cng thc x (Elephant(x) Color(x, Gray)). Nh vy cu x P c ngha l cu P ng vi mi i tng x thuc min gi tr c quy nh ca th gii bi ton. Lng t vi mi c th coi nh hi ca nhiu cu.
Lu : lng t vi mi c dng vi ko theo ch khng dng vi v. Chng hn, ni rng mi sinh vin u chm hc th cu
46
x Sinh_vin(x) Chm_hc(x) l ng
trong khi
x Sinh_vin(x) Chm_hc(x) l sai do cu ny s c ngha tt c mi ngi u l

sinh vin v u chm hc. Lng t tn ti ( ) cho php ta to ra cc cu ni n mt i tng no trong mt lp i tng m n c mt tnh cht hoc tho mn mt quan h no . V d ta s dng cc cu nguyn t Student(x) (x l sinh vin) v Inside(x, P308), (x trong phng 308), ta c th biu din cu C mt sinh vin phng 308 bi biu thc x (Student(x) Inside(x,P301). Ng ngha ca cng thc x P c xc nh nh l ng ngha ca cng thc l tuyn ca tt c cc cng thc nhn c t P bng cch thay x bi mt i tng trong min i tng.
Lu : Lng t tn ti c dng vi v ch khng dng vi ko theo. Chng hn ni rng c mt s sinh vin chm hc th cu:
x Sinh_vin(x) Chm_hc(x) l ng
trong khi
x Sinh_vin(x) Chm_hc(x)
l sai. Tht vy, do php ko theo ng khi tin l sai nn cu trn ng khi c mt ngi x no khng phi l sinh vin, trong khi y khng phi l m ta mun khng nh.
Quan h gia lng t vi mi v lng t tn ti: lng t ny c th biu din bng lng t kia bng cch s dng php ph nh. V d:
x Thch (x, Kem) tng ng vi x Thch(x, Kem)
y Thch (x, Kem) tng ng vi x Thch (x, Kem)

Cc lng t lng nhau C th s dng ng thi nhiu lng t trong mt cu phc tp. Vng nh hng ca lng t c th bao hm lng t khc v khi ta ni lng t lng nhau. V d:
xy Anh_em(x, y) H_hng(x, y) x y Yu (x, y)

Nhiu lng t cng loi c th c vit gn bng mt k hiu lng t, v d cu th nht c th vit gn thnh
x, y Anh_em(x, y) H_hng(x, y)
Trong trng hp lng t vi mi c s dng cng lng t tn ti th th t lng t nh hng ti ng ngha ca cu v khng c php thay i. Chng hn cu
x y Yu (x, y)
c ngha l mi ngi u c ai y yu, trong khi cu 47
y x Yu (x, y)
c ngha l c ai m tt c u yu. Trong trng hp nhiu lng t khc nhau cng s dng mt tn bin th c th gy nhm ln v vy cn s dng tn bin khc nhau cho k hiu lng t khc nhau. Mt cu l cu nguyn t hoc l ph nh ca cu nguyn t c gi l literal. Chng hn, Play(x, Football), Like( Lan, Rose) l cc literal. Mt cng thc l tuyn ca cc literal s c gi l cu tuyn. Chng hn, Male(x) Like(x, Foodball) l cu tuyn. Cc cng thc tng ng Cng nh trong logic mnh , ta ni hai cng thc G v H tng ng ( vit l G H ) nu chng cng ng hoc cng sai trong mt minh ho. Ngoi cc tng ng bit trong logic mnh , trong logic v t cp mt cn c cc tng ng khc lin quan ti cc lng t. Sau y l cc tng ng ca logic v t
x G(x) y G(y) x G(x) y G(y)

t tn li bin i sau lng t tn ti, ta nhn c cng thc tng ng .
(x G(x)) x ( G(x)) ( x G(x)) x ( G(x))

3. x (G(x) H(x)) x G(x) x H(x)
x (G(x) H(x)) x G(x) x H(x)

V d : x Love(x, mother(x)) y Love(y, mother(y)). Bi tp 1. Vit cc cu sau di dng logic v t: 1 - Mi nh nng thch mt tri 2 - Lc no cng c ngi b la 3 - Nm c mu l nm c 4 - An khng cao 5 - Ch c 2 sinh vin con nh giu hc lp D07 6 - Trn tri c mun vn v sao
48
3.5. SUY DIN VI LOGIC V T 3.5.1. Quy tc suy din Mi quy tc suy din cho logic mnh cng ng vi logic v t. Ngoi ra, logic v t cn c thm mt s quy tc suy din khc, ch yu c dng vi cu c cha lng t, cho php bin i nhng cu ny thnh cu khng c lng t. Php th (substitution) Trc khi i xem xt quy tc suy din, ta nh ngha khi nim php th, cn thit cho nhng cu c cha bin. K hiu l SUBST( , ) Php th gi tr vo cu V d: SUBST ({x/Nam, y/An} Thch(x,y)) = Thch(Nam, An) Php loi tr vi mi (universal elimination)
x
V d:
{x/Nam} Thch (Nam, Kem)
SUBST( {x/g}, )
Thch(x, Kem)
Loi tr tn ti (existential elimination)
x
V d:
k l k hiu hng cha xut hin trong KB
SUBST( {x/k}, )
Hc_gii(x)
{x/Nam)
Hc_gii (Nam)
k c gi l hng Skolem v ta c th t tn cho hng ny. Yu cu vi hng Skolem l hm ny cha c php xut hin trong c s tri thc trc . Nhp tn ti (existential introduction) Vi cu , bin x khng thuc cu v hng thc c s g thuc cu Ta c:
SUBST( {g/x}, ) {Nam/x}
Thch(Nam, Kem)
Thch (x, Kem)
49
V d suy din: Bob l tru Pat l ln Tru to hn ln Bob to hn Pat ? Nhp v, (1) (2) Loi tr vi mi, (3) Modus Ponens, (4) (5) tru (Bob) (1) ln (Pat) (2)
x, y
tru (x) ln (y) => to_hn (x,y) (3)
to_hn (Bob, Pat) ? tru (Bob) ln(Pat) (4) tru(Bob) ln (Pat) => to_hn (Bob,Pat) (5) to_hn (Bob, Pat)
1, 2, 3
1, 2, 3, 4
1, 2, 3, 4, 5
Suy din t ng trn logic v t kh hn rt nhiu so vi logic mnh do cc bin c th nhn v s cc gi tr khc nhau. Ta cng khng th s dng bng chn l do kch thc ca bng c th l v hn. Php hp nht (Unification) Hp nht l th tc xc nh php th cn thit lm cho 2 cu ging nhau v c k hiu nh sau: UNIFY (p,q) = () SUBST(,p) = SUBST (,q) c gi l hp t (phn t hp nht) V d: p Bit (Nam, x) q Bit (Nam, Bc) {x/Bc} 50
Bit (Nam, x) Bit (Nam, x)
Bit (y, M (y)) Bit (y, z)
{y/Nam, x/ M (Nam)} {y/Nam, x/z} {y/Nam, x/Nam, z/Nam}
Trong trng hp c nhiu hp t th ta s dng hp t tng qut nht tc l hp t s dng t php th cho bin nht MGU: most general unifier Php hp nht c th thc hin t ng bng thut ton c phc tp t l tuyn tnh vi s lng bin Modus Ponent tng qut (GMP) Gi s ta c cc cu c s, pi, pi, q v tn ti php th sao cho UNIFY (pi, pi) = vi mi i Khi ta c: p1 , p2 , p3 , pn , (p1 p2 pn=>q) SUBST(, q) Th tc suy din vi GMP l khng y vi logic v t ni chung. Suy din bng GMP l y trong trng hp KB ch cha cc cu horn (horn clause) l cc cu nguyn t, hoc l cc php ko theo c v tri l tuyn ca cc cu c s , v phi l cu nguyn t 3.5.2. Suy din tin v suy din li S dng quy tc Modus Ponens tng qut cho php xy dng thut ton suy din t ng, c th l phng php suy din tin v suy din li. Suy din tin (forward chaining) Th tc suy din tin c thc hin nh sau: Khi cu p mi c thm vo KB: vi mi quy tc q m p hp nht c vi mt phn v tri: Nu cc phn cn li ca v tri c th thm v phi vo KB v suy din tip Hnh 3.2. Th tc suy din tin V d: KB gm 51
1. Mo thch c 2. Mo n g n thch 3. C con mo tn l Tom Tom c n c khng? Gii: 1. 2.
mo(x) => thch(x, c) mo(x) thch (x,y) => n(x,y)
x, y
3. mo (Tom) Q: n (Tom, c) ? 4. GMP (1) (3) => thch (Tom, c) 5. GMP (4) (3) (2) => n(Tom, c) Suy din li (Backward chaining) Vi cu hi q, nu tn ti q hp nht vi q th tr v hp t Vi mi quy tc c v phi q hp nht vi q c gng chng minh cc phn t v tri bng suy din li Hnh 3.3. Th tc suy din li Chng minh v d trc bng suy din li: n(Tom, c)
2 { x/Tom, y/c }
mo(Tom) thch(Tom, c)
{ }
1 { x/Tom}
mo(Tom)
Hnh 3.4. Cy suy din cho trng hp suy din li 52
Bi tp 1. Ta c: 1 - tru (x) ln (y) => to_hn(x, y) 2 - ln (y) chut (z) => to_hn(y, z) 3 - to_hn(x, y) to_hn (y, z) => to_hn(x, z) 4 - tru (Bob) 5 - ln (Pat) 6 - chut (Jerry) Thc hin suy din tin ra cc cu c th 2. Ta c cc cu sau: 1- Pig (y) Slug (z) => Faster(y, z) 2- Slim (z) Creeps (z) => Slug(z) 3- Pig (Pat) 4- Slim (Steve) 5- Creeps (Steve) Faster(Pat, Steve)?
3. Tm MGU cho cc cp cu sau: a. P (A, B, B) , P (x, y, z) b. Q (y, G(A, B)) , Q (G (x, x), y) c. Older (Father (y), y) , Older(Father (x), John) d. Knows (Father(y), y), Knows (x, x) 4. Biu din cc cu sau di dng logic v t ph hp vi vic s dng Modus Ponens tng qut 1. Nga, B, Ln l ng vt 2. Con ca nga l nga 3. Nga tn l Xch Th 4. Xch Th l b ca con Chiu D 5. Quan h cha con l quan h nghch o 6. Tt c ng vt u c b 5. S dng suy din li chng minh con Chiu D l con nga 6. Cho bit: Ti khng c anh ch em 53
B ca ngi l con trai ti ca b ti Hi: Ngi l ai? 3.5.3. Suy din s dng php gii Php gii cho logic v t Ta c php gii cho logic mnh
=>
i vi logic v t, php gii nh sau: Cho cu: P1 P2 ... Pn V cu: Q1 Q2 ... Qm Trong Pi , Qi l literal (Literal l cc v t hoc cc v t c du ph nh ng trc ) Nu Pi v Qk c th hp nht bi hp t th ta c php gii: P1 P2 ... Pn , Q1 Q2 ... Qm SUBST ( ,P1 Pj-1 Pj+1 ... Pn Q1 Qk-1 Qk+1 ... Qn ) V d: 1. Giu (x) Gii (x), Gii (Bc) p trai (Bc) Giu (Bc ) p trai (Bc) 2. Cho cc cu P (x, f(a)) P(x, f(y)) Q (y) v P(z, f (a)) Q(z) Suy ra P (z, f(y)) Q (y) Q(z)
{x/z}
P (x, f(a)) P (x, f(z)) P (z, f(a)) {y/z} Dng Conjunctive Normal Form (CNF) v Clause Form Cc cng thc tng ng c th xem nh cc biu din khc nhau ca cng mt s kin. d dng vit cc chng trnh my tnh thao tc trn cc cng thc, chng ta s chun ha cc cng thc, a chng v dng biu din chun. Ngi ta nh ngha mi clause l tuyn ca literal, c dng A1 A2 ... . Am trong cc Ai l literal. Mt dng chun c gi l Conjunctive Normal Form (CNF - dng chun hi), l cu bao gm hi ca php tuyn ca cc literal hoc l hi ca clause. 54
Chng ta c th bin i mt cng thc bt k v cng thc dng CNF bng cch p dng mt s bc th tc nht nh s c trnh by phn sau. Suy din s dng php gii v phn chng (Resolution Refutation) Nu KB l tp hu hn cc cu th cc literal c mt trong cc cu ca KB cng l hu hn. Do s cc clause thnh lp c t cc literal l hu hn. V vy ch c mt s hu hn cu c sinh ra bng lut gii. Php gii s dng li sau mt s hu hn bc. S dng php gii ta c th chng minh c mt cu c l tp con ca mt KB cho hay khng bng phng php chng minh phn chng. KB: Q? Thm Q vo KB, sau chng minh tn ti mt tp con ca KB mi c gi tr False (KB Q) <=> (KB Q False) Ni cch khc: phng php chng minh to c s tri thc mi bao gm KB v Q, sau dng php gii chng minh t c s tri thc mi suy ra False. Thut ton: KB = UNION (KB, Q) While ( KB khng cha False ) do Chn 2 cu S1, S2 t KB sao cho c th p dng php gii cho 2 cu ny Nu khng c hai cu nh vy Return False Thm kt qu php gii vo KB Return Success Hnh 3.5. Suy din bng php gii v phn chng V tnh y ca suy din s dng php gii Suy din s dng php gii l phn chng y , tc l nu mt tp hp cc cu l khng tha c trong mt minh ha no th th tc suy din s dng php gii lun cho php tm ra mu thun. Nh vy, php gii cho php xc nh mt cu c qu l h qu logic ca mt tp cc cu khc khng. Tuy nhin, php gii khng cho php sinh ra tt c cc cu l h qu logic ca mt tp cu cho trc. V d: KB:
A B P C D P E C A
E
(1) (2) (3) (4) (5) 55
D Ta cn chng minh KB: P.
(6)
Cc bc chng minh s nh sau: Thm vo KB cu sau:
P CvD C E
. Kt lun : T KB suy ra P
(7) (8) (9) (10)
p dng php gii cho cu (2) v (7) ta c cu: T cu (6) v (8) ta nhn c cu: T cu (3) v (9) ta nhn c cu: Cu (10) mang gi tr False. Ti y ta tm thy mt tp con ca KB mi c gi tr False
Bin i cc cu v dng CNF v Clause Form Khi biu din tri thc bi cc cu trong logic v t, KB l mt tp cc cu. s dng thut ton trn th ta thc hin chun ha cc cu trong KB chuyn v dng Clause form bng cch s dng cc bc sau: Bc 1: Bc 2: Kh tng ng Loi b ko theo kh php tng ng thay PQ bng (P=>Q)(Q=> P). loi b cc ko theo, ta ch cn thay th cng thc PQ bi cng thc tng ng P
Q
Bc 3: a cc ph nh vo gn cc v t Chuyn cc du ph nh ( ) vo st cc v t bng cch p dng lut De Morgan v thay ( A) bi A . iu ny c thc hin bng cch thay cng thc v tri bng cng thc v phi trong cc tng ng sau:
( P) P (PQ) P Q (P Q) P Q (x P) x ( P) ( x P) x ( P)
Bc 4: V d : 56 Chun ha tn bin sao cho mi lng t c bin ring
x P (x ) Q (x) x R (x ) Q (x)
x P (x ) Q (x) y R (y) Q (y)
Bc 5: Loi b cc lng t tn ti bng cch s dng hng Skolem v hm Skolem Gi s P(x,y) l cc v t c ngha rng y ln hn x trong min cc s. Khi cu x (y (P(x,y)) c ngha l vi mi s x tn ti y sao cho y ln hn. Ta c th xem y trong cu l hm ca i s x, chng hn f(x) v loi b lng t y, cu ang xt tr thnh x (P(x,f(x)). Mt cch tng qut, gi s y (G) l mt cu con ca cu ang xt v nm trong min tc dng ca lng t x1,......,xn. Khi ta c th xem y l hm ca n bin x1,......, xn, chng hn f(x1,......, xn). Sau ta thay cc xut hin ca y trong cu G bi hng thc f(x1,......, xn) v loi b cc lng t tn ti. Cc hm f c a vo loi b cc lng t tn ti c gi l hm Skolem. V d: Xt cu sau:
x (y (P(x,y) u (b (Q(a,b) t R(x,t)))
(1)
Cu con y P(x,y) nm trong min tc dng ca lng t x, ta xem y l hm ca x: F(x). Cc cu con b (Q(a,b) v tR(x,y) nm trong min tc dng ca cc lng t x, u nn ta xem b l hm g(x,u) v t l hm h(x,u) ca 2 bin x,u. Thay cc xut hin ca y v b, t bi cc hm tng ng, sau loi b cc lng t tn ti, t cu (1) ta nhn c cu :
x ( (P(x,f(x)) u (Q(a,g(x,u)) R(x,h(x,u))))

Khi lng t tn ti nm trong lng t vi mi th ta dng hm skolem, cn trong trng hp khc ta s dng hng skolem. Bc 6: Loi b cc lng t vi mi () loi b lng t vi mi (), ta a cc lng t vi mi () sang tri sau b lng t vi mi (). V d: x ( P (x,y) Q (x) ) => P (x,y) Q (x)
Bc 7: Sp xp cc php v, hoc c dng CNF .V d: (P Q) R ( P R ) ( Q R ) (PQ)R PQ R Bc 8: Loi b cc php v Ta thc hin loi b cc php v to thnh cc clause ring V d : 57
(PRS)(Q R)
=>
P R S Q R
Bc 9 : Chun ha tn bin sao cho mi cu c bin ring ca mnh V d:
P(x) P(y) Q (f(x,y) ) P(x) Q(x, g(x) )

P(x) R(g(x)) V d: Chun ha cng thc sau:
P(x) P(y) Q (f(x,y) ) P(z) Q(z, g(z) )

P(u) R(g(u))
x ( P(x) => ( y (P(y) => P (f(x,y) )) y (Q(x,y) => P(y)) ) )

Ta s ln lt thc hin theo tng bc c th nh sau: 1. Kh tng ng 2. Loi b ko theo
x ( P(x) ( y ( P(y) P (f(x,y) )) y ( Q(x,y) P(y)) ) )

3. a ph nh vo gn cc v t
x ( P(x) ( y ( P(y) P (f(x,y) )) y ( Q(x,y) P(y)) ) ) x ( P(x) ( y ( P(y) P (f(x,y) )) y (Q(x,y) P(y)) ) )
4. Chun ha tn bin sao cho mi lng t c bin ring
x ( P(x) ( y ( P(y) P (f(x,y) )) z (Q(x,z) P(z)) ) )

5. Loi b cc lng t tn ti bng cch s dng hng Skolem v hm Skolem
x ( P(x) ( y ( P(y) P (f(x,y) )) (Q(x, g(x)) P(g(x) )) ) )

6. Loi b lng t vi mi () ( P(x) ( ( P(y) P (f(x,y) )) (Q(x, g(x) ) P(g(x))) ) ) 7. Sp xp php v v php hoc c dng CNF [ P(x) P(y) P (f(x,y) )] [ P(x) Q(x, g(x) ) ] [ P(x) P(g(x) ) ] 8. B php v to thnh cc clause ring
P(x) P(y) P (f(x,y) ) P(x) Q(x, g(x) ) P(x) P(g(x))

9.Chun ha tn bin sao cho mi cu c bin ring ca mnh 58
P(x) P(y) P (f(x,y) ) P(z) Q(z, g(z)) P(k) P(g(k))

Bi tp 1. C 3 ngi Bc, ng, Nam tham gia cu lc b. Mi thnh vin cu lc b l leo ni hoc trt tuyt Khng c ngi leo ni no thch ma Tt c nhng ngi trt tuyt thch tuyt ng ght tt c nhng g Nam thch ng thch tt c nhng g Nam ght Nam thch ma v tuyt Hi c thnh vin no ca cu lc b l ngi leo ni khng phi l ngi trt tuyt? a. Dch sang logic v t b. Chuyn dng clause form c. Dng php gii v phn chng chng minh. 2. Cho cc cu sau: 1. x Kem (x ) => Thc_n (x) 2. x Caramen(x) => Thc_n (x) 3. x, y Thc_n (x) Thc_n(y) Lnh(x) Trn (x,y) => Lnh (y) 4. x y Kem (x) Lnh (x) Caramen (y) Trn (x,y) a. Dch sang ting Vit b. Dng phn chng v php gii chng minh
x (Caramen (x) Lnh (x) )

3.5.4. H thng suy din t ng: lp trnh logic Trn thc t, vic biu din tri thc v suy din logic c thc hin bng cch s dng mt s ngn ng lp trnh c thit k c bit. K thut xy dng h thng suy din nh vy c gi l lp trnh logic (logic programming). Ngn ng lp trnh logic tiu biu l Prolog. Chng trnh trn Prolog l mt tp hp cc cu khng hon ton ging vi logic v t truyn thng, tuy nhin y l cc cu c dng Horn clause. Suy din c thc hin theo kiu suy din tin, trong cc cu c xt theo th t xut hin ca cu trong chng trnh. Ngoi ra, Prolog cng cho php chng minh bng cch ph nh cu truy vn, sau dn ti kt lun rng khng th chng minh c cu ph nh ny. 59
CHNG 4:
SUY DIN XC SUT
4.1. VN THNG TIN KHNG CHC CHN KHI SUY DIN Trong chng trc, ta xem xt cch biu din tri thc bng l gic cng nh mt s phng php suy din l gic a ra quyt nh. Mc d cc h thng l gic cho php biu din tri thc mt cch r rng v tng minh, vic s dng l gic i hi tri thc phi c cung cp mt cch y , chnh xc, khng mu thun. Nu yu cu ny khng tha mn, cc h thng suy din da trn tri thc v t hoc l gic mnh khng th s dng c. Trn thc t, cc thng tin, tri thc hay m hnh v th gii xung quanh thng khng y , khng r rng, khng chnh xc, c th mu thun vi nhau. C th lit k mt s nguyn nhn gy ra s khng r rng, khng chc chn nh di y. Do thng tin c cha ng yu t ngu nhin, yu t xc sut. V d khi chi cc tr chi lin quan ti xc sut nh chi bi, chi c nga. Do khng c hiu bit y v vn ang xt. V d khi xy dng h thng chn on bnh trong y hc, do y hc hin i cha hiu bit hon ton chnh xc v c ch bn trong ca nhiu loi bnh, vic xy dng quy tc suy din da trn kin thc nh vy s khng chc chn, khng chnh xc. Do s cc yu t lin quan n qu ln, khng th xem xt ht. V d khi chn on bnh, bc s c th phi chn on trong khi khng c y thit b lm mi loi xt nghim cn thit. Do sai s khi ta ly thng tin t mi trng. V d trong trng hp cc thit b o c th c sai s.
Nh vy, trn thc t, nhiu bi ton i hi suy din, ra quyt nh trong khi cha c y thng tin hay thng tin khng r rng, khng chc chn. Vn ny thng c gi l suy din trong iu kin khng r rng (reasoning under uncertainty) v khng th gii quyt c bng suy din l gic truyn thng. suy din trong iu kin khng r rng, nhiu cch tip cn khc nhau c nghin cu pht trin, trong phi k n: Cch tip cn da trn l gic a tr: thay v ch cho php a ra kt lun ng hoc sai nh l gic truyn thng, l gic a tr cho php s dng nhiu gi tr hn, v d gi tr khng ng khng sai. L gic m (fuzzy logic): thay v hai gi tr ng hoc sai, biu thc l gic m c th nhn gi tr ng vi mt gi tr hm thuc nm trong khong [0,1], th hin mc ng ca biu thc . L thuyt kh nng (possibility theory): cc s kin hoc cng thc c gn mt s th hin kh nng xy ra s kin . Suy din xc sut: kt qu suy din tr v xc sut mt s kin hay cng thc no l ng.
Trong chng ny, ta s xem xt phng php suy din xc sut cho trng hp suy din c yu t khng r rng.
Suy din xc sut
4.2. NGUYN TC SUY DIN XC SUT Khc vi suy din l gic, trong cc s kin, mnh , cng thc nhn gi tr ng hoc sai, trong suy din xc sut, thay v kt lun mt s kin hay cng thc ng hoc sai, ta tnh ton nim tin l s kin, cng thc l ng hay sai. Nim tin y c tnh bng xc sut, qu trnh tnh ton tun theo cc cng thc ca l thuyt xc sut. Nh vy, thay v ch s dng hai gi tr ng hoc sai, suy din xc sut cho php lm vic vi v s gi tr. C th, mi mnh hoc biu thc c gn mt s o gi tr nim tin l mnh ng. Mc o nim tin c biu din nh gi tr xc sut v l thuyt xc sut c s dng lm vic vi mc o nim tin ny. Chng hn, vi mnh A, ta s dng xc sut P(A), 0 P (A) 1, vi ngha P (A) = 1 nu A ng, P (A) = 0 nu A sai. V d: P (Cm = true) = 0.6 : ngi bnh b cm vi xc sut 60%, Cm l bin ngu nhin c th nhn 1 trong 2 gi tr {True, False} P (tri = nng ^ gi = mnh) = 0.8: ta tin rng tri nng v gi mnh vi xc sut 80%, tri l bin ngu nhin nhn cc gi tr {nng, ma, u m}, gi l bin ngu nhin nhn gi tr {mnh, yu, trung bnh}.
Bn cht xc sut s dng trong suy din Bn cht thng k: trong l thuyt xc sut truyn thng, gi tr xc sut c xc nh da trn quan st, thc nghim, thng k. V d, xc nh xc sut tri ma vo ngy l 15 ta cn quan st v thng k s ngy 1-5 tri ma trong rt nhiu nm. Vic xc nh xc sut nh vy khng phi khi no cng thc hin c. Xc sut da trn ch quan: trong suy din xc sut, khi khng th xc nh gi tr xc sut bng thng k, xc sut c th xc nh mt cch ch quan, da trn nim tin ca chuyn gia, ca ngi dng v s ng, sai ca cc s kin. V d, bc s c th cung cp gi tr xc sut v mt triu chng bnh no da trn kinh nghim v c lng, thay v da trn thng k chnh xc v c th. Thu thp v biu din thng tin cho suy din xc sut suy din xc sut cho mt vn no , cc bc sau cn c thc hin: Xc nh cc tham s lin quan ti vn , chng hn trong chn on bnh, tham s c th l au u, chn n. Mi tham s xc nh trn c biu din bng mt bin ngu nhin tng ng. Xc nh min gi tr cho cc bin ngu nhin. Thng thng, mi bin ngu nhin c th nhn mt gi tr ri rc trong min gi tr ca mnh. Vi nhng trng hp n gin, bin ch c hai gi tr ng, sai nh i vi bin chn n. Nhng bin nh vy c gi l bin bool hay bin nh phn. Trong trng hp chung, bin c th nhn nhiu gi tr hn, chng hn au u c th nhn gi tr nh, d di, khng. Xc nh xc sut ng vi s kin bin nhn gi tr no . V d, P(~ chn n) = 0.9, P(au u = d di) = 0.15. 61
Suy din xc sut
Vic suy din xc sut khi s qui v tnh xc sut cho mt hoc mt s cc bin nhn nhng gi tr no . 4.3. MT S KHI NIM V XC SUT Trc khi xem xt vn biu din tri thc v suy din xc sut, phn ny nhc li mt s kin thc v xc sut cn thit cho nhng ni dung tip theo: 4.3.1. Cc tin xc sut 0 P (A = a) 1 vi mi gi tr trong min xc nh ca bin A P (true) = 1; P (false) = 0. 2 P (A v B) = P (A) + P (B) nu A v B loi tr tng h.
Cc tnh cht: Ngoi cc tin trn, xc sut c mt s tnh cht quan trng sau - P (~A) = 1 P (A) (k hiu ~ c dng tng ng vi ) - P (A) = P (A ^ B) + P (A ^ ~B) - P (A v B) = P (A) + P (B) P (A B) - a P(A = a) = 1, trong tng ly theo cc gi tr a thuc min gi tr ca A 4.3.2. Xc sut ng thi Xc sut ng thi ca cc s kin l xc sut quan st thy ng thi xy ra cc s kin v c k hiu P(V1 = v1, V2 = v2, , Vn = vn) Vi mt bi ton xc sut, nu chng ta bit tt c phn b xc sut ng thi tc l xc sut tt c cc t hp gi tr ca cc bin lin quan th ta c th tnh c xc sut mi mnh lin quan ti bi ton ang xt. V d: Cho 3 bin nh phn (True, False): Chim, Non, Bay c. Ta c cc xc sut ng thi cho trong bng 4.1. T bng xc sut ny, ta c th tnh gi tr mi xc sut lin quan ti 3 bin ca bi ton. Sau y l v d tnh mt s xc sut: Xc sut mt vt no l chim: P(Chim = True) = 0 + 0,2 + 0,04 + 0.01 = 0,25. Xc sut chim khng bit bay: P(Chim = T, Bay = F) = 0,04 + 0,01 = 0,05.
Lu , y l tin dng cho suy din xc sut, trong trng hp tng qut, ta c P()=1, P()=0, trong l ton b khng gian ly mu.
2
62
Suy din xc sut
Bng 4.1. V d bng xc sut ng thi cho ba bin nh phn Chim T T T T F F F F Bay c T T F F T T F F Non T F T F T F T F Xc sut 0 0,2 0,04 0,01 0,01 0,01 0,23 0,5
4.3.3. Xc sut iu kin Xc sut iu kin l xc sut xy ra s kin A khi bit s kin B xy ra. Xc sut iu kin c tnh nh sau: P(A|B) =
P ( A B) P( B)
Xc sut iu kin ng vai tr quan trng trong suy din xc sut v c ngha nh sau: Khi P (A | B) = 1: B ng th chc chn suy ra A Khi P (A | B) = 0: B ng th suy ra ~A. C th xem B l bng chng hoc quan st v A l kt lun. Khi , P (A | B) l xc sut hoc nim tin A l ng khi quan st thy B.
Nh ta s thy di, qu trnh suy din l qu trnh tnh xc sut iu kin ca kt lun khi bit bng chng. C th l khi cho bit cc bng chng E1, , En, suy din xc sut c thc hin bng cch tnh xc sut iu kin P (Q | E1, , En), tc l nim tin kt lun Q ng khi c cc bng chng E1, , En. Cc tnh cht ca xc sut iu kin - Qui tc nhn P (A, B) = P (A | B) * P(B) - Qui tc chui (l m rng ca quy tc nhn) P (A, B, C, D) = P (A | B, C, D) * P (B | C, D) * P (C | D) * P (D) - Quy tc chui c iu kin P (A, B | C) = P (A | B, C) * P (B | C) - Cng P (A) = P(~B | A) = 1 P (B | A) 63
Suy din xc sut
Quy tc Bayes P (A | B) =
P( B | A) P( A) P( B)
ta s xem xt k hn quy tc Bayes trong m t phn sau.

Tnh xc sut iu kin t bng xc sut ng thi
Trong trng hp c y xc sut ng th i nh xem xt trn, ta c th th c hin suy din thng qua tnh xc sut iu kin. Sau y l m t s v d minh h a s dng bng xc sut ng thi trong phn trn vi k hiu Chim l C, Bay l B v Non l N V d 1. Gi s cc bng chng cho thy mt sinh vt bit bay, cn tnh xc sut sinh vt l chim. Ta c: P (Chim | Bay) = P (C | B) = P (C, B) / P (B) = (theo nh ngha) P(C, B, N) + P(C, B, ~N) P(C, B, N) + P(~C, B, N) + P(C, ~B, N) + P(~C, ~B, N)
= (0 + 0,2) / ( 0 + 0,04 + 0,01 +0,23) V d 2. V d ny minh ha cho vic kt hp nhiu bng ch ng. Gi s c bng chng sinh vt bit bay v khng cn non, cn tnh xc sut y khng phi l Chim. Ta c: P (~Chim | Bay, ~Non) =
P(~ C , B, ~ N ) 0,01 = = 0,048 P(C , B, ~ N ) + P(~ C , B, ~ N ) 0,01 + 0,2
Trong trng hp t ng qut, khi cho bng xc sut ng thi ca n bin V1, , Vn, ta c th tnh xc sut ca mt s bin ny khi bit gi tr m t s bin khc nh sau:
Cng thc tng qut
P (V1 = v1, Vk = vk| Vk+i = vk+i, Vn = vn) = t ng cc dng c V1 = v1, , VK = vk, Vk+i = vk+i, Vn = vn tng cc dng c Vk+i = vk+i, Vn = vn
M t cch hnh thc h n, g i cc bin cn tnh xc sut l Q, cc bin bit l E, cc bin cn li (ngoi E v Q) l Y, ta c
P(Q | E ) =
P(Q, E , Y )
Y Q ,Y
P (Q, E , Y )
Mc d cng thc trn tng i n gin nhng trn th c t, khi s lng bin tng ln, s l ng cc dng cha t hp gi tr cc bin t s v mu s c a cng thc trn s tng theo hm m, dn ti kch thc bng xc sut ng th i qu ln nn khng th s dng cho suy din xc sut c.
4.3.4. Tnh c lp xc sut
S kin A c lp v xc sut vi s kin B nu: P (A | B) = P (A)

64
Suy din xc sut
Tc l bit gi tr ca B khng cho ta thm thng tin g v B. Tng ng vi cng thc trn, khi A c lp vi B, ta c: P(A, B) = P(A) P(B) v P(B | A) = P(B) M rng cho trng hp xc sut iu kin, ta ni rng A c lp c iu kin vi B khi bit C nu: P (A | B, C) = P (A | C) hoc P (B | A,C) = P (B | C) khi ta c: P (A, B | C) = P (A | C) P(B | C) ngha: nu bit gi tr ca C th vic bit gi tr ca B khng cho ta thm thng tin v A.
4.3.5. Quy tc Bayes
Nh nhc ti trn, quy tc Bayes c dng sau: P (A | B) = P( B | A) P( A) P( B)
Quy tc Bayes ng vai tr quan tr ng trong suy din xc sut. Thng th ng, bi ton suy din i hi tnh P (A | B), tuy nhin trong nhiu trng hp, vic tnh P (B | A) c th d dng hn. Khi , quy tc Bayes cho php ta quy vic tnh P(A | B) v tnh P (B | A). V d : Gi s cn tnh xc sut mt ngi b cm khi bit ngi au u, tc l tnh P (cm | au u)
tnh xc sut ny, cn xc nh c bao nhiu ngi b au u trong m t cng ng dn c, sau m xem c bao nhiu ngi trong s ngi au u b cm. R rng vic thng k nh ng ngi au u tng i kh khn do khng phi ai au u cng thng bo cho c s y t. Ngc li, tnh P(au u | cm), ta cn m s ngi b cm sau xc nh xem trong s ny bao nhiu ngi c triu chng au u. Vic ny c thc hin tng i d dng hn, chng hn bng cch phn tch bnh n nh ng ng i b cm.
Sau y, ta xem xt m t v d s d ng quy tc Bayes cho suy din.

V d: Mt ngi lm xt nghim v mt cn bnh him gp ( k hiu HG) v nhn c kt qu dng tnh. Bit rng thit b xt nghim khng chnh xc hon ton. C th, thit b cho kt qu dng tnh i vi 98% ngi c bnh. Trong trng hp ngi khng c bnh vn c 3% kh nng xt nghim cho kt qu dng tnh. Ngoi ra, ta bit rng xc sut quan st thy bnh ny trong c ng ng l 8 phn nghn. Yu cu t ra l cn xc nh xem ngi xt nghim vi kt qu dng tnh c bnh khng.
K hiu s kin c bnh l B, xt nghim dng tnh l , nh vy kt qu m tnh s l ~. kt lun ngi khm c b bnh khng ta cn so snh xc sut P (B | ) v P (~B | ). Theo d kin cho, ta c: P(B) = 0.008 P( | B) = 0.98 P(~ B) = 0.992 P(~ | B) = 1-0.98 = 0.02 65
Suy din xc sut
P(~ | ~B) = 0.97 P( | ~B) = 0.03 S d ng quy tc Bayes, ta c: P(B | ) = P ( | B ) P ( B ) 0.98 * 0.008 0.00784 = = P ( ) P ( ) P ( )
P ( |~ B ) P(~ B) 0.03 * 0.992 0.02976 = = P ( ) P() P ( )
P(~ B | ) =
Nh v y, P(~ B | ) > P(B | ) v do ta kt lun ngi ti khm khng b bnh. S d xc sut khng bnh ln hn l do xc sut P(B), cn gi l xc sut tin nghim, ca bnh rt nh. Trong trng hp nh vy, khng nh b bnh cn phi c kh nng xt nghim vi i chnh xc rt cao. Cn lu thm rng, so snh P(~ B | ) v P(B | ) ta khng cn tnh gi tr ng c a hai xc sut ny do hai biu thc c chung mu s P(). Nu cn tnh gi tr ng ca hai xc sut , ta c th lm nh sau: do P(~ B | ) + P(B | ) = 1 nn t y: 0.00784 0.02976 + =1 P ( ) P ( ) P() = 0.00784 + 0.02976
Thay vo cc biu thc trn, ta c P(~ B | )=0.79 v P(B | ) = 0.21 Quy tc Bayes cng c th kt hp vi tnh c lp v xc sut. V d tip theo s minh h a cho vic kt hp ny.
V d: Tnh P (A| B, C), cho bit B c lp vi C nu bit A:
P(A|B, C) =
Bi tp: Cho 3 bin nh phn: gan BG, vng da VD, thiu mu TM.
a.
Gi s VD c lp vi TM Bit P(BG) = 10-17 C ngi khm b VD Bit P(VD) = 2-10 v P(VD|BG) = 2-3 Xc sut ngi khm b bnh l bao nhiu? Cho bit thm ngi b thiu mu v P(TM) = 2-6, P(TM|BG) = 2-1. Hy tnh xc sut ngi khm b bnh BG.
Gii:
a. P(BG|VD) = b. Ta cn tnh xc sut iu kin P(BG | VD, TM) =
M TM v VD c lp nn ta c: P(BG | VD, TM) = 66
Suy din xc sut
V d trn cho th y, vic s dng tnh c lp (c iu kin) gia cc bin cho php rt g n ng k qu trnh tnh ton xc sut iu kin khi th c hin suy din. 4.4. MNG BAYES Trong cc phn trc ta lm quen vi vn suy din xc sut, trong cho trc m t s bng chng E1, , En, cn tnh xc sut iu kin P (Q | E1, , En) kt lun v cu truy vn Q. Xc sut iu kin trn c th tnh c nu bit ton b xc sut ng thi ca cc bin ngu nhin. Tuy nhin, trn th c t, cc bi ton thng c s lng bin ngu nhin ln, dn ti s lng xc sut ng thi tng theo hm m. Do vy, lit k v s dng bng xc sut ng thi y suy din l khng thc t.
khc phc kh khn trn, trong phn ny ta s xem xt cch s dng mng Bayes nh mt m hnh biu din xc sut rt gn v cch th c hin suy din xc sut trn mng Bayes. 4.4.1. Khi nim mng Bayes tin cho vic trnh by khi nim mng Bayes, xt m t v d sau3.
Mt ngi i lm v v mun d on xem nh c ngi khng thng qua mt s du hiu c th quan st c. Cho bit mt s d kin sau: - Nu c nh i vng th thng bt n ngoi sn. Tuy nhin, n ngoi sn c th c c trong mt s trng hp c ngi nh, v d khi c khch n chi. - Nu c nh i vng th thng buc ch sn sau. - Tuy nhin ch c th c buc sn sau c khi c ngi nh nu nh ch b au bng. - Nu ch buc ngoi th c th nghe ting sa, tuy nhin c th nghe ting sa (ca ch hng xm) c khi ch khng buc ngoi.
thc hin suy din xc sut cho bi ton trn, trc tin cn xy dng m hnh xc sut. Ta s s d ng nm bin ngu nhin sau th hin cc d kin lin quan ti bi ton.
O: khng ai nh L: n sng D: ch ngoi B: ch b m. H: nghe th y ting sa. Vic phn tch bi ton cho thy: - Nu bit D th H khng ph thuc vo O, L, B. - Nu bit B th D c lp vi O. - O v B c lp vi nhau
y l mt v d c s dng trong bi bo Bayesian networks without tears ng trn tp ch AI Magazine nm 1991.
67
Suy din xc sut
Tip theo, ta xy dng mt th, trong m i bin ngu nhin trn c biu din bi mt nt nh trn hnh v di y (hnh 4.1). Cc nt c ni vi nhau bng nhng cung c hng sao cho hai hai nt c quan h ph thuc c n i bi mt cung v hng ca cung th hin chiu tc ng ca nt g c ti nt ch.
P(O)=0.6 P(O)=0.3
P(L|O)=0.3 P(L|~O)=0.6
P(D|O,B)=0.05 P(D|O,~B)=0.1 P(D|~O,B)=0.1 P(D|~O,~B)=0.2
P(H|D)=0.3 P(H|~D)=0.8
Hnh 4.1: Mt v d mng Bayes Sau khi c th, ta thm vo bng xc sut iu kin. Bng xc sut iu kin th hin xc sut ca bin khi bit gi tr c th c a cc bin cc nt cha m. Trong trng hp nt khng c cha m, xc sut tr thnh xc sut tin nghim. thun tin, bng xc sut iu kin c th hin ngay trn hnh v cng vi th.
th va xy dng cng vi cc bng xc sut iu kin to thnh mng Bayes cho bi ton trong v d trn. nh ngha: Mng Bayes l mt m hnh xc sut bao gm 2 phn
Phn th nht l mt th c hng khng cha chu trnh (tc l ng i c u v cu i trng nhau), trong mi nt tng ng vi mt bin ngu nhin, cc cung th hin m i quan h ph thuc gia cc bin. Phn th hai l cc bng xc sut iu kin: mi nt c m t bng xc sut iu kin cho bit xc sut cc gi tr ca bin khi bit gi tr cc nt cha m.
Cu trc c a th trong mng Bayes th hin mi quan h ph thu c hoc c lp gia cc bin ngu nhin ca bi ton. Hai nt c ni vi nhau bi mt cung khi gia hai nt c quan h trc tip vi nhau, trong gi tr nt g c nh hng ti gi tr nt ch. Nu c mt cung theo hng t nt A ti nt B th A c gi l cha (m) ca B. Lu rng trong cu trc ca mng Bayes khng cho php c chu trnh. Hn ch ny nh hng ti kh nng m hnh ha ca mng Bayes trong mt s trng hp tuy nhin cho php n gin ha vic xy dng v suy din trn mng Bayes. Bng xc sut iu kin xc nh c th nh h ng ca cc nt cha m ti gi tr nt con. y ta ch xt trng hp bin ngu nhin c th nhn gi tr ri rc v bng xc sut iu kin c cho theo t hp gi tr ca cc nt cha m. Mi dng trong bng tng ng vi mt iu kin c th, thc cht l mt t hp gi tr cc nt cha. V d, trong mng Bayes c a v d trn, dng th nht trong bng xc sut ca nt D ng vi iu kin trong O=true 68
Suy din xc sut
v B=true. Nu nt khng c cha m th bng xc sut ch gm mt dng duy nht nh trng hp vi nt O v nt B.

4.4.2. Tnh c lp xc sut trong mng Bayes
Mng Bayes th hin hai thng tin chnh. Th nht, y l biu din rt g n c a ton b xc sut ng thi. Trong v d trn ta ch cn 10 xc sut thay v 25-1 xc sut ng thi. Ty theo kch thc v c im c th c a bi ton, hiu qu c a vic rt g n s lng xc sut c th ln hn rt nhiu. Chng hn, vi mng g m 30 nt nh phn, m i nt c 5 nt cha, ta cn tt c 960 xc sut iu kin cho mng Bayes, trong khi bng xc sut ng thi cho 30 bin nh vy phi c 230-1, tc l hn m t t dng. Th hai, mng Bayes cho thy s ph thu c hoc c lp xc sut c iu kin gia cc bin. V thc cht, chnh vic c lp v xc sut dn ti kh nng biu din rt g n cc xc sut ng th i. Tnh c lp xc sut trong mng Bayes th hin qua tnh cht sau.
Tnh cht:
M i nt trn mng Bayes c lp c iu kin vi tt c cc nt khng phi l hu du c a nt nu bit gi tr cc nt cha. M i nt c lp c iu kin vi tt c cc nt khc trn mng nu bit gi tr tt c nt cha, nt con v nt cha ca cc nt con. V d : Theo mng Bayes trong v d trn H c lp vi O, L, B nu bit gi tr c a D.
Tnh cc xc sut ng thi
S d ng tnh c lp xc sut va pht biu trn, c th tnh xc sut ng thi ca tt c cc bin. Xt v d sau
V d :cn tnh P(H, D, L, ~O, B)
Theo cng thc chui: P(H, D, L,~ O, B) = P(H| D, L, ~O, B) * P(D| L,~ O, B) * P(L|~ O, B) * P(~O|B) * P(B) Do tnh c lp xc sut (c iu kin): P (H| B, D, ~O, L) = P(H|D) P(D| L, ~O, B) = P(D|~ O, B) P(L| ~O, B) = P(L|~O) P(~O|B)=P(O) do vy, P(H, D, L,~ O, B) = P(H| D, L, ~O, B) * P(D| L,~ O, B) * P(L|~ O, B) * P(~O|B) * P(B) = P(H|~O) * P(D|~ O, B) * P(L|~O) * P(~O) * P(B) M t cch tng qut, gi s mng c n nt tng ng vi n bin ngu nhin X1, , Xn c a bi ton ang xt. T thng tin ca mng, c th tnh m i xc sut ng th i ca n bin, trong m i xc sut ng thi c dng P (X1 = x1 X2 = x2 Xn = xn) hay vit gn l P(x1, ,xn). Xc sut ng th i c tnh theo cng th c tng qut sau:
69
Suy din xc sut
P( X 1 = x1 ,..., X n = xn ) = P( X i = xi | cha _ me( X i ))

i =1
hay vit gn l P( x1 ,..., xn ) = P( xi | cha _ me( X i ))

i =1 n
trong cha_me(Xi) l gi tr c th cc nt cha m ca nt Xi.

minh ha cho cng thc trn, ta s tnh xc sut xy ra tnh hu ng nh c ngi, ch b m v c bu c ngoi sn, ng thi n khng sng v nghe ting ch s a. Xc su t tnh hu ng ny chnh l P(B, ~O, D, ~L, H) v c tnh nh sau:
P(B, ~O, D, ~L, H) = P(B) * P(~O) * P(D|~O, B) * P(H|D) * P(~L|O) = 0,3 * 0,4 * 0,05 * 0,7 * 0,3 = 0,00126 Trong m t phn trn ta thy rng nu c mi xc su t ng thi th c th thc hin suy din xc sut cho mi d ng cu truy vn. Nh v y, vi mng Bayes ta c th suy din bng cch trc tin tnh ra mi xc su t ng thi cn thit. Tuy nhin, cch ny i h i tnh ton nhiu v v v y trn thc t thng s d ng mt s phng php suy din khc hiu qu hn. Vn ny s c nhc ti trong m t phn sau.
4.4.3. Cch xy dng mng Bayes c th s d ng, trc tin cn xy d ng ra mng Bayes. Qu trnh xy d ng mng Bayes bao gm vic xc nh tt c cc bin ngu nhin lin quan, xc nh cu trc th c a mng, v cu i cng l xc nh gi tr cho cc bng xc su t iu kin. Trong phn ny, ta s coi nh c bin ngu nhin, vic xy dng mng ch bao gm xc nh cu trc v b ng xc sut iu kin.
C hai cch tip cn chnh xy dng mng Bayes. Cch th nht do con ngi (chuyn gia) thc hin da trn hiu bit ca mnh v bi ton ang xt. Vic xy d ng mng c chia thnh hai bc: xc nh cu trc th v in gi tr cho bng xc sut iu kin. Cch th hai l t ng xc nh cu trc v xc sut iu kin t d liu. y, d liu c dng gi tr cc bin ghi nhn c trong qu kh, v d ta c th ghi li t hp c gi tr c a nm bin trong v d trn trong thi gian vi nm. Qu trnh xy d ng mng khi bao gm xc nh cu trc c a th v b ng xc sut iu kin sao cho phn b xc sut do mng th hin ph hp nht vi tn sut xut hin cc gi tr trong tp d liu. Phn ny ch xem xt cch xy d ng mng do con ngi thc hin v m t mt quy trnh c th cho vic xy dng mng. Cc bc xy d ng mng c thc hin nh trn hnh 4.2. Sau khi c cu trc mng, chuyn gia s xc nh gi tr cho cc b ng xc su t iu kin. Thng thng, vic xc nh gi tr xc sut iu kin kh h n nhiu so vi vic xc nh cu trc mng, tc l xc nh quan h gia cc nt.
70
Suy din xc sut
B1: Xc nh cc bi n ng u nhin cho php m t ton. B2: S p x p cc bi n theo m t th sau: X1, X2 Xn. B3: For i = 1 to n do a. Thm m t nt m i Xi vo m ng t
mi n c a bi theo th t
no . V d
b. Xc nh t p Cha_M (Xi) l t p nh nh t cc nt c tr c sao cho Xi c l p c i u ki n v i t t c nt cn l i khi bi t b m c a Xi. c. V i m i nt thu c t p Cha_M (Xi). Ta thm m t c nh c h ng t nt t i Xi.
d. Xc nh b ng xc su t i u ki n cho Xi the cc gi tr c a b m ho c b ng xc su t ti n nghi m n u Xi khng c b m . Hnh 4.2: Phng php xy dng mng Bayes
minh h a, xt v d sau. M t ngi va lp h thng bo ng chng trm nh. H thng s pht ting ng khi c trm. Tuy nhin, h th ng c th bo ng (sai) nu c chn ng do ng t. Trong trng hp nghe th y h th ng bo ng, hai ngi hng xm tn lm Nam v Vit s g i in cho ch nh. Do nhiu nguyn nhn khc nhau, Nam v Vit c th thng bo sai, chng hn do n nn khng nghe thy chung bo ng hoc ngc li, nhm m thanh khc l ting chung.
Theo phng php trn, cc b c xy dng mng c thc hin nh sau. B1: la chn bin: s dng 5 bin sau T (c trm), (ng t), B (chung bo ng), N (Nam gi in), V (Vit gi in) B2: cc bin c sp xp theo th t T, , B, N, V B3: thc hin nh cc bc hnh v, ta xy d ng c mng th hin trn hnh sau ( n gin, trn hnh v ch th hin cu trc v khng c b ng xc sut iu kin).
T
Hnh 4.3.: Kt qu xy dng mng Bayes cho v d chung bo tr m
71
Suy din xc sut
nh hng ca vic sp xp cc nt ti kt qu xy dng mng .
Trn thc t, vic xy dng mng Bayes khng n gin, c bit trong vic ch n th t cc nt ng t y ch n c tp nt cha c kch thc nh . lm r im ny, ta gi s trong v d trn, cc bin c xp theo th t khc: N, V, C, T, . Cc b c thm nt s thc hin nh sau: Thm nt N: khng c nt cha Thm nt V: nu Nam gi in, xc sut Vit gi in s tng ln do s kin Nam g i in nhiu kh nng do c bo ng v do vy xc su t Vit nghe th y chung v gi in tng theo. Do vy N c nh hng ti V v c thm vo tp cha ca V. Thm C: Nu Nam v Vit cng gi th kh nng c chung cao hn, do vy cn thm c N v V vo tp cha c a C. Thm T: Nu bit trng thi ca chung th khng cn quan tm ti Nam v Vit na, do vy ch c C l cha c a T. Thm : nu c chung, kh nng ng t tng ln. Tuy nhin, nu ng thi ta bit c tr m th vic c tr m gii thch phn no nguyn nhn chung ku. Nh vy, c chung v c trm nh hng ti xc sut ng t, tc l C v T u l cha c a .
Kt qu ca mng Bayes xy d ng theo th t mi c th hin trn hnh di. So snh vi kt qu trn, mng Bayes mi phc tp hn, theo ngha c nhiu cung hn hay trung bnh cc nt c nhiu nt cha hn. Ngoi ra, ngha mt s quan h trn mng rt khng trc quan v kh gii thch, chng hn vic xc su t ng t phc thu c vo chung bo ng v c trm. Nh v y, mc d c hai mng Bayes xy dng trn u ng theo ngha m b o cc rng bu c v xc sut v u cho php tnh ra cc xc sut ng thi, vic la ch n khng ng th t nt s lm mng kh hiu v phc tp hn.
Hnh 4.4: Kt qu xy d ng mng Bayes khi s dng th t cc nt khc T v d trn ta c th a ra mt s nhn xt v kt qu xy d ng mng Bayes.
Nhn xt:
Cng mt tp hp bin c th xy dng nhiu mng Bayes khc nhau. Th t sp xp c nh hng ti mng Bayes. Nn sp xp sao cho cc nt ng vai tr nguyn nhn ng trc nt h qu . 72
Suy din xc sut
Tt c cc mng c xy d ng nh trn u hp l, theo ngha khng vi phm cc rng bu c v xc su t v u cho php thc hin suy din.
4.5. SUY DIN VI MNG BAYES Suy din xc sut l tm xc su t hu nghim hay xc su t iu kin c a m t s bin Q (g i l bin truy vn) khi c mt s bng ch ng, tc l khi bit gi tr ca mt s bin khc E1, , Em, (gi l bin b ng chng). Chng hn, vi mng Bayes cho v d u tin, ta c th quan st th y n sng v khng nghe ting ch s a, t y cn kt xc nh trong nh c ngi hay khng bng cch tnh xc su t iu kin P(~ O | L, H). Phn ny s trnh by mt s k thu t suy din cho nhng trng hp n gin. Vic trnh by y cc k thu t suy din trn mng Bayes tng i phc tp v s khng c trnh by y.
4.5.1.Suy din da trn xc sut ng thi
Phn gii thiu v xc sut iu kin trn gii thch cch tnh xc sut iu kin khi bit y xc su t ng thi. C th l, v i cc bin truy vn Q, bin bng chng E, v cc bin cn li Y, xc sut iu kin c tnh nh sau: P(Q | E ) =
P (Q, E , Y )
Y Q ,Y
P (Q, E , Y )
Do mng Bayes cho php xc nh ton b xc su t ng thi cn thit, vic suy din c th thc hin b ng cch tnh xc su t ng thi, sau s d ng cng thc trn. Xt v d d on nh c ngi hay khng trn, gi s ta bit rng ch ang b au b ng v khng nghe ting sa, cn xc nh xc su t n sng, tc l xc su t P(L | B, ~H). Theo cng thc trn ta c:
P ( L | B, ~ H ) =
O ,D
P ( L, B , ~ H , O, D) P ( L , B , ~ H , O, D )
L ,O , D
trong P ( L, B, ~ H , O, D) = P( L, B, ~ H , O, D) + P( L, B, ~ H , O, ~ D)
O, D
+ P( L, B, ~ H , ~ O, D) + P( L, B, ~ H , ~ O, ~ D)
v
L ,O, D
P ( L , B, ~
H , O, D) = P( L, B, ~ H , O, D) + P( L, B, ~ H , O, ~ D) + P( L, B, ~ H , ~ O, D) + P( L, B, ~ H , ~ O, ~ D) + P(~ L, B, ~ H , O, D) + P( L, B, ~ H , O, ~ D) + P(~ L, B, ~ H , ~ O, D) + P( L, B, ~ H , ~ O, ~ D)
cc xc sut ng thi c tnh theo cng thc xc sut ng thi cho mng Bayes nh trong phn trc. Cch suy din thng qua xc sut ng thi c nguyn tc n gin tuy nhin i hi tnh t ng c a rt nhiu xc sut ng thi. Vi s lng bin ngu nhin ln, s lng xc
73
Suy din xc sut
sut ng thi cn tnh tng theo hm m, dn ti phc tp tnh ton rt ln v do vy khng th c t.

4.5.2. phc tp ca suy din trn mng Bayes
Ta thy, vic tnh chnh xc gi tr P(Q | E) thng qua xc sut ng thi i hi phc tp tnh ton hm m. Vy vic suy din thng qua tnh chnh xc xc sut iu kin ni chung (tm g i l suy din chnh xc) c phc tp tnh ton ra sao khi s dng nhng phng php khc?
i vi mng c dng lin kt n hay cn gi l polytree: Mng lin kt n hay mng polytree l mng trong gia hai nt bt k ch tn ti duy nht mt ng i (hnh 4.5.a). Trong trng hp ny, tn ti thut ton cho php suy din chnh xc vi phc tp tuyn tnh (t l thun) vi kch thc ca mng. y, kch thc mng c tnh bng tng s phn t ca cc bng xc sut iu kin. Trong trng hp s nt cha c gii hn bi hng s , phc tp s t l tuyn tnh vi s nt.
Trong phm vi chng trnh, ta s khng cp ti thut ton suy din c th vi phc tp tuyn tnh nh va nu.
(a)
(b)
Hnh 4.5: Mng Bayes dng lin kt n (a) v khng phi lin kt n (b) vi hai ng i t M ti T
i vi mng khng kin kt n hay mng a lin kt: y l nhng mng m gi a hai nt c th c nhiu hn mt ng i (hnh 4.5.b). Trong trng hp ny, vic tnh chnh xc xc sut iu kin l bi ton NP-y v do vy khng th thc hin khi mng c kch thc ln. thc hin suy din trong trng hp mng a lin kt, c th s dng cc thut ton cho php tnh xc sut iu kin mt cch xp x, chng hn bng cch l y mu thng k, hay s dng cc thut ton lan ta (propagation). M t k thut khc c ng c th s dng l bin i mng a lin kt thnh mng lin kt n bng cch chp nhn mt m t s thng tin. Bn thn thut ton bin i ny c ng c phc tp tnh ton kh ln. 4.5.3.Suy din cho trng hp ring n gin
Phn ny s gii thiu cch suy din cho trng hp ring n gin nht, l trng hp mng lin kt n, suy din ch thc hin cho cc nt c lin kt trc tip vi nhau. C th phn bit hai loi suy din cho trng hp n gin nh vy. Trong trng hp th nht, bit gi tr mt nt cha, yu cu tnh xc sut quan st th y gi tr nt con. Suy din dng ny g i l suy din nhn qu hoc suy din t trn xu ng. 74
Suy din xc sut
Trng hp th hai ngc li, tc l cho bit gi tr nt con v cn tnh xc sut quan st th y gi tr nt cha. Trng hp ny c g i l suy din chn on hoc suy din di ln. Suy din chn on thng gp trong nhng bi ton cn xc nh hay chn on nguyn nhn ca du hiu no .
tin trnh by, cc suy din s c minh ha trn v d s dng phn u bi.
P(O)=0.6 P(O)=0.3
P(L|O)=0.3 P(L|~O)=0.6
P(D|O,B)=0.05 P(D|O,~B)=0.1 P(D|~O,B)=0.1 P(D|~O,~B)=0.2
P(H|D)=0.3 P(H|~D)=0.8
Hnh 4.6: Mng Bayes

Suy din nhn qu hay suy din trn xung
Trong suy din nhn qu, cho bit E, cn tnh P(Q|E), trong E l mt nt cha c a Q. V d : cn tnh P(D|B) P(D|B) = P(D,O|B) + P(D,~O|B) = P(D|O,B)P(O|B) + P(D|~O,B)P(~O|B) = P(D|O,B)P(O) + P(D|~O,B)P(~O) = (.05)(.6) + (.1)(1 - .6) = 0.07 V d trn cho thy, suy din nhn qu c thc hin theo 3 bc. Bc 1: dng 1. Trong bc ny, xc sut Q cn tnh c vit li di dng xc sut iu kin ca Q v cha c a Q (khng thuc E) iu kin theo E. - Bc 2: dng 2. Vit li cc xc sut ng thi di dng xc sut c a Q khi bit cc gi tr b m. - Bc 3: dng 3,4. S dng cc gi tr xc sut t bng xc sut iu kin. Suy din chn on hay suy din di ln y l dng suy din yu cu tnh P(Q|E), trong Q l mt nt cha ca E.
V d : cn tnh P(~B|~D) S d ng quy tc Bayes, ta vit li gi tr cn tnh nh sau P(~B|~D) = P(~D|~B)P(~B)/P(~D) Tip theo, tnh P(~D|~B) nh cch suy din nhn qu trn P(~D|~B) = P(~D|O,~B)P(O) + P(~D|~O,~B)P(~O) = (.9)(.6) + (.8)(.4) = 0.86 Thay gi tr P(~D|~B) va tnh, ta c: 75
Suy din xc sut
P(~B|~D) = (.86)(.7)/P(~D) = .602/P(~D) tnh P(~D), c th tnh P(B|~D), sau dng P(~B|~D)+P(B|~D) = 1 P(B|~D) = (.93)(.3)/P(~D) = .279/P(~D) do : 0.602/P(~D) + 0.279/P(~D) = 1 suy ra: P(~D) = 0.881 thay vo trn: P(~B|~D) = 0.602 / 0.881 = 0.683 Trong trng hp chung, suy din chn on c th thc hin qua hai bc nh sau: Bc 1: Bin i v suy din nhn qu s d ng quy tc Bayes Bc 2: Thc hin gi ng suy din nhn qu.
4.5.4.Suy din bng phng php ly mu
Trong trng hp mng Bayes c cu trc phc tp, vic tnh chnh xc cc xc sut iu kin l khng thc t do phc tp tnh ton ln. Mt phng php suy din thng c s d ng l vic tnh ton xp x xc sut iu kin bng cch ly mu. Thc cht qu trnh ny l sinh ra cc b gi tr c a cc bin theo phn b xc sut trn mng, sau cng li v tnh tn sut quan st c, dng gi tr tn sut ny lm gi tr (xp x) c a xc sut cn tnh. Vic ly mu c minh ha qua v d mng Bayes trn hnh di.
P(S)=0.3
P(M)=0.6
P(LM^S)=0.05 P(LM^~S)=0.1 P(L~M^S)=0.1 P(L~M^~S)=0.2
R
P(RM)=0.3 P(R~M)=0.6
P(TL)=0.3 P(T~L)=0.8
Hnh 4.7. V d mng Bayes

Ly mu
Ti mi bc ly mu, m t b gi tr c a cc bin c xc nh nh sau. Ch n ngu nhin gi tr c a S theo xc sut P(S=true) = 0.3. Gi s c gi tr S = false. Ch n ngu nhin gi tr M theo xc sut P(M=true) = 0.6. Gi s c gi tr M = true.
76
Suy din xc sut
Ch n ngu nhin gi tr L theo xc sut P(L|S=false, M=true)=0.1. Gi tr c a S v M c ch n trn. Gi s c gi tr L l false. Ch n ngu nhin R theo xc sut P(R|M=true) = 0.3. Gi s c R=true. Ch n ngu nhin T theo xc sut P(T|L=false) = 0.8. Gi s c T=true.
Nh v y, sau mt ln l y mu, ta c b gi tr (~S, M, ~L, R, T). Cch ly mu ti mi bc l trc tin ly mu cc nt khng c nt cha. Sau l y mu ti cc nt con. Khi l y mu nt con s s d ng phn t trong bng xc sut iu kin tng ng vi cc gi tr nt cha la ch n c trc . M t thut ton l y mu th hin trn hnh sau.
o Gi s ta cc bi n/nt l X1, Xn.
o Gi s Cha_M (Xi) l cc nt cha c a Xi v Cha_M (Xi) l t p con c a {X1, , Xi-1} o For i = 1 to n do 1. Tm Cha_M (Xi) (n u c). Gi s c n(i) nt cha c a Xi. G i cc nt l Xp(i,1), , Xp(i,n(i)) 2. Gi s gi tr cc nt cha sinh ra tr c l:xp (i,1), , xp(i,n(i)) 3. Tm trong b ng xc xu t gi tr P(Xi = true | Xp(i,1) = xp(i,1) ) 4. Ch n Xi K t qu = true v i xc xu t trn cc bi n X1, , Xn x1, xn l m t m u sinh ra t xc su t:
Hnh 4.8: Thut ton l y mu t mng Bayes

Tnh xc sut iu kin
Tip theo, gi s cn tnh P(R = True T = True , S = False ). Trc ht, ta thc hin ly mu nhiu ln theo cch trn, m i b gi tr sinh ra c g i l mt mu. Nu s lng mu ln th tn sut xut hin mi b gi tr s xp x xc sut ng thi ca cc gi tr . Xc sut ng thi ny s c s d ng tnh xc sut iu kin nh di y. Tnh s ln x y ra nh ng s kin sau: Nc: s mu c T = True v S = False Ns: s mu c R = True, T = True v S = False N: t ng s mu Nc /N: (xp x) xc sut P (T = True, S = False) Ns /N: (xp x) xc sut P (R = True , T = True , S = False ) 77
Nu N ln:
Suy din xc sut
P(R |T,~S) =
N P(R, T, ~ S) s P(T, ~ S) Nc
Phng php ly mu
T v d minh h a trn, c th m t cch suy din xp x bng cch l y mu nh sau. Gi s cho mng Bayes v cn tnh P (E1 | E2). Thc hin cc bc di y: Ly mu s lng ln Tnh s lng:
Nc: s mu c E2 Ns: s mu c E1 v E2 N: T ng s mu
Nu N ln, ta c: P(E1 | E2) = Ns / Nc Hnh 4.9: Thut ton suy din bng cch l y mu trn mng Bayes
4.6. NG DNG SUY DIN XC SUT C rt nhiu ng d ng khc nhau ca suy din xc sut, c th l ng d ng suy din trn mng Bayes c s d ng trong thc t. C th k ra m t s ng dng tiu biu nh chn on bnh (h thng Pathfinder), h tr gip thng minh (Microsoft office assisstant), phng php xc dnh chc nng gen v protein, h th ng gip pht hin v khc ph c li. Di y ta s xem xt mt v d ng dng mng Bayes trong chn on v khc ph c li (troubleshooting). Chn on v khc phc li l cng vic t ng i phc tp, cn c s tr gip thng minh. M t h tr gip thng gp dng ny l h th ng troubleshooting ca h iu hnh Windows. Trn hnh di y l m t mn hnh giao din c a h th ng ny. Khi gp s c, chng hn s c vi my in, ngi dng khi ng h thng troubleshooting. H thng t ra m t s cu h i v yu cu tr li. Ty theo cu tr li nhn c, h th ng tm cch xc nh nguyn nhn v cch gii quyt. Cu tr li cng c th v cng chnh xc th nguyn nhn c ng c xc nh cng c th. Mng Bayes c th c s dng cho phn suy din ca h thng troubleshooting. C th, mng Bayes cho php biu din quan h gia ba dng bin ngu nhin: cc dng hng hc F ca thit b, hnh ng A cho php khc ph c hng hc, v cu hi Q cho php thu thp thng tin v s c. Xt v d c th sau: my in in qu m. C th c rt nhiu hng hc hay nguyn nhn dn ti in m. n gin, gi s c b n nguyn nhn sau: F1 li hp mc, F2 cn t mc, F3 - lu ng d liu b hng, F4 chn driver khng ng. M t s hnh ng cho php khc ph c (m t phn) nguyn nhn sau l: A1 lc ng mc, A2 dng ng mc khc, A3 tt v bt li my in. 78
Suy din xc sut
Hnh 4.11. Mn hnh h thng troubleshooting c a Windows M i hnh ng cho php khc phc mt h ng hc vi mt xc sut no , v d P(A2 = yes | F1) = P (A2 = yes | F2) = 0,9, tc l hnh ng dng ng mc khc cho php khc ph c li h p mc hay cn t mc vi xc sut 90%, trong khi P(A2 = yes | F4) = 0. Trong qu trnh khc phc li, h thng t cu hi cho ngi dng c thm thng tin v h ng hc. V d, nu ngi dng tr li khng cho cu hi Trang in th c b m khng? th h thng c th loi b nguyn nhn h ng hc lin quan ti hp mc. H thng s dng cc bng xc sut iu kin P (Qi = yes | Fj) cho phn suy din ny. Gia cc bin F, A, v Q c mt s quan h c lp xc sut. C th, hnh ng A v cu h i Q c lp vi nhau khi bit F. Ngoi ra, c th gi thit ti mi thi im ch x y ra m t hng hc duy nht. Quan h c lp xc sut gia cc bin c m hnh ha bng mng Bayes trn hnh 4.12.
79
Suy din xc sut
Hnh 4.12. Mng Bayes dng cho khc ph c s c Ty thng tin c c, h thng c th thc hin suy din tnh xc sut la chn mt hnh ng c th no .
80
CHNG 5:
5.1. KHI NIM HC MY
HC MY
5.1.1. Hc my l g
Trong nhng chng trc ta xem xt mt s k thut gii quyt vn v suy din. c im chung ca nhng k thut ny l phng php gii quyt vn cng vi tri thc c cung cp cho chng trnh my tnh t trc v chng trnh khng th thay i hoc ci thin hot ng ca mnh da trn kinh nghim thu c trong qu trnh lm vic sau . Trong chng ny, ta s xem xt cc k thut hc my (machine learning), l k thut cho php gii quyt vn hoc ra quyt nh da trn d liu v kinh nghim.
Hc my (machine learning) l kh nng ca chng trnh my tnh s dng kinh nghim, quan st, hoc d liu trong qu kh ci thin cng vic ca mnh trong tng lai. Chng hn, my tnh c th hc cch d on da trn cc v d, hay hc cch to ra cc hnh vi ph hp da trn quan st trong qu kh.
Xt mt s v d sau. V d th nht l hc cch nh c. Chng trnh c th quan st cc vn c cng vi kt qu ci thin kh nng chi c tng s vn thng trong tng lai. Trong trng hp ny, kinh nghim l cc vn c trong qu kh (c th l vn c chng trnh t chi vi chnh mnh), c s dng hc cch lm tt hn cng vic chi c vi tiu ch nh gi l s vn thng. V d th hai l hc nhn dng cc k t. Chng trnh c cung cp d liu di dng nh chp cc k t (ch ci) cng m ASCII ca k t . Qu trnh hc cho php chng trnh tng chnh xc khi phn bit nh chp cc k t sau . Hc my l mt nhnh nghin cu rt quan trng ca tr tu nhn to vi kh nhiu ng dng thnh cng trong thc t. L do hc my c quan tm nhiu l do rt kh xy dng h thng thng minh c th thc hin cc cng vic lin quan n tr tu nh th gic my, x l ngn ng t nhin m khng s dng ti kinh nghim v qu trnh hc. Ngoi ra, bn thn kh nng hc l mt hot ng tr tu quan trng ca con ngi, do vy hc t ng hay hc my lun thu ht c s quan tm khi xy dng h thng thng minh.
5.1.2. ng dng ca hc my
C rt nhiu ng dng thc t khc nhau ca hc my. Trong chng ny, ta s xem xt ch yu bi ton hc phn loi t ng, trong cc i tng c phn chia t ng thnh mt s loi, hoc bi ton hi quy (regression) trong thut ton hc d on mt gi tr c dng s thc. Sau y l mt s v d ng dng hc my loi ny: Nhn dng k t: phn loi hnh chp k t thnh cc loi, mi loi ng vi mt k t tng ng. Pht hin v nhn dng mt ngi: pht hin vng c cha mt ngi trong nh, xc nh l mt ngi no trong s nhng ngi c nh trc , tc l phn chia nh thnh nhng loi tng ng vi nhng ngi khc nhau.
Hc my
Lc th rc, phn loi vn bn: da trn ni dung th in t, chia th thnh loi th rc hay th bnh thng; hoc phn chia tin tc thnh cc th loi khc nhau nh x hi, kinh t, th thao.v.v. Chn on y t: hc cch d on ngi bnh c mc hay khng mc mt s bnh no da trn triu chng quan st c. Phn loi khch hng v d on s thch: sp xp khch hng vo mt s loi, t y d on s thch tiu dng ca khch hng. D on ch s th trng: cn c gi tr mt s tham s hin thi v trong lch s, a ra d on, chng hn d on gi chng khon, gi vng.v.v.
Ngoi nhng ng dng c dng phn loi hoc hi quy mt cch tng minh trn, hc my c th dng trong rt nhiu ng dng i hi ra quyt nh hoc hnh ng mt cch thng minh. V d c nhng ng dng hc cch li xe t ng da trn nh chp trc xe do camera quan st v hnh ng li xe lm mu ca ngi trc . Thc cht, y c th coi nh bi ton phn loi trong ty thuc nh u vo cn xc nh hnh ng u ra thuc mt trong s nhng loi no nh quay v lng sang tri 10 .v.v. C th tm thy rt nhiu ng dng thng minh c s dng hc my to c ch ra quyt nh nh vy.
5.1.3. Mt s khi nim

Sau y l mt s khi nim c s dng khi trnh by v hc my.
Mu hay v d l tn gi i tng cn phn loi. Chng hn, khi lc th rc, mi th c gi l mt mu hay mt v d.

Mu thng c m t bng mt tp cc thuc tnh, cn c gi l c trng hay bin. V d, trong bi ton chn on bnh, thuc tnh l nhng triu chng ca ngi bnh v cc tham s khc: cn nng, huyt p, v.v.
Nhn phn loi th hin loi ca i tng m ta cn d on. i vi trng hp phn loi th rc, nhn phn loi c th l rc hay bnh thng. Trong giai on hc hay cn gi l giai on hun luyn, thut ton hc c cung cp c nhn phn loi ca mu, trong giai on d on, thut ton ch nhn c cc mu khng nhn v cn xc nh nhn cho nhng mu ny.
Kt qu hc thng c th hin di dng mt nh x t mu sang nhn phn loi. nh x ny c th hin di dng mt hm gi l hm ch (target function) c dng f : X C, trong X l khng gian cc v d v C l tp cc nhn phn loi khc nhau.
5.1.4. Cc dng hc my
Khi thit k v xy dng h thng hc my cn quan tm ti nhng yu t sau. Th nht, kinh nghim hoc d liu cho hc my c cho di dng no? Th hai, la chn biu din cho hm ch ra sao? Hm ch c th biu din di dng hm i s thng thng nhng cng c th biu din di nhng dng khc nh dng cy, dng mng n ron, cng thc xc sut .v.v.
82
Hc my
Vic s dng nhng dng kinh nghim v dng biu din khc nhau dn ti nhng dng hc my khc nhau. Trng hp n gin nht l khi kinh nghim c cho mt cch tng minh di dng u vo v u ra ca hm ch, v d, cho trc tp cc mu cng nhn phn loi tng ng. Hc my khi c gi l hc c gim st (supervised learning) th hin vic thut ton nhn c ch dn trc tip v li gii cho tng trng hp. Hc c gim st bao gm phn loi (classification) v hi quy (regression). Phn loi l dng hc c gim st vi hm ch nhn gi tr ri rc v hi quy l hc c gim st vi hm ch nhn gi tr lin tc. S ca mt h thng hc my in hnh trong trng hp hc c gim st (phn loi) c th hin trn hnh 5.1.
V d m i (khng nhn)
V d hu n luy n (c nhn)
Thu t ton h c my
Hm ch (quy t c d on)
Nhn phn lo i (d on)
Hnh 5.1. Cu trc mt h thng hc my tiu biu cho trng hp phn loi Trong trng hp kinh nghim ch gm cc mu v khng c nhn hoc gi tr hm ch i km ta ni rng l hc khng gim st (unsupervised learning). V d, ch bng quan st thng thng v chiu cao ca mi ngi, dn dn ta hc c khi nim ngi cao v ngi thp. Hai dng hc khng gim st ph bin nht l phn cm (clustering) v hc lut kt hp (association rule learning). Trong trng hp phn cm, cc i c phn chia thnh mt s nhm sao cho mi nhm gm nhng i tng ging nhau v khc i tng nhm khc. Hc lut kt hp l cch pht hin nhng i tng hoc gi tr thuc tnh thng xut hin cng nhau, v d nhng mt hng thng xuyn c mua cng nhau (bnh m v b). Dng hc my cui cng l hc khuyn khch (reinforcement learning)4. i vi dng hc ny, kinh nghim khng c cho trc tip di dng u vo/u ra. Thay vo , h thng nhn c mt gi tr khuyn khch (reward) l kt qu cho mt chui hnh ng no . Thut
Khi nim reinforcement c dng trong tm l hc vi ngha khuyn khch, kch thch, thng. Chng ti tm dch sang ting Vit l khuyn khch nhng cng c th dch l thng hoc c ti liu dch reinforcement learning l hc tng cng
4
83
Hc my
ton cn hc cch hnh ng cc i ha gi tr khuyn khch. V d ca hc khuyn khch l hc nh c, trong h thng khng c ch dn nc i no l hp l cho tng tnh hung m ch bit kt qu ton vn c. Nh vy, cc ch dn v nc i c cho mt cch gin tin v c tr di dng gi tr thng. 5.2. HC CY QUYT NH Hc cy quyt nh l mt trong phng php hc my tiu biu c nhiu ng dng trong phn loi v d on. Mc d chnh xc ca phng php ny khng tht cao so vi nhng phng php c nghin cu gn y, hc cy quyt nh vn c nhiu u im nh n gin, d lp trnh, v cho php biu din hm phn loi di dng d hiu, d gii thch cho con ngi. Phng php ny thng c dng nh phng php m u minh ha cho k thut hc b phn loi t d liu. Phng php hc cy quyt nh c s dng cho vic hc cc hm phn loi t d liu hun luyn, trong cy quyt nh c s dng lm biu din xp x ca hm phn loi, tc l hm c u ra l cc gi tr ri rc. Nh ni trn, phng php hc ny thuc loi hc c gim st. Phn ny s gip ngi c lm quen vi khi nim cy quyt nh, ng thi gii thiu mt s thut ton hc cy quyt nh bao gm ID3 v C4.5.
5.2.1. Khi nim cy quyt nh

Cy quyt nh l mt cu trc ra quyt nh c dng cy. Cy quyt nh nhn u vo l mt b gi tr thuc tnh m t mt i tng hay mt tnh hung v tr v mt gi tr ri rc. Mi b thuc tnh u vo c gi l mt mu hay mt v d, u ra gi l loi hay nhn phn loi. Thuc tnh u vo cn c gi l c trng v c th nhn gi tr ri rc hoc lin tc. cho n gin, trc tin ta s xem xt thuc tnh ri rc, sau s m rng cho trng hp thuc tnh nhn gi tr lin tc. Trong cc trnh by tip theo, tp thuc tnh u vo c cho di dng vc t x, nhn phn loi u ra c k hiu l y, cy quyt nh l hm f(x) tr li gi tr y. Cy quyt nh c biu din di dng mt cu trc cy (xem v d trn hnh 5.2). Mi nt trung gian, tc l nt khng phi nt l, tng ng vi php kim tra mt thuc tnh. Mi nhnh pha di ca nt tng ng vi mt gi tr ca thuc tnh hay mt kt qu ca php th. Khc vi nt trung gian, nt l khng cha thuc tnh m cha nhn phn loi. xc nh nhn phn loi cho mt v d no , ta cho v d chuyn ng t gc cy v pha nt l. Ti mi nt, thuc tnh tng ng vi nt c kim tra, ty theo gi tr ca thuc tnh m v d c chuyn xung nhnh tng ng bn di. Qu trnh ny lp li cho n khi v d ti c nt l v c nhn nhn phn loi l nhn ca nt l tng ng. Xt v d cy quyt nh trn hnh 5.2. Cy quyt nh cho php xc nh (phn loi) cc bui sng thnh c (ph hp) v khng (ph hp) cho vic chi tennis ty theo thi tit trong
84
Hc my
ngy . Thi tit mi ngy c m t thng qua bn thuc tnh: Tri, m, Nhit , Gi. D liu thi tit cho mt s ngy c cho trong bng 5.1.
Hnh 5.2. Mt v d cy quyt nh cho bi ton Chi tennis. Nt l cha nhn phn loi c chi hoc khng chi. Nt trung gian cha thuc tnh thi tit. Gi s ta c v d < Tri = nng, Nhit = cao, Gi = mnh, m = cao>. V d s c cy quyt nh xp xung nt ngoi cng bn tri v do vy c xc nh l khng chi. C th thy cch biu din hm quyt nh di dng cy rt trc quan, d hiu, d gii thch l do ra quyt nh v nhn cho mt v d c th no .
Biu din tng ng di dng biu thc l gic

Cy quyt nh c th biu din tng ng di dng cc quy tc hay biu thc l gic. Cy_quyt_nh(x) (P1(x) v P2(x) vv Pn(x)) trong mi Pi(x) l hi cc php th thuc tnh theo ng i t gc ti nt l c gi tr dng (true). C th, cy quyt nh trn hnh 4.1 c th biu din tng ng di dng: (Tri = nng ^ m = bnh_thng)
(Tri = u_m) (Tri = ma ^ Gi = yu)
5.2.2. Thut ton hc cy quyt nh

Trc khi s dng cy quyt nh, ta cn xy dng hay hc cy quyt nh t d liu hun luyn. C nhiu thut ton khc nhau c xut v s dng hc cy quyt nh t d liu, trong a s da trn nguyn tc chung l xy dng cy theo kiu tm kim tham lam t cy n gin ti cy phc tp hn. Phn ny s gii thiu thut ton hc cy ID3, mt thut ton n gin nhng c tnh i din cho cch xy dng cy nh vy. 85
Hc my
D liu hun luyn

D liu hun luyn c cho di dng n mu hay n v d hun luyn, mi v d c dng (xi, yi), trong xi l vc t cc thuc tnh v yi l gi tr nhn phn loi. trnh by v thut ton hc cy quyt nh, ta s s dng b d liu hun luyn cho trong bng 5.1 vi 14 v d tng ng vi 14 dng. Ct u tin trong bng cha s th t v khng tham gia vo cy quyt nh. Bn ct tip theo cha gi tr bn thuc tnh. Ct ngoi cng bn phi cha nhn phn loi. i vi d liu ang xt, nhn phn loi l nhn nh phn, c th nhn mt trong hai gi tr c hoc khng. Table 5.1. B d liu hun luyn cho bi ton phn loi Chi tennis.
Ngy
D1 D2 D3 D4 D5 D6 D7 D8 D9 D10 D11 D12 D13 D14
Tri
nng nng u m ma ma ma u m nng nng ma nng u m u m ma
Nhit
cao cao cao trung bnh thp thp thp trung bnh thp trung bnh trung bnh trung bnh cao trung bnh
m
cao cao cao cao bnh thng bnh thng bnh thng cao bnh thng bnh thng bnh thng cao bnh thng cao
Gi
yu mnh yu yu yu mnh mnh yu yu yu mnh mnh yu mnh
Chi tennis
khng khng c c c khng c khng c c c c c khng
Thut ton hc cy
Nhim v ca thut ton hc l xy dng cy quyt nh ph hp vi tp d liu hun 86
Hc my
luyn, tc l cy quyt nh c u ra ging (nhiu nht) vi nhn phn loi cho trong tp mu. Trong trng hp s thuc tnh nh, vic xy dng cy quyt nh nh vy c th thc hin bng cch lit k tt cc cy quyt nh hp l v kim tra chn ra cy ph hp vi d liu. Vi s lng thuc tnh ln, s cy quyt nh nh vy l rt ln v khng th tm kim theo kiu vt cn nh vy. Do , thut ton hc cy thng da trn nguyn tc tham lam, xy dng dn cc nt t trn xung.
Qu trnh xy dng cy: bt u, thut ton hc la chn thuc tnh cho nt gc. Thuc tnh c la chn l thuc tnh cho php phn chia tt nht cc v d thnh nhng tp con, sao cho mi tp con cng ng nht cng tt. y, ng nht c hiu l cc v d c cng nhn phn loi. Sau khi la chn c thuc tnh cho nt gc, tp d liu ban u s c chia xung cc nhnh con do kt qu php kim tra thuc tnh gc. Vi mi tp con d liu, ta li c mt bi ton hc cy d liu mi v do vy c th lp li th tc trn vi t d liu hn v bt i mt thuc tnh c s dng gc.
Qu trnh xy dng cy quyt nh c lp quy nh vy cho ti khi xy ra nhng tnh hung sau: Sau khi phn chia ti mt nt, tp d liu con ch cha cc mu c cng nhn phn loi (chng hn cng dng hoc cng m). Trong trng hp ny ta dng qu trnh phn chia y, to mt nt l v gn cho nt nhn phn loi trng vi nhn ca cc v d ti nt . Trong v d trn hnh 4.1., nhnh gia ca nt gc bao gm cc mu c nhn c to thnh nt l. Tt c cc thuc tnh c s dng pha trn, trong khi tp d liu con cn cha c nhn dng v nhn m. y l trng hp cc v d c cng gi tr thuc tnh nhng li khc nhn phn loi v xy ra do d liu hun luyn c cha nhiu hoc do cc thuc tnh hin c khng cung cp thng tin xc nh ng nhn phn loi. Trong trng hp ny, thut ton s chn nhn chim a s trong tp con gn cho nt. Khi u: nt hin thi l nt gc cha ton b tp d liu hun luyn Ti nt hin thi n, la chn thuc tnh:
Thut ton hc cy quyt nh c cho trn hnh 5.3.
Cha c s dng nt t tin (tc l nt nm trn ng i t gc ti nt hin thi) Cho php phn chia tp d liu hin thi thnh cc tp con mt cch tt nht Vi mi gi tr thuc tnh c chn thm mt nt con bn di Chia cc v d nt hin thi v cc nt con theo gi tr thuc tnh c chn
Lp ( quy) cho ti khi: 87
Hc my
Tt c cc thuc tnh c s dng cc nt pha trn, hoc Tt c v d ti nt hin thi c cng nhn phn loi Nhn ca nt c ly theo a s nhn ca v d ti nt hin thi
Hnh 5.3. Thut ton xy dng cy quyt nh t d liu hun luyn
La chn thuc tnh tt nht

Mt im quan trng trong thut ton xy dng cy quyt nh l la chn thuc tnh tt nht ti mi nt. Trong trng hp l tng, thuc tnh la chn l thuc tnh cho php chia tp d liu thnh cc tp con c cng mt nhn, v do vy ch cn mt php kim tra thuc tnh khi phn loi. Trong trng hp ni chung, thuc tnh la chn cn cho php to ta nhng tp con c ng nht cao nht. Yu cu t ra l cn c cch o ng nht ca tp d liu v mc tng ng nht khi s dng mt thuc tnh no . Thut ton xy dng cy ID3 s dng entropy lm mc o ng nht ca tp d liu. Trn c s entropy, thut ton tnh tng thng tin nh mc tng ng nht, t y xc nh thuc tnh tt nht ti mi nt. Trong trng hp ch c hai nhn phn loi, k hiu l + v -, entropy H(S) ca tp d liu S c tnh nh sau:
H (S) = -p+log2p+ - p-log2ptrong p+ v p- l xc sut quan st thy nhn phn loi + v -, c tnh bng tn sut quan st thy + v trong tp d liu. Trong tp d liu trn bng 4.1, vi 9 nhn dng v 5 nhn m, k hiu [9+, 5-], ta c:
H ([9+,5-]) = -(9/14)log2 (9/14) (5/14)log2 (5/14) = 0.94

C th nhn thy, trong trng hp nhn nh phn, entropy t gi tr ti a bng 1 khi xc sut hai nhn bng nhau v bng 0.5, entropy t gi tr nh nht bng 0 khi xc sut mt nhn l 1 v nhn cn li l 0. Nh vy, entropy cng nh th tp i tng cng ng nht. Trong trng hp tng qut vi C nhn phn loi c xc sut ln lt l p1, p2, ,pC. entropy c tnh nh sau:
H (S) = pi log 2 pi
i =1
Gi tr cc i ca entropy khi s bng log2C khi cc nhn c xc sut nh nhau v gi tr nh nht ca entropy bng 0 khi tt c i tng c chung mt nhn. S dng entropy nh o mc ng nht ca tp mu, ta c th nh gi tt ca thuc tnh bng cch so snh entropy trc v sau khi tp mu c phn chia thnh tp con theo gi tr ca thuc tnh.
88
Hc my
tng thng tin (Information Gain), k hiu IG, l ch s nh gi tt ca thuc tnh trong vic phn chia tp d liu thnh nhng tp con ng nht. IG c tnh da trn entropy theo cng thc sau:
IG ( S , A) = H ( S ) trong :
| SV | H (Sv ) vvalues ( A ) | S |
S l tp d liu nt hin ti A l thuc tnh values(A) l tp cc gi tr ca thuc tnh A. Sv l tp cc mu c gi tr thuc tnh A bng v. |S| v |Sv| l lc lng ca cc tp hp tng ng. V bn cht, IG l chnh lch gia entropy ca tp S v tng entropy ca cc tp con Sv c to ra do phn chia S bng cch s dng thuc tnh A. Do cc tp con c th c kch thc khng bng nhau nn entropy ca tp con c nhn vi mt trng s |Sv| / |S|, tc l tp con c kch thc ln h n s ng gp nhiu hn vo tng entropy. Gi tr ca IG c s dng la chn thuc tnh tt nht ti mi nt. Thuc tnh c la chn l thuc tnh c gi tr IG l n nht.
V d minh ha
Xc nh thuc tnh tt nht ti nt gc cho d liu trong bng 4.1 bng cch tnh IG cho cc thuc tnh. Vi thuc tnh Gi: values(Gi) S Syu Smnh = {yu, mnh} = [9+, 5-], H (S) = 0.94 = [6+, 2-] , H (Syu) = 0.811 = [3+, 3-], H (Smnh) = 1
IG (S, Gi) = H (S) (8/14) H(Syu) (6/14) H(Smnh) = 0.94 (8/14) * 0.811 (6/14) * 1 = 0.048 Tnh tng t v i ba thuc tnh cn li, ta c: IG (S, Tri) = 0.246 IG (S, m) = 0.151 IG (S, Gi) = 0.048 IG (S, Nhit ) = 0.029 Nh v y, thuc tnh tt nht l Tri c s dng cho nt gc. Sau khi chn nt gc l Tri, ta c cc b d liu con ba nhnh t ng ng ba gi tr ca Tri nh trn hnh 5.4. cho tin s th t cc v d c cho ngay ti cc nt.
89
Hc my
{D1, D2, , D14} [9+, 5-] Tr i
n ng
u m
ma
{D1, D2, D8, D9, D11} [2+, 3-] ?
{D3, D7, D12, D13} [4+, 0-] c
{D4, D5, D6, D10, D14} [3+, 2-] ?
Hnh 5.4. Xy dng cy quyt nh

i v i nhnh gia, ton b mu c nhn dng, do vy qu trnh hc cy cho nhnh ny dng li, thut ton to nt l vi nhn c. i vi nhnh bn tri v bn phi, qu trnh hc cy c tip tc vi tp d liu con ti nhnh . Di y l minh ha vic tnh IG v chn thuc tnh cho nt tip theo bn tri.
IG (Snng, m) IG (Snng, Gi)
= 0.97 (3/5)*0 (2/5)*0 = 0.97 = 0.97 (2/5)*1 (3/5)*0.918 = 0.019
IG (Snng, Nhit ) = 0.97 (2/5)*0 (2/5)*1 (1/5)*0 = 0.57 Thuc tnh m c IG ln nht v c chn cho nt ny. Kt qu hc cy y c th hin trn hnh 5.2.
5.2.3. Cc c im thut ton hc cy quyt nh

Thut ton hc cy quyt nh ID3 trn c mt s c im sau: ID3 l thut ton tm kim cy quyt nh ph hp vi d liu hun luyn.
y l ph ng php tm kim theo kiu tham lam, t trn xung, bt u t cy rng. Hm nh gi l tng thng tin. Tnh cht tham lam ca thut ton th hin ch ti mi nt, thuc tnh c chn l thuc tnh c hm mc tiu ln nht, thut ton khng nhn xa hn nt hin ti khi quyt nh chn thuc tnh. Khng gian tm kim l y , ngha l theo cch xy dng cy nh v y, thut ton c th di chuyn ti mi cy hp l.
ID3 c khuynh hng la chn cy quyt nh n gin tc l cy c t nt, trong nhng nt tng ng vi thuc tnh c tng thng tin l n c xp gn gc hn.
Lu : trn va nhc ti khuynh hng (bias) ca thut ton. Trong hc my, t khuynh h ng dng ch tnh cht thut ton u tin mt phng n ny h n mt phng n
90
Hc my
khc trong khi c hai phng n u tha mn yu cu t ra. Trong trng hp cy quyt nh, nu hai cy cng ph hp vi d liu th thut ton c khuynh hng la chn cy t nt hn. Vic la chn cy quyt nh n gin ph hp vi mt nguyn tc trong trit hc c gi l Occams razor (Occam l tn mt nh trit hc) theo nu c nhiu gi thit cho php gii thch mt s quan st no th u tin chn gi thit n gin hn.
5.2.4. Vn qu va d liu
Qu va d liu (data overfitting hay n gin l overfitting) l mt vn thng gp trong hc my v c nh h ng nhiu ti chnh xc ca cc k thut hc my. Trong khi xy dng cy quyt nh (hay b phn loi ni chung), thut ton hc my thng c gng cy ph hp vi d liu, tc l phn loi ng cc mu hun luyn, mc ti a. Tuy nhin, mc ch hc cy quyt nh khng phi phn loi d liu mu, m phn loi d liu ni chung, tc l d liu m thut ton cha bit trong th i gian hc. C th x y ra tnh hung cy quyt nh c chnh xc tt trn d liu hun luyn nhng li cho chnh xc khng tt trn d liu ni chung. Khi ta ni cy quyt nh qu va vi d liu hun luyn. Ta ni rng cy quyt nh t qu va d liu hun luyn nu tn ti cy quyt nh t sao cho t chnh xc hn t trn d liu hun luyn nhng km chnh xc hn t trn d liu ni chung. L do b phn loi lm vic tt trn d liu hun luyn nhng khng tt trn d liu ni chung l do cc mu hun luyn thng khng v khng mang tnh i din cho phn b ca d liu ni chung. Chng hn, khi s lng mu ti nt l t, vic xut hin tng quan gia gi tr thuc tnh v nhn phn loi c th x y ra do trng hp ngu nhin dn ti mt s thuc tnh phn chia cc mu rt tt trong khi thc t thuc tnh khng c quan h vi nhn phn loi. Mt l do khc dn ti qu va d liu l do d liu hun luyn c nhiu trong khi thut ton c gng xy dng cy phn loi ng cc v d nhiu ny.
i vi cy quyt nh, thut ton ID3 m t trn pht trin nhnh cy rt su cho n khi phn loi ng ton b mu, hoc khi ht thuc tnh. Nghin cu cho th y, vic pht trin cy phc tp vi nhiu nt l nguyn nhn chnh dn ti qu va d liu. T y, c hai nhm gii php chnh hn ch qu va d liu cho thut ton hc cy quyt nh:
Gii php dng vic dng cy quyt nh sm, trc khi cy phc tp phn loi ng mu hun luyn. Gii php xy dng cy y , sau thc hin ta cy c cy n gin h n.
Trong hai nhm trn, nhm gii php th hai c s dng thnh cng hn trn thc t v do v y s c trnh by tip theo.
Chng qu va d liu bng cch ta cy.

Trc tin, thc hin ta cy, cn c cch xc nh chnh xc phn loi ca cy. Do mc ch ca cy l phn loi nhng mu cha bit trong qu trnh hun luyn nn cch tnh chnh xc thng dng nht l s dng tp hun luyn v tp kim tra ring nh sau: 91
Hc my
Ton b mu c chia thnh hai tp: tp th nht gi l tp hun luyn, tp th hai gi l tp kim tra, thng v i t l 2:1. S dng tp hun luyn xy dng cy, s dng tp kim tra tnh chnh xc ca cy, tc l xc nh xem kt qu phn loi ca cy ph hp n mc no vi mu trong tp kim tra.
Trong trng hp t d liu, mt phng php hay c s dng l kim tra cho. D liu c chia ngu nhin thnh n phn bng nhau. Thut ton ln lt s dng n-1 phn lm tp hun luyn v phn cn li lm tp kim tra. chnh xc c tnh bng chnh xc trung bnh cho n ln. Th tc ta cy thc hin nh sau. Trc tin s dng tp hun luyn xy dng cy y . Sau xem xt ta dn cc nt. Khi ta nt, ton b cc nhnh bn di nt b b, nt tr thnh nt l vi nhn phn loi l y theo a s nhn ca cc v d ti nt . Nt s c ta nu chnh xc sau khi ta khng gim so vi trc khi ta. Lu rng chnh xc c tnh trn tp kim tra. Qu trnh ta c lp li, ti mi bc chn nt ta l nt cho php tng chnh xc phn loi nhiu nht. Th tc ta nt dng li khi vic b i bt c nt no cng lm gim chnh xc.
Chng qu va bng cch ta lut

Thay v ta cc nt nh thut ton ID3 trn, mt ci tin ca thut ton ID3 l thut ton C4.5 thc hin ta cc lut nh sau: Xy dng cy quyt nh cho php phn loi ng ti a tp hun luyn. Bin i cy thnh lut suy din sao cho mi nhnh t gc n l t ng ng mt lut. V d, lut c dng Nu Tri = nng v m = cao Th khng chi Ta tng lut bng cch b bt cc iu kin thnh phn nu sau khi b chnh xc tng ln. Sp xp cc lut c ta theo chnh xc trn tp kim tra. S dng lut theo th t phn loi v d mi.
V d: lut Nu Tri = nng v m = cao Th khng chi c th to ra hai lut bng cch b cc iu kin Tri = nng v m = cao. Cn lu rng, sau khi ta cc lut, cng mt v d c th trng vi v tri ca nhiu h n mt lut (iu ny khng x y ra vi cy do cc nhnh cy loi tr ln nhau). Trong trng hp ny cn xc nh lut no s c s dng. l l do cn sp xp cc lut v s dng theo th t .
5.2.5. S dng thuc tnh c gi tr lin tc

Thut ton trnh by trn yu cu thuc tnh nhn gi tr ri rc trong mt tp hu hn. Trong nhiu trng hp, thuc tnh c th nhn gi tr lin tc di dng s thc. Chng hn, nhit c cho di dng s o thc nh trong v d sau ( y nhit tnh bng F): 92
Hc my
Nhit Ch i tennis
45 khng
56 khng
60 c
74 c
80 c
90 khng
s dng thuc tnh nh v y cn to ra nhng thuc tnh ri rc mi cho php phn chia thuc tnh ri rc thnh cc khong gi tr. Vi mi thuc tnh lin tc A, cch thng c s dng l to ra thuc tnh ri rc Ac sao cho Ac = true nu A > c v Ac = false nu A c, trong c l gi tr ngng.
Vn t ra l xc nh ngng c nh th no. Trc ht, c cn c chn sao cho Ac em li tng thng tin ln nht. tm c c nh v y, ta sp xp cc v d theo th t tng dn ca thuc tnh A, sau xc nh nhng trng hp hai v d nm cnh nhau c nhn khc nhau. Gi tr trung bnh ca thuc tnh A ca hai thuc tnh nh v y s c s dng lm gi tr d kin ca c, trong v d trn l (56+60)/2 = 58 v (80+90)/2 = 85 . Sau tnh tng thng tin cho tng gi tr d kin v chn c em li thng thng tin ln nht, trong v d trn l thng thng tin ca Nhit_58 v Nhit_85. Phng php trn c th m rng bng cch cha gi tr thuc tnh thnh nhiu khong vi nhiu ngng, thay v ch s dng mt ng ng nh ta va th y.
5.2.6. S dng cch nh gi thuc tnh khc

Cch nh gi thuc tnh bng tng thng tin IG trn khng phi duy nht v c th cho kt qu khng tt trong mt s trng hp. C th, vic nh gi da trn entropy thun ty dn ti vic u tin nhng thuc tnh c nhiu gi tr v do vy to ra nhiu tp con. Trong v d bng 4.1, nu s dng c Ngy nh mt thuc tnh, thuc tnh ny s c ti 14 gi tr khc nhau, chia tp hun luyn thnh 14 tp con v i entropy = 0 v do vy c Ngy c IG cao nht. Vic chn ngy nh v y dn ti cy quyt nh khng c kh nng phn loi nhng ngy tip theo. Nh v y, thuc tnh Ngy mc du c IG rt tt nhng cn trnh v c nhiu gi tr.
gii quyt vn ny, ta c th thm thnh phn vo cng thc tnh IG pht nhng thuc tnh nhiu gi tr. Thnh phn gi l thng tin chia (Split Informatio SI) v c tnh nh sau:
SI ( S , A) =
| Si | |S | log 2 i i =1 | S | |S|
C
Tiu chun nh gi thuc tnh (k hiu l GR Gain Ratio) khi c to thnh bng cch chia IG cho SI: GR = IG (S, A) / SI (S, A) Mt vn cn quan tm khi s dng GR l gi tr SI c th bng khng khi |Si| = |S|. x l trng hp ny cn c nhng quy tc ring, chng hn ch tnh GR khi IG l n ti mt mc no . 93
Hc my
Bn cnh GR cn c nhiu o khc c nghin cu v xut s dng khi xy dng cy quyt nh. 5.3. PHN LOI BAYES N GIN Phn ny s cp ti phn loi Bayes n gin (Nave Bayes), mt phng php phn loi n gin nhng c nhiu ng dng trong thc t nh phn loi vn bn, lc th rc. Phn loi Bayes n gin l trng hp ring ca k thut hc my Bayes, trong cc gi thit v c lp xc sut c s dng n gin ha vic tnh xc sut.
5.3.1. Phng php phn loi Bayes n gin

Tng t nh hc cy quyt nh trn, phn loi Bayes n gin s dng trong trng hp mi v d c cho bng tp cc thuc tnh <x1, x2, , xn> v cn xc nh nhn phn loi y, y c th nhn gi tr t mt tp nhn hu hn C. Trong giai on hun luyn, d liu hun luyn c cung cp di dng cc mu <xi, yi>. Sau khi hun luyn xong, b phn loi cn d on nhn cho mu mi x. Theo l thuyt hc Bayes, nhn phn loi c xc nh bng cch tnh xc sut iu kin ca nhn khi quan st th y t hp gi tr thuc tnh <x1, x2, , xn>. Thuc tnh c chn, k hiu cMAP l thuc tnh c xc sut iu kin cao nht (MAP l vit tt ca maximum a posterior), tc l: y = c MAP = arg max P(c j | x1 , x 2 ,..., x n )
c j C
S dng quy tc Bayes, biu thc trn c vit li nh sau c MAP = arg max
c j C
P( x1 , x 2 ,..., x n | c j ) P(c j ) P( x1 , x 2 ,..., x n )
= arg max P( x1 , x 2 ,..., x n | c j ) P(c j )

c j C
Hai thnh phn trong biu thc trn c tnh t d liu hun luyn. Gi tr P(cj) c tnh bng tn sut quan st th y nhn cj trn tp hun luyn, tc l bng s mu c nhn l cj chia cho tng s mu. Vic tnh P ( x1 , x 2 ,..., x n | c j ) kh khn hn nhiu. Vn l s t hp gi tr ca n thuc tnh cng vi nhn phn loi l rt ln khi n ln. tnh xc sut ny c chnh xc, mi t hp gi tr thuc tnh phi xut hin cng nhn phn loi nhiu, trong khi s mu hun luyn thng khng ln.
gii quyt vn trn, ta gi s cc thuc tnh l c lp v xc sut vi nhau khi bit nhn phn loi cj. Trn thc t, cc thuc tnh thng khng c lp vi nhau nh v y, chng hn i v i v d chi tennis, khi tri nng th xc sut nhit cao cng l n h n. Chnh v da trn gi thit c lp xc sut n gin nh v y nn ph ng php c tn gi Bayes n gin. Tuy nhin, nh ta th y sau y, gi thit nh v y cho php tnh xc sut iu kin n gin h n nhiu v trn thc t phn loi Bayes c chnh xc tt trong rt nhiu ng dng.
94
Hc my
Vi gi thit v tnh c lp xc sut c iu kin, c th vit:

P ( x1 , x 2 ,..., x n | c j ) = P ( x1 | c j ) P ( x 2 | c j )...P ( x n | c j )
tc l xc sut ng th i quan st th y cc thuc tnh bng tch xc sut iu kin ca tng thuc tnh ring l. Thay vo biu thc trn, ta c b phn loi Bayes n gin (c u ra k hiu l cNB) nh sau. c NB = arg max P (c j ) P( xi | c j )
c j C i
trong , P ( xi | c j ) c tnh t d liu hun luyn bng s ln xi xut hin cng vi cj chia cho s ln cj xut hin. Vic tnh xc sut ny i hi t d liu hn nhiu so vi tnh P ( x1 , x2 ,..., xn | c j ) . Qu trnh hc Bayes n gin l qu trnh tnh cc xc sut P(cj) v cc xc sut iu kin P ( xi | c j ) bng cch m trn tp d liu. Hc Bayes n gin khng i hi tm kim trong khng gian cc b phn loi nh i vi trng h p hc cy quyt nh.
V d.
minh ha cho k thut hc Bayes n gin, ta s dng li bi ton phn chia ngy thnh ph hp hay khng ph hp cho vic chi tennis theo iu kin thi tit c s dng trong phn hc cy quyt nh vi d liu hun luyn cho trong bng 4.1. Gi s phi xc nh nhn phn loi cho v d sau:
< Tri = nng, Nhit = trung bnh, m = cao, Gi = mnh > Thay s liu ca bi ton vo cng thc Bayes n gin, ta c: c NB = arg max P (c j ) P( xi | c j )
c j C i
= arg max P (Tri=nng| cj)P (Nh. =t. bnh| cj)P ( m=cao| cj)P (Gi=mnh |cj)
c j {co , khong}
P (cj) Do cj c th nhn hai gi tr, ta cn tnh 10 xc sut. Cc xc sut P(c) v P(khng) c tnh bng tt sut c v khng trn d liu hun luyn. P(c) = 9/14 = 0,64 P(khng) = 5/14 = 0,36 Cc xc sut iu kin cng c tnh t d liu hun luyn, v d ta c: P ( m = cao | c) = 3/9 = 0,33 P ( m = cao | khng) = 4/5 = 0,8 Thay cc xc sut thnh phn vo cng thc Bayes n gin, ta c: P(c)P(nng| c)P(trung bnh| c)P(cao| c)P(mnh| c) = 0.0053 P(khng)P(nng| khng)P(trung bnh| khng)P(cao| khng)P(mnh| khng) = 0.0206
95
Hc my
Nh v y, theo phn loi Bayes n gin, v d ang xt s c phn loi l khng. Cn ch rng, 0.0053 v 0.0206 khng phi l xc sut thc ca nhn c v khng tnh xc sut, ta cn chun ha tng hai xc sut bng 1, chng hn xc sut c chi s bng 0.0053/(0.0053+0.0206) = 0.205.
5.3.2. Vn tnh xc sut trn thc t

Phn loi Bayes n gin i hi tnh cc xc sut iu kin thnh phn P ( xi | c j ) . Xc sut ny c tnh bng nc / n, trong nc s ln xi v cj xut hin ng thi trong tp hun luyn v n l s ln cj xut hin. Trong nhiu trng hp, gi tr nc c th rt nh, thm ch bng khng, v do vy nh h ng ti chnh xc khi tnh xc sut iu kin. Nu nc = 0, xc sut iu kin cui cng s bng khng, bt k cc xc sut thnh phn khc c gi tr th no.
khc phc vn ny, mt k thut c gi l lm trn th ng c s dng. Trong trng hp n gin nht, ta tnh P ( xi | c j ) = (nc + 1) /( n + 1). Trong trng hp chung, c th s
dng cng thc c lm trn sau:

P ( xi | c j ) =
nc + mp n+m
trong p l xc sut tin nghim ca xi v m l tham s cho php xc nh nh h ng ca p ti cng thc. Nu khng c thm thng tin g khc th xc sut tin nghim thng c tnh p = 1 / k, trong k l s thuc tnh ca thuc tnh Xi. V d, nu khng c thm thng tin g thm th xc sut quan st th y Gi = mnh s l 1/2 do thuc tnh Gi c hai gi tr. Nu m = 0, ta c cng thc khng lm trn ban u. Ngc li, khi m , xc sut hu nghim s bng p, bt k nc th no. Trong nhng trng hp cn li, c nc / n v p cng ng gp vo cng thc.
5.3.3. ng dng trong phn loi vn bn t ng

Phn loi vn bn t ng l bi ton c nhiu ng dng thc t. Trc tin, cho mt tp hun luyn bao gm cc vn bn. Mi vn bn c th thuc vo mt trong C loi khc nhau ( y ta khng xt trng hp mi vn bn c th thuc vo nhiu loi khc nhau). Sau khi hun luyn xong, thut ton phn loi nhn c vn bn mi v cn xc nh phn loi cho vn bn ny. V d, vi cc vn bn l ni dung th in t, thut ton c th phn loi th thnh th rc v th bnh thng. Khi hun luyn, thut ton hc c cung cp mt tp th rc v mt tp th thng. Sau , da trn ni dung th mi nhn, b phn loi s t xc nh c phi th rc khng. Mt ng dng khc l t ng phn chia bn tin thnh cc th loi khc nhau, v d chnh tr, x hi, th thao.v.v. nh trn bo in t. Phn loi vn bn t ng l dng ng dng trong phn loi Bayes n gin v cc phng php xc sut khc c s dng rt thnh cng. Chng trnh lc th rc m ngun m SpamAssassin (http:// spamassassin.apache.org) l mt chng trnh lc th rc c s dng 96
Hc my
rng ri vi nhiu c ch lc khc nhau, trong lc Bayes n gin l c ch lc chnh c gn trng s cao nht. Sau y ta s xem xt cch s dng phn loi Bayes n gin cho bi ton phn loi v n bn. n gin, ta s xt trng hp vn bn c th nhn mt trong hai nhn: rc v khng.
s dng phn loi Bayes n gin, cn gii quyt hai vn ch yu: th nht, biu din vn bn th no cho ph hp; th hai: la chn cng thc c th cho b phn loi Bayes.
Cch thng dng v n gin nht biu din vn bn l cch biu din bng ti t (bag-of-word). Theo cch ny, mi vn bn c biu din bng mt tp hp, trong mi phn t ca tp hp tng ng vi mt t khc nhau ca vn bn. n gin, y ta coi mi t l mt n v ngn ng c ngn vi nhau bi du cch. Lu rng y l cch n gin nht, ta cng c th thm s ln xut hin thc t ca t trong vn bn. Cch biu din ny khng quan tm ti v tr xut hin ca t trong vn bn cng nh quan h vi cc t xung quanh, do v y c tn gi l ti t. V d, mt vn bn c ni dung Chia th thnh th rc v th thng s c biu din bi tp t {chia, th, thnh, rc, v, th ng} v i su phn t. Gi thit cc t biu din cho th xut hin c lp vi nhau khi bit nhn phn loi, cng thc Bayes n gin cho php ta vit: c NB = arg max P(c j ) P( xi | c j )
c j { rac ,khong } i
= arg max P (cj) P(chia| cj) P(th | cj) P(thnh| cj)

c j { rac , khong}
P(rc| cj) P(v| cj) P(thng | cj) Cc xc sut P(rc| cj) c tnh t tp hun luyn nh m t trn. Nhng t cha xut hin trong tp hun luyn s b b qua, khng tham gia vo cng thc. Cn lu rng cch biu din v p dng phn loi Bayes n gin cho phn loi vn bn va trnh by l nhng ph ng n n gin. Trn thc t c rt nhiu bin th khc nhau c trong vic chn t, biu din vn bn bng cc t, cng nh cng thc tnh xc sut iu kin ca vn bn. Mc d n gin, nhiu th nghim cho th y, phn loi vn bn t ng bng Bayes n gin c chnh xc kh cao. Trn nhiu tp d liu th in t, t l phn loi chnh xc th rc c th t trn 98%. Kt qu ny cho th y, mc d gi thit cc t c lp vi nhau l khng thc t, chnh xc phn loi vn ca Bayes n gin khng b nh hng ng k. 5.4. HC DA TRN V D: THUT TON K HNG XM GN NHT
5.4.1. Nguyn tc chung

Trong cc phng php hc cy quyt nh v Bayes n gin, thut ton hc da trn d liu hun luyn hc ra m hnh v tham s cho b phn loi. M hnh phn loi sau c s dng d on nhn cho v d mi. Qu trnh hc thc cht l qu trnh xc nh dng v tham s ca hm ch, l hm xp x gi tr nhn phn loi. 97
Hc my
Phn ny s trnh by k thut hc my da trn mt nguyn tc khc gi l hc da trn v d (instance-based learning). Khc v i cc ph ng php hc trn, hc da trn v d khng to ra m hnh hay hm ch cho d liu, thay vo , trong qu trnh hc thut ton ch lu li tt c cc mu hun luyn c cung cp. Khi cn phn loi hay ra quyt nh cho v d mi, thut ton tm nhng mu hun luyn tng t v xc nh nhn phn loi hay gi tr ca v d da trn nhng mu ny. Do thut ton khng lm g trong qu trnh hc m ch lu li cc mu hun luyn, phng php hc da trn v d cn c gi l hc li (lazy learning) hay hc bng cch nh (memory-based learning). Hc da trn v d bao gm mt s k thut hc khc nhau nh thut ton k-hng xm gn nht (k-nearest neighbor), suy din theo trng hp (case-based reasoning). im khc nhau c bn gia nhng k thut ny l cch biu din v tnh tng t gia cc v d. Thut ton k-hng xm gn nht s dng cch biu din v d n gin di dng vec t trong khng gian clit v s dng khong cch clit tnh tng t, trong khi suy din theo trng hp da trn vic biu din cc mu (gi l trng hp) phc tp hn v dng nhng k thut phc tp c xy dng ring tnh tng t cho cc trng hp.
u im. So vi phng php hc da trn m hnh, hc da trn v d c mt s u im. Th nht, do khng quy nh trc m hnh hay dng ca hm ch, hc da trn v d c th xy dng nhng hm ch rt phc tp. Th hai, thay v xy dng hm ch chung cho ton b d liu, hc da trn v d xy dng hm ch da trn mt s mu gn vi v d ang cn d on, do v y c th tn dng c c im mang tnh cc b ca d liu m t tt hn gi tr v d mi. Nhc im. Nhc im th nht ca hc da trn v d l tc chm trong giai on phn loi. Do thut ton phi so snh v d mi vi ton b tp mu tm ra nhng mu tng t nn thi gian phn loi t l thun vi kch thc tp mu. khc phc vn tc , cch thng dng nht l s dng k thut nh ch s tm kim nhanh mu tng t. Nhc im th hai ca hc da trn v d l vic tnh tng t c thc hin v i ton b thuc tnh. Nu thuc tnh khng lin quan ti phn loi ca v d th khi s dng s gy nhiu, khin nhng v d cng nhn khng tng t v i nhau. Vn chn v s dng nhng thuc tnh tt, do vy, c nh hng quyt nh ti chnh xc ca phng php ny. 5.4.2. Phng php k-hng xm gn nht
K-hng xm gn nht (k-nearest neighbors, vit tt l k-NN) l ph ng php tiu biu nht ca hc da trn v d. Nguyn tc ca ph ng php ny l c im ca mu c quyt nh da trn c im ca k mu ging mu ang xt nht. V d, mun xc nh nhn phn loi, ta tm k mu gn nht v xem nhng mu ny mang nhn g. Phng php k-NN th ng lm vic vi d liu trong cc thuc tnh c cho di dng vec t cc s thc. Nh v y, mi mu tng ng v i mt im trong khng gian clit. Gi s mu x c gi tr thuc tnh l < a1(x), a2(x),, an(x) >. xc nh cc mu ging x, cn c
98
Hc my
o khong cch gia cc mu. Do mu tng ng vi im trong khng gian, khong cch clit thng c dng cho mc ch ny. Khong cch clit gia hai mu xi v xj c tnh nh sau:
d (xi, xj) =
ln=1 ( a l ( xi ) al ( x j ))
Vi khong cch d (xi, xj) va c nh ngha, phng php k-NN cho hai trng hp: phn loi v hi quy (regression) c thc hin nh sau.
Phn loi
Mi mu x c th nhn phn loi f(x) vi f(x) nhn mt gi tr trong tp hu hn cc phn loi C. Thut ton k-NN cho phn loi c cho trn hnh 5.5. Giai on hc (hun luyn) Lu cc mu hun luyn c dng <x, f(x)> vo c s d liu Giai on phn loi
u vo: tham s k
Vi mu x cn phn loi: 1. Tnh khong cch d (x, xi) t x ti tt c mu xi trong c s d liu 2. Tm k mu c d (x, xi) nh nht, gi s k mu l x1, x2, , xk. 3. Xc nh nhn phn loi f(x) l nhn chim a s trong tp { x1, x2, , xk.} Hnh 5.5. Thut ton k-NN cho bi ton phn loi
Hi quy (regression)
Mi mu x c th nhn phn loi f(x) vi f(x) l mt s thc. Thut ton k-NN trn c th thay i d dng cho bi ton hi quy ny bng cch thay bc nh s 3 trong thut ton hnh 4.3 nh sau:
k
f ' ( x) =
i =1
f ( xi ) k
Thut ton k-NN c mt tham s u vo l k: s hng xm c dng quyt nh nhn cho mu ang xt. Nu k = 1, gi tr hm f (x) c chn bng gi tr hm f ca mu gn nht. Thng th ng k = 1 khng cho kt qu tt do hng xm gn nht c nh hng quyt nh ti gi tr f (x). Trong tr ng hp hng xm gn nht l nhiu s khin kt qu b sai. Nhiu nghin cu cho th y gi tr k trong khong t 5 n 10 l ph hp. xc nh gi tr c th ca k c th s dng phng php kim tra cho nh trnh by phn ta cy. Gi tr k cho chnh xc khi kim tra cho tt nht s c la chn cho thut ton.
5.4.3. Mt s lu vi thut ton k-NN a) Cc o khong cch v tng t

99
Hc my
Khong cch clit l o thng dng tnh khong cch gia cc v d. Bn cnh c th s dng nhng o khc. Khong cch Mahalanobis. Khong cch Mahalanobis cho php tnh tng quan gia cc thuc tnh v c s dng trong trng hp cc thuc tnh c biu din theo nhng thang khc nhau, chng hn khi hai thuc tnh l chiu cao v cn nng. Trong trng hp , khong cch Mahalanobis cho php chun ha khong cch, cn bng ng gp ca hai thuc tnh. Khong cch Hamming. Khong cch clit khng th s dng c nu thuc tnh nhn gi tr ri rc. Trong trng hp ny c th s dng khong cch Hamming, c tnh bng s thuc tnh c gi tr khc nhau.
b) S dng trng s cho cc hng xm

Theo thut ton k-NN trnh by trn cho bi ton hi quy, mi hng xm c ng gp nh nhau vo gi tr ca v d mi. Tuy nhin, s hp l hn nu cho php nhng hng xm gn c nh hng nhiu hn ti gi tr d on. C th thc hin iu ny bng cch nhn gi tr hng xm vi trng s, trng s cng l n nu hng xm cng gn v d cn d on. V d, trng s c th tnh bng nghch o ca bnh phng khong cch ti v d cn d on, tc l: wi = 1 d ( x, xi ) 2
k
Thm trng s vo cng thc hi quy, gi tr hm f (x) ca v d x c tnh nh sau: f ' ( x) =

i =1
wi
k i =1
f ( xi )
wi
Trong trng hp ny, mu s l tng trng s v cho php chun ha ng gp ca tng hng xm. Vi vic s dng trng s, c th khng cn gi i hn s lng hng xm do nhng v d cng xa s c nh hng cng nh ti gi tr hm ch ca v d mi. Tuy nhin, vic khng gii hn s lng hng xm i hi tnh ton nhiu v do v y tc ca thut ton s b nh h ng.
c) nh hng ca thuc tnh ti thut ton

tnh khong cch, k-NN s dng ton b thuc tnh ca v d, bt k thuc tnh c lin quan ti nhn phn loi ca v d hay khng. y l im khc vi phng php hc cy quyt nh, trong ch nhng thuc tnh lin quan c chn trn cc nt, hay phng php Bayes n gin, trong ch nhng thuc tnh lin quan mi c xc sut iu kin cao. Nu d liu bao gm c nhng thuc tnh khng lin quan ti nhn phn loi, nhng thuc tnh ny s nh hng ti khong cch. V d, gi s d liu c 100 thuc tnh, trong ch c 2 thuc tnh c nh h ng ti nhn phn loi. Khi nhng v d c hai thuc tnh ny ging nhau vn c th nm rt xa nhau trong khng gian 100 chiu. nh hng ca s lng thuc tnh ln v khng lin quan lm gim ng k chnh xc ca k-NN. gii quyt vn ny c th s dng hai phng php:
100
Hc my
nh trng s cho thuc tnh sao cho thuc tnh t lin quan c trng s nh v ngc li.
La chn thuc tnh (hay cn gi l trch chn c trng): ch nhng thuc tnh lin quan c gi li, trong khi nhng thuc tnh khng lin quan b b i. y l trng hp ring phng php nh trng s cho thuc tnh, trong nhng thuc tnh b loi c trng s bng khng.
C rt nhiu nghin cu cp ti vic la chn v nh trng s cho thuc tnh. Do gi i hn ca mn hc, cc ni dung ny s khng c cp ti y. 5.5. S LC V MT S PHNG PHP HC MY KHC Ngoi ba phng php hc my dng cho phn loi c trnh by trn, rt nhiu phng php hc my khc c pht trin v s dng trong nhiu ng dng khc nhau. Sau y l gii thiu s lc v mt s phng php c ng dng nhiu hoc v chnh xc tt.
Mng n ron nhn to

Mng n ron nhn to da trn nguyn l h thng thn kinh (n ron) ca ngi v ng vt bc cao, trong s dng nhiu nt c ni vi nhau thnh mt mng l i. Tn hiu c truyn t nt n sang nt kia ty thuc mc tn hiu v c ch x l ti mi nt. Trn hnh sau l mt v d t chc mng n ron trong mt s nt nhn tn hiu t ngoi vo, mt s nt tr tn hiu ra ngoi, cc nt c th truyn tn hiu ti nhng nt khc.
Ti mi nt c mt hm cho php tr ra kt qu theo tn hiu u vo. Nh vic s dng nhiu nt v i nhng hm x l ring ti tng nt, mng n ron cho php xy dng nhng hm ch rt phc tp nh x t tn hiu u vo thnh kt qu u ra. Qu trnh hc mng n ron l qu trnh hiu chnh tham s ca hm x l ti cc nt sao cho nh x u vo sang u ra ph hp nht vi d liu hun luyn. Mng n ron nhn to l ph ng php hc my c pht trin t sm, c th dng cho phn loi hoc hi quy vi chnh xc cao, v ang c s dng trong rt nhiu ng dng khc nhau.
Support vector machines (SVM)
101
Hc my
Support vector machines (SVM) (mt s ti liu dch l my vec t ta) l k thut hc my c pht trin v nghin cu gn y (t nm 1995). SVM c xy dng cho bi ton phn loi nh phn, tc l mi v d c th nhn mt trong hai nhn. Cc v d phi c biu din bng thuc tnh lin tc, v do vy mi v d tng ng v i mt vec t trong khng gian (tng t trng hp k-NN). SVM da trn hai nguyn tc chnh SVM tm cch phn chia v d c nhn khc nhau bng mt siu phng sao cho khong cch t siu phng ti nhng v d c nhn khc nhau l ln nht. Nguyn tc ny c gi l nguyn tc l cc i (max margin). Trong qu trnh hun luyn, thut ton SVM xc nh siu phng c l cc i bng cch gii bi ton ti u cho mt hm mc tiu bc 2.
gii quyt trng hp cc v d khng th phn chia bng mt siu phng, phng php SVM s nh x khng gian ban u ca cc v d sang mt khng gian khc th ng l c s chiu cao hn, sau tm siu phng vi l cc i trong khng gian ny. tng tnh hiu qu khi nh x, mt k thut c s dng l k thut dng hm nhn (kernel function) thay cho tch c hng ca cc vec t.
Trong trng hp phn loi vi nhiu nhn, cch thng dng l kt hp nhiu SVM nh phn vi nhau. SVM c nhiu u im: - y l phng php c c s l thuyt tt da trn l thuyt v kh nng khi qut ha ca b phn loi. - C th lm vic tt vi d liu nhiu chiu (nhiu thuc tnh). - Cho kt qu rt chnh xc so vi cc phng php khc trong hu ht ng dng.
Boosting Khc vi nhng ph ng php trnh by trn, boosting l mt dng meta learning, tc l lm vic da trn nhng phng php hc khc. gii quyt bi ton phn loi, boosting kt hp nhiu b phn loi n gin vi nhau to ra mt b phn loi c chnh xc cao hn. V d, ta c th xy dng b phn loi n gin bng cch s dng cy quyt nh ch c mt nt nt gc, cn c gi l gc cy quyt nh. Cy quyt nh nh v y s c chnh xc khng cao. Thut ton boosting khi kt hp cc gc cy nh sau: - Mi v d hun luyn c gn mt trng s, u tin trng s bng nhau. - Thut ton lp li nhiu vng Ti mi vng, la chn mt gc cy c chnh xc tt nht. Gc cy chnh xc nht l gc cy c li nh nht v i li tnh bng tng trng s nhng v d b phn loi sai.
102
Hc my
Nhng v d b phn loi sai c tng trng s trong khi nhng v d ng b gim trng s. Nh vic thay i trng s nh vy, thut ton s ch nhiu h n ti v d b phn loi sai trong nhng vng sau. - B phn loi cui c to ra bng tng cc cy quyt nh xy dng ti mi vng lp. Thut ton boosting c mt s u im nh: - chnh xc cao. - t b nh h ng bi hin tng qu va d liu. - C th s dng vi nhiu phng php phn loi n gin khc nhau.
103
Hc my
TI LIU THAM KHO

1. S. Russell, P. Norvig. Artificial intelligence: a modern approach. 2nd edition. Prentice Hall. 2003. 2. Tim M. Jones. Artificial intelligence a system approach. Infinity science press. 2008. 3. inh Mnh Tng. Tr tu nhn to. Nh xut bn Khoa hc k thut. 2002. 4. Nguyn Thanh Th y. Tr tu nhn to. Nh xut bn khoa hc k thut 1999. 5. T. Mitchell. Machine learning. McGrawhill. 1997. 6. Trung Tun. Tr tu nhn to. Nh xut bn Gio dc 1998.
104

TTNT

Uploaded by

Document Information

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

TTNT

Uploaded by

Copyright:

Available Formats

HC VIN CNG NGH BU CHNH VIN THNG ---------------------------T MINH PHNG

GII THIU CHUNG

Gii thiu chung

Gii thiu chung

Gii thiu chung

Gii thiu chung

Gii thiu chung

CHNG 2: GII QUYT VN BNG TM KIM

Gii quyt vn bng tm kim

Trng thi xut pht Hnh 2.1. Tr 8

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Hnh 2.3. Cy tm kim cho bi ton 8

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Ly node n u tin ra khi O If n G, return (ng i ti) n 21

Gii quyt vn bng tm kim

If su (n) nh hn hoc bng C, then thm P(n) vo u O

Hnh 2.7. Cy tm kim theo thut ton tm kim su dn

Gii quyt vn bng tm kim

Hnh 2.8: Cy tm kim trong trng hp tm theo hai hng 23

Gii quyt vn bng tm kim

Tm chu trnh Hamilton xut pht t A

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

g(m) = g(n) + c(m, n) f(m) = g(m) + h(m)

Return: khng tm c ng i Hnh 2.9. Thut ton A* 26

Gii quyt vn bng tm kim

Ta c th s dng hai hm heuristic sau. -

h2 (n) : tng khong cch Manhattan gia v tr hin thi ca mi ti v tr ng ca

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Thut ton: A*(Q, S, G, P, c, h)

2. i i + , O S Hnh 2.10. Thut ton A* su dn

Thut ton y v -ti u 29

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

1. Chn ngu nhin trng thi x 2. Gi Y l tp cc trng thi hng xm ca x

Gii quyt vn bng tm kim

b) Leo i ngu nhin

1. Chn ngu nhin trng thi x 2. Gi Y l tp cc trng thi hng xm ca x

Gii quyt vn bng tm kim

Gii quyt vn bng tm kim

T0 > 0, thuc (0,1), 1 < k < m

BIU DIN TRI THC V SUY DIN LOGIC

Biu din tri thc v suy din logic

M t s h th ng logic c pht tri n v sau s d ng nhi u gi tr hn nh logic a tr , logic m

Biu din tri thc v suy din logic

Biu din tri thc v suy din logic

AB False False False True

AvB False True True True

A=>B True True False True

A<=>B True False False True

Lut De Morgan o (A B) A B o (A B) A B Lut giao hon o AvB BvA 39

Biu din tri thc v suy din logic

Lut phn phi o A (B C) (A B ) (A C) o A (B C) (A v B ) (A C)

Biu din tri thc v suy din logic

S dng cc quy tc suy din

Biu din tri thc v suy din logic

T mt ko theo v gi thit ca ko theo, ta suy ra kt lun ca n. 2. Lut Modus Tollens