TOM TAT Nhin dign mat ngudi Id bai ton méi chi xudit hign cich day khOng lau , chi khodng va thép nién , nhumg da c6 rit nhigu nghién ciru vé né . Céc nghién etru ban dau rat dom gin , anh la den tring vi chi e6 mt Khun mat chyp thing , sau nay mé ng ra cho anh mau , anh 6 nhigu khudn mat véi nhigu géc , mi trurmg xung quanh eiing di tir don gin dén rit phitc tap Ngiy nay cde hé théng nhin dang mat ngudi dang duge img dung trong nhigu Tinh vue, dae bigt 12 an ninh va bao mat. Nhan dang mat ngudi tie la dura ra nhitng thong tin tuomg, duge dura vao tir mgt bite anh, hay tir camera quan sat, Bude du tién cia mot hé théng nhan dang mat ngurdi ld phat hign khudn mat, te xc dinh vi tri Khuén mat trén bite anh, sau day tich Khun mit ra khoi anh dé tién hinh nhdn dang. Sau khi da xem xét cdc huéng tiép can Khéc nnhau, em chon phurong phip PCA va phuong phap tiép cn hoc méy bing Adaboost va mé hinh Cascade of classifiers. Biém manh ciia Adaboost la tc 46 phat hign Khun mat kha nhanh, Két ‘qua thir nghigm cho thay chuong trinh dat d6 chinh xc khé cao v6i cde anh mit ngudi duwge cchup truc dign bing may ki thuat 86.(CHUONG 1- TONG QUAN VE CAC PHUONG PHAP XAC 1. Gidi thigu_vé bai todn xc dinh mat ngudi trong anh. Trong nhiéu nim qua, e6 rat nhiéu e6ng trinh nghién ecu v8 bai todn nhiin dang mét ngudi, Cae nghién ciru di tir bai todn don gin, tir vige nhdn dang mot mit ngudi trong anh den tring cho dén mérréng cho Anh miu va ¢6 nhiéu mat ngudi trong anh. Dén nay céc bai todn xe dinh mat ngudi da me rng véi nhiéu mién nghién céru nher nhén dang khudn mét, dinh vi Khu6n mat, theo doi mat ngudi hay nhén dang cam xi mat ngudi... Phat hign mt ngwdi trong anh La phin diu tién cia mot hé théng nhin dang mat ngudi. Céc hé thong nhin dang khuén mat duoc bit dau xay dung tir nhimmg nim 1970, tuy nhién do cdn han ché ve cdc luat xée dinh mat ngudi nén chi durge dp dung trong mot s6 img dung nhr nhén dang thé can cde. Né chi duge phat trién manh mé tir nhimg ném 1990 khi ¢6 nhimg tién bp trong cOng nghé video va ngay nay thi cae ting dung cia xic dinh mat ngudi da tro nén pho bien trong cude song. 2. Dinh nghia bai todn xéc dinh mat nguii H MAT NGUOI ‘Xée dinh khuén mat ngudi la mot ky thust may tinh dé xée dinh céc vi tri va kich thude cia cde khuén mat ngudi trong cic anh bit ki. KY thudt nay nhén biét eée dic trumg ctia khuon mat va bd qua ning thir khée nhur: tda nha, edy eb, co thé 3. Nhimng kh6 khin va thach thite di v6i bai toan xie dinh mat nguéi Vige xe dinh khudn mat ngudi cé nhimg khé kh nhat dinh nhur: + Huéng ciia khuén mat d6i v6i may anh, nhu: nhin thing, nhin nghiéng hay nin tir trén xudng. ‘Cling trong mét anh c6 thé ¢6 nhieu khudn mat & nhiing tu thé khde nha. + Sy e6 mat cia ede chi tiét khong phai la dic trumg riéng ciia Khuon mat ngudi, nhu: réu quai ‘nén, mit kinh, + Cac nét mat khée nhau trén khuén mat, nhu: vui, budn, ngac nigh, .... . + Mat ngudi bi che khudt bdi cae di twong khac c6 trong ah, rat khde khi nguoi diy eudi, tte ‘idm hay so ha 4, Céc img dung cia xe dinh mt ngudi ‘Xe dinh mat nguiti thudng la mot phn cia mot hé théng (facial recognition system). N6 thurimg duage diing trong sim sit video, giao tip ngursi may va quan ly cq so dir ligu anh... Cée ig co bain cia xi dinh mat ngudi e6 thé ké dén la: 4.1. Xée minh t6i pha Dya vao anh ciia mét ngudi, nhan dang xem ngudi day e6 phai la t9i pham hay khong, bing eich so sich v6i cée anh ti pham dang duge lu tr. Hoge o6 thé sir dung camera dé phat hign ti pham trong dam dong. Ung dung nay gidip eo quan an ninh quain ly con ngudi t6t hon 4.2, Camera ching trom. Cae hg théng camera sé xe dinh dau la con ngudi va theo doi xem con nguvi dé e6 Jam gi pham phap khong, vi dy nhu lay trdm 43, xm nhap bat hop php vo mét khu vue nio d6. 433, Bao mat. Cae tig dung vé bio mat rat da dang, mt trong s6 dé la céng nghé nhan dang mat nguii ‘cua laptop, cong nghé nay cho phép chu nhan cua may tink chi can ngOi trude may la c6 thé dang nhap dugc. Dé sir dung céng nghg nay, ngudi ding phai sir dung mot webcam dé chyp anh khudn mit cua minh va cho may “hoc” thude cée die diém cia khuén mit gitip cho qué trinh dang nhdp sau nay.4.4, Larutrit Khuwén mat ‘Xée dinh mat ngudi o6 thé duge dmg dung trong ede tram rit tién ty dng (ATM) dé tw trit khuén mat ctia ngudi rit tién, Hign nay c6 nbiing ngudi bi ngudi khée iy trOm the ATM va ma PIN, va bi nit tien trm, hoa c6 nhiing chi tai khoan di rit tien nhuing lai béo v6i ngan hang. 18 bj mat thé va bj rut tign trem, Néu lr trit durge KhuGn mat ciia ngudi rit tién, ngan hang e6 the ‘hing va xur ly dé dng hon, 45. Cie ing dung khdc . + Digu khién vao ra: van phong, cng ty, try so, may tinh, Palm, .... Két hop thém van tay va ‘ming mat. Cho phép nhin vign durge ra vao nai can tht. + An ninh sin bay, xudt nhdp cénh (hign nay co quan xudt nhaip canh My da ap dung). Ding ‘camera quan sit dé xée thye ngudi nhap canh va kiém tra xem ngudi day c6 phai la i pham hay phan ti king bo khong. Tim kiém va t6 chite dit ligu lién quan dén con ngwoi thdng qua khuén ‘mat nguéi trén nhigu hé co sé dit ligu liu trr that én, nhur internet, ede hang truyén hinh, + Kiém tra trang thai ngudi Idi xe c6 ngu git, mat tp trung hay Khong, va h6 try thong bao khi cen thiét. + Tuong lai sé phat trién céc loai the thong minh cé tich hyp san dac trumg ciia nguéi ding trén 46, khi bat cit ngudi ding khéc diing dé truy cap hay xir ly tai ede hé thong s€ durge yeu cau kiém tra cdc dc trumg khuén mat so véi thé dé biét nay e6 phai la chi the hay khong, ngudi + Hing may chup hinh Canon da img dung bai ton xéc dinh khuén mat nguéi vao may chup hhinh thé hé méi dé cho két qua hinh anh dep hon, nhat la khudn mat nguch. 5. Xée dinh pham vi dé tai ai nay, t0i tap trung vio vige xe dinh Khuén mat trong anh. Tir dy hu khuon mat tim duge vio CSDL dé phue wy cho cae mye dich khée ( ching han nhu nhin dang mat ngudi hoe ghép khuon mat vao bike anh Khe ... ). Do ede ditu kign khé khan da néu 6 trén ( mye 3 chuong 1) t6i xin dua ra nig gid dinh va ranh bude sau dé gidm a9 phiie tap cia bai toa * Cae khuén mat duge chup thing hoge g6c nghiéng khong déng ké (bé hon 100) + Phong nén cua anh khong qué phi tap + Anh duge chup trong digu kign dnh sing binh thurimg, + BGi v6i video hoe webcam, do c6 thé tach thinh cfc xir ly trén nh nén v6i_nhiing video phire tap hay webcam qua kém, chung trinh sé khong thye hign durge tot nhat e6 thé.CHUONG 2- CAC CONG TRINH NGHIEN COU Dua vio tinh chit etia cde phuong phip xéc dinh mat ngudi trén anh, cée phuong phap ny durge chia thinh bén loai chinh, tong img véi bin hung tigp edn khéc nhau. Ngoai ra cing 6 rit nhigu nghign ciru ma phuong php xéc dinh mat ngudi khong chi dua vio mot hurémg ma 6 lién quan dén nhieu huréng. + Husing tigp cn dua trén tri thie: Dya vao ede thudt ton, ma héa cae dae tung va quan hé gitta cede de trung cia khuon mat thanh cdc ludt. Day la hudng tigp can theo kiéu top-down. + Hudng tiép cin dua trén dic trumg khdng thay doi: Xay dung céc thudt ton dé tim cée dic ‘nung cua khuén mat ma céc dac trang nay khOng thay di khi ter thé khuon mat hay vj tri dat ‘camera thay doi, Huéng tigp edn nay li hudig tigp edn theo kiéu bottom-up. + Hung tiép cn dra trén so sinh khép mau: Ding cic miu chun cua khudn mat (cée miu ny dduge dinh nghia bing tay truse hod duge tham s6 ha bing m him s6) dé m6 ta ede khuén mat hay ede dic trung eva khudn mat. Mau nay duge str dung dé phit hign khuon mat bing cach quét ni qua anh va tinh ton gi trj twong dng cho mdi vj tr. Vige xuat hign mot khuon mat tai mot vi tri ndo 46 trong anh phy thude vao gid tri trong ding cua diém d6 so vi mu chuin + Hudng tiép can dya trén dign mao: Tréi nguoe véi huéng tiép can dya trén khuén mu, edie md hhinh (hay cde méu) s& durge hoc tir mot tap anh hun luyén ma thé hign tinh chat tiéu biéu cia su xudt hign cita mit ngudi trong anh. Sau dé hé théng (m6 hinh) sé xée dinh mgt ngudi. Phuong hap nay cin duge biét dén véi tén goi tip can theo cée phuong phip hoc may. L.A. Fheing tiép cn cha trén tri thie Lid Tetwong, ‘Trong hung tiép cn nay, ede phurong phip xe dinh mat ngudi duwge xay dymg diva vao cde Iudt, cic luat nay phy thude vio tri thite cua céc tée wid nghién city vé bai todn xéc dinh ‘Khu6n mat. Dé dng x4y dumg céc Iudt co bin dé mé ta ede dic trumg ciia khudn mat va ede quan hg twong ing. Vi du, mot khuén mat thudng ¢6 hai mat d6i ximg qua truc thing dimg gitta khuén mat va ¢6 mot mai mét migng. Céc quan hé dae trumg e6 thé li quan hé vé vi tri va khoang each tuong d6i. Kh6 khan cia huréng tiép ef nay dé la kim thé nio dé chuyén cfc tri thie cua con ‘ngudi vé khudn mat sang cdc lugt cho méy tinh mot edch higu qua. Néu cdc Iudt nay quai chi tiét, chat che thi sé o6 thé xée dinh thiéu ede khudn mat ¢6 trong anh, nhung néu cde Iwat qué tong ‘quit thi sé dan dén xéc dinh sai khu wee khong phai la khuon mat thinh khu6n mat. Ngoai ra cling khé dé md rng pham vi cia bai toan dé xéc dinh céc khudn mat c6 nhieu tu thé khéc nhau, 1.1.2. Cée nghién eta Cé nhidu cach dé xdy dung chuong trinh xéc dinh mat ngudi theo huéng tiép cin dua trén tri thie, Thong thudng chyong trinh sé duge xy dyng theo hug dya vio mot phuong phap nio day chon ra cic img vién trong bire anh trude, sau dé s® ap dung céc Indt dé xéc dinh ting vién nao li khudn mit, img vién nio khdng phi la khuén mit. Qué trink nay e6 thé due dp dung nhiéu lan dé gidm sai sHinh 1: Mét phuong phap xéc dinh khuon mat din theo hudng tiép edn top-down, Trén hinh 1, Céc ludt duge xay dung diva vao tri thite ciia ngudi nghién ciru vé céc dic trung iia Khuén mat (vi du nhur cudng 46 phan phdi va sw khée nhau ) cua cée ving trén khuon mat ‘Yang va Huang da sir dung hudng tiép cn da trén tri thire dé xée dinh khuon mat [7]. He thing ciia hai tac gia bao gom ba mire luat. Dau tién cic dng sir dung mot khung cira so dé ‘quet trén bite anh va thong qua mot s6 tap ludt dé xac dinh céc ting vién ¢6 thé la mat ngudi, vi dy nhur tim phan trung tam ciia khuén mat (phan t6i hon trong hinh 1). Tiép theo, ding mot tap Iuat dé m6 ta tng quit hinh ding khudn mat, Igc ede ting vién & mire mot thinh mot tap ede img vién méi 6 xée xudt 1A khuon mgt cao hon. Cudi cing, cde Ong Iai ding mot tip lust Khéc dé xem xét 6 mie chi tit fe dc trumg khu6n mt (c6 thé la de trumg ve mat, mai, migng ... ),t 6 loc ra céc tg vién chinh xéc nhat. Cé thé ndi céch lim eta hai ng la mot ca 8 dat duge két qua t6t nhit, mic dit ty Ig chinh xée chura cao, nhung day la nghién etfu sau nai Cé rit nhiéu cOng trinh nghign eivu sir dung phuong php chiéu 48 xée dinh khudn mat Kotropoulos va Pitas dura ra mot phuong php gan tong tir voi Yang va Huang. Diu ti ‘ving ca khudn mat durge dinh vi bai phrong phap chigu (da duce Kanade sit dung thanh céng) 8 xéc dinh bién ctia khudn mat, Véi I(x,y) la gid tri xdm cia mot diém trong anh c6 kich thude ‘m xn tai vi tri (x,y), ede ham dé chiéu anh theo phyong ngang va thing dig durge dinh nghia nnhur sau: 1G) = P16) z wigy = Jey) Dya trén biéu 46 hinh chiéu ngang, khi xét biéu dé bién thién ciia HI hai dng tim durge hai cue tieu dia phrong tuong tig véi hai dinh di bén trai va bn phai cua khudn mat. Cdn theo hhinh chigu doc, xét bién thién va tim cue tiéu dia phyong ctia VI cing cho ta céc vi tri ctia ‘migng, dinh mili va hai mit, Cac die trmg nay di dé xée dinh khudn mat Hinh 2.a cho mot vi du vé céch xée dinh nhur trén. Cach xée dinh nay 06 ty Ie xée dinh chinh xéc 1a 86.5% cho truimg hop chi c6 m@t khuén mat trac dién va hinh nén khOng phife tap. Néu hinh nén phite tap nur i khé tim, Cdn néu dn c6 nhigu khudn mt (hinh 2.) thi sé khong xée dinh dugeHinh 2: Phuong phap chiéu (a) Anh chi ¢6 mot khuén mat va hinh nén don gin; (b) Anh chi c6 mot khuén mat va (©) Anh o6 nhigu khudn mat | 1.2, Hueing tig céin dea trén dec trang khong thay déi, kp ohn ya ba obo fe tong kg hay iW va ede diéu kign mdi trudmg nhu nh sing khic nhau, Ba e6 rit nhigu nghién ecru can nay, efe die diém khong thay i duge tim thiy nhu long miy, mit, mii, migng hay ede duimg vign trén t6c ... Trén co si ede dle trumg nay, cée nh nghign citu xy ddymg lén mgt mo hinh théng ké mé ta quan hé cia cic dc trumg va tir d6 xéc dinh su xudt hign ‘cia khudn mit trong bite anh, Khé Khan ciia hung tiép cn nay d6 ka phi m6 ta cée dc tramg khong thay dOi va quan hé gilta ching phi hgp voi diéu kign Jnh sing, 46 nhigu hay bi che hua, 1.2.1. Cée de trung eiia khudn mat Cé rat nhigu nghign ettu vé cde de tng ciia Khudn mat. C6 thé dya vao cée dae trung nhu hai mit, hai 1 mii, migng, phn ndi gitta mii va migng ... hose dya vio durémg vien cia khuon mat Leung di dua ra. mgt m6 hinh xée xuat 4@ xe dinh Khun mat trong anh 66 hinh nén phic tap dua trén vige tim kiém cée dae trumg khong thay d6i cia khuén mat trong anh,sau do ding 46 thi ngdu nhién dé xéc dinh khuén mat. Tu twang cua phuong phap nay 46 li xem bai todn xe dinh khudn mat nhur la bai todn tim kiém véi mue tigu la tim thir ty céc de trumg khong, thay d6i cia khuén mat. Ding nam die trung (hai mat, hai 16 mai, phn ndi gita mdi va migng) dé m6 ta mOt khudn mat, Déng thoi tinh quan hé khoding eich cho tat ea ce ep dae trung (nhur mat trai, mat phai), sau day ding phan b6 Gauss dé mé hinh hoa. M6t mau khudn mat duge dua ra thdng qua trung binh tuong ting cho mot tip da hug, da ty Ié cia b6 loc dao him Gauss. Tir mot anh, cée dic trung cia img vién duge xéc dinh bing céch so khép timg diém anh khi loc tuong img v6i vector mau, Hai ting vign e6 dae trung dig dau se duge chon dé tim kiém cho cdc dic trumg khde tia khuén mat. Tir céc dic trumg khong thay doi, cée dic tg khac s8 due xic dinh thong qua su danh gid xc xuat khoang cdch gitta cde dc trang, hon ntta phuong sai ‘cia phép thing Ké nay 66 thé duge tinh todn trude dé xae dinh cée dc trung véi xe xuat 161g chinh xée cua phsong phap nay 1a 86%, Bén canh tinh khong céch lién quan dé mo ta quan he gita cde die trang nhu Leung, Kendall [4], Mardia and Dryden [12] ding ly thuyét xac suat théng ké vé hinh dang, Ding ham mat d6 xée sudt (Probility Density Function - PDF) qua N diém dje trung, trong img (xi, yi) la dic trung thit i v6i gid sir la phan bd Gauss 06 2N-chidu. Cac téc gid dp dung phuong thite cue ai kh nding (Maximum-Likelihood - ML) dé xe dinhvj tri khudn mgt, Mot thug loi cua phuong phdp nay 1a cdc khudn mat bj che khudt vined thé xc dinh duge. Han ché phuong php nay dé la khong xée dinh duge nhigu khudn mat trong ciing mot anh, Khéng ding phuong phép xée xudt, Sirohey dura mot phuong phép khée xie dinh khudn mat tir mt dnh e6 hinh nén phitc tap [10], goi la phurong phip da trén eanh. Ong ding phuong phip Candy [9] va heuristics loai bo ede canh dé cin lai duy nhit mot dudmg bao xung quanh, Khuén mat. Ding m6t hinh ellipse dé bao khuén mat, tach biét ving dau va hinh nén. Ty Ié chinh xc cia thuft todn la 80%, Graf dua ra mt phuong phap khde dé xic dinh dic trung, tir d6 xée dinh khudn mit trong anh xém [8]. Ding bd loc dé kim ndi cde bién, cae phép toan hinh thai hoc (morphology) duge diing dé lam néi bat cae ving c6 cumg 46 cao va hinh dng chic chan (nur mit). Thong qua histogram dé tim cde dinh ndi bat dé xae dinh ede nguving chuyén anh xdm thin hai anh nh phan. Tigp theo, Ong xée dinh cde tng vién khuén mat nh vio céc thinh phan déu xuat hién ‘rong ca hai anh hi phan, sau d6 phan logi xem cc img vién c6 phai la khudn mat khéng. Phuong phip duge kiém tra va cho két gua t6t trén cée anh chi cé dau va vai cia nguoi. Tuy inhign phuong phap nay cin mot vn dé day la sit dung cde phép ton morphology nhu thé nio va Jam sao xéc dinh khuén mat trén céc ving ting vien, Park ding Gaze dé tim ting vign gée m (Support Vector Machine) 3 migng_ va tam mit, Ong xiy dyng SVM 4c vi tri ting vign €6 phai la gbc a duge hoc trube d6 dé xée dinh c mat, migng, va tam mat hay khong dé theo vét con mat ngutr. Juan va Narciso xy dug mot khong gian miu méi YCg’Cr’ dé lge cite ving li img vién khudn mat dya trén sic théi ciia mau da ngudi. Sau khi c6 ting vin, hai dng ding cée quan hé vé hinh dng khuén mat, mire d6 cin doi cika ede thanh phn khuon mat dé xée dinh Khun mat nguéi, Tuong ty, Chang va Hwang cing ding khong. ‘Yeg'Cr’ véi ty 1é chinh xéc hon 80% trong anh xém. Jin xiy dung mot bd loc dé xae dinh tmg vign khuén mgt ngudi theo mau da neu Tir img vien nay tée gid xée din khuon mat ngudi theo hinh dng khuén mat va cde quan he dc trung vé thinh phan khuon mat, voi mit phai durge chon kim goc toa d6 dé xét quan hé. Ty Ie chinh xe cho khuén mat chyp thing trén 80%. 1.2.2. Két edu cua khudn mat _ Khun mit con nguiri e6 nhiing két céu rigng bigt ma c6 thé ding dé phan logi so véi bi twwong khdc. Tir két cdu ctia khudn mat xay dumg lén mot b6 phan loai, goi la két cu gidng Khun mat (ace-like texture), 1.2.3. Mau sie da. ‘Thong thong cdc anh mau khing xéc dinh trac tigp trén toan bo dar ligu anh ma cae tic ‘28 ding tinh chat sic mau cia da ngurdi (khuén mat npr) dé chon ra duge cdc img vién c6 thé 1a Khuén mit ngurdi (lie nay dir ligu da thu hep dng ké) dé xée dinh khudn mgt ngudr, 1.2.4. Da dic trig, Gan day c6 nhiéu nghién cir sit dung cdc d thuée, va hinh ding dé tim cae ting vién khuén mat, trung toan cue nhu: mau da ngudi, kich sau dé sé xde dinh tng vign nio 18 khuon.mat thong qua ding céc dae trumg eye bp (chi tiét) nur: mit, King may, mi @ sir dung tp die trung khéc nhau. 133, Huang tiép edn da trén so sinh Khp mai. 1.3.1. Tu tudng eiia so sinh kh6p mau Trong huéng tigp cn da trén so sénh kh6p méu, ede mau chun cua khuon mat (thudmg 18 Khudn mat duge chup thing) s8 duge xc dinh true hoge duge biéu dign think mot him véi céc tham so cu thé. Tir anh diu vao, ta tinh ede gid tri trong quan so véi cde miu chudn vé dung vien khuén mgt, mit, mi va migng. Thong qua cée gid tr twong quan niy ma hé thong sé ‘quyét dinh c6 hay khdng e6 ton tai khuon mat trong anh, Huong tigp cn ndy cb loi the 1 rat dB cei dit, nhung khéng higu qua khi ty 1, tw the, va hinh ding thay d 1.3.2. Xe dinh ec mu Sakai da cd ging thir xc dinh khudn mat nguai chyp thing trong anh [20]. Ong ding vai miu con (sub template) vé mit, mii, migng, va dudng vien khudn mat dé m6 hinh héa mot khuon mat, Mi miu con duge dinh nghia trong gibi han cia ede doan thing. Cée doan thing trong anh duge tric bing edch xem xét thay di eta hg s6 ade va so khip ee mu con, Biv tién tim céc ting vign théng qua mdi tong quan gitta céc anh con va cae mau ve durimg vien, Sau so khGp vi cée mau con khéc. Hay noi mot cach khéc, giai dogn diu xem nhur fi giai doan so cché dé tim img vien, giai doan thir hai la giai doan tinh ché dé xée dinh img vién e6 phai la Khun mat hay khéng. Y twong nay duge duy tri cho dén céc nghién ctu sau nay. Craw dua ra ‘mot phyong phap xac dinh khudn mat ngudi dya vio céc miu vé hinh ding ciia cde anh durge cchup thing (diing vé bé ngoai cua hinh dng Khudn mgt). Dau tin ding phép loc Sobel (Phép loc Sobel dia vao tich vo hung cia hai vector gradient) dé tim cde cank. Cée canh nay s& durge nhdm lai theo mét sé rang bude. Sau dé, tim dudng vién cia lap lai voi moi ty Ie khie nhau dé xée dinh cde dic trumg khiie nhur: mat, long may, vai moi. Sau 46 Craw md ta mt phuong thie xéc dinh ding mot tp e6 40 miu dé tim cde dae trung khuon mat va digu khién chién luge dd tim, - Mot s6 nh nghién tu sir dung hinh chigu nhur cée mau dé xéc dinh khuon mit ngudi, Silhouettes ding PCA (phan tich thinh phan chinh ~ Principal Component Analysis - PCA) dé ‘¢6 mot tp hinh chigu co ban tir cde mau khuén mat, hinh chiéu duge mo ta nh mpt mang ce bit. Sau day diing dc trung hinh chiéu két hgp bien doi Hough dé xc dinh khudn mit ngudi Phurong phaip nay dinh nghia mot s6 gid thuyet dé mo ta edie Kha ning cia cée de trumg khui ‘mat, Voi mot khudn mat sé 06 mot tap gia thuyét, goi li ly thuyét DepsterShafer. Diing mot nhi 16 tin cy dé kiém tra sw t6n tai hay khong cua cae df trung ciia khudn mat, va két hop nhan t6 tin cay nay v6i mot 46 do dé xem xét e6 hay khong c6 khuén mgt trong anh, Sinha ding mot tap nhé ce anh bat bign trong khong gian anh dé m6 ta khong gian cde mau anh [15, 16]. Tu tuomg cchinh cui ong dua vao sy thay doi mire 46 sing ciiacéc viing khée nhau cila Khun mt (nhur hai ‘mit, hai ma, va tran), (quan hé vé mite d6 sing clia cic ving edn lai thay di khong dking ké), Sau diy xée dinh céc c§p ty s6 cia mie dO sing cua mot sO ving (mot ving t6i hon hay sing hhon) cho ta mot luong bat bign kha higu qua. Ong Iam su thay doi d6 sing ciia cae viing trén Khun mat trong mot tap thich hgp véi cde cp quan hé sing hon — 161 hon gitta cée ving no. Mt khuon mat duge xée dinh néu né thoa main tit cd cée cap séng hon — t6i hon. ¥ twimg nay xt phat tr su Khe bigt cia cudmg do gitta cae ving ké cue bO tren anh, sau nay nd durge me rong trén co so bién di wavelet dé xéc dinh ngutdi di b6, xéc dinh xe hoi, xéc dinh khuén mat. Y ‘tong cia Sinha edn durge Ap dyng trong cic nghién cttu vé thi gide cia robot. Hinh 3 cho thay mau khuén mat voi 16 cing va 23 quan hé. Céc quan hé nay duge ding dé phan loai, c6 11 quan hg thigt yéu (céc mai tén mau den) va 12 quan he xéc thye (cée mai tén mau xm). MOi madi tén ming, va tée. Tay1 mot quan hé. Mét quan hé cia hai viing thoa main mau khuén mat khi ty 1é gitta hai ving vugt ‘qua mot nguiing va mot khudn mat duge x4e dinh khi e6 23 quan hé thoa man diéu kign trén aa Hinh 3: M6t mau khuon mat ‘Miu khudn mat 06 kich thuée 14 x 16 pixel duge sir dung trong phuomg phép dinh vi khudn mat cia Sinha, Mau gém 16 viing trén khudn mat va 23 quan hé ( cic mii tén)._ ____.Mét s6 phuong phap khéc nhur ctia Froba va Zink loc canh 6 46 phan gidi thap roi ding bién ddi Hough dé so khép mau theo hung canh dé xéc dinh hinh dng khuén mat 6 dang chup hhinh thing é dang xm. TY Ig chinh xéc trén 91%, Ngoai ra Shu va Jain edn xdy dumg ngit nghia hun mt, Net nghia xay dmg theo hinh dng va vj tri ede thinh phan khuom mat Hai dng tir 'b6 nat nghia nay tao mot dd thi quan hé dé dé dang so khép khi xée dinh khuon mat nguii 1.3.3, Cée miu bign dang _ Yuille ding cic mu bién dang dé mo hinh héa cde d¥e trumg ca khudn mat (3) Trong huséng tigp efn nay, ede de trung khudn mat duge m6 ta bang ede mau duge tham s6 hoa va cé mot him ning hong (gif tr) duge dé lién két cde can, dinh, va thung Hing trong sinh dé ‘tong ting véi céc tham s6 trong mau. M6 hinh nay t6t nhat khi t6i thiéu him nang hung qua cg tham 36, Mac di 06 két qua tét nhumg phuong phip nay c6 mot s6 han ché dé la cée mau bign dang phai duge khdi tgo trong pham vi gin véi cde ddi tome ma nd xée dinh, Rét nhiéu hung tigp can dua trén duimg gap khic (snake) va cde mau dé xéc dinh khudn mat. Dau tién Anh s& duge, fim xodn lai bi mot Toe, kam mé r6i ding phép ton morphology dé kim n6i bat theo diing m9t dutmg gap khiic c6 n diém sinh (gid tri m nha) dé tim va wée Inong . Hough, ri tim mot i ti nit, Cac img vign se 6 bén tham s6 m6 ta not ellipse (dé xéc dinh Khuon mat). én, mt phuong thic tuong ty nhur phuong thire miu bién dang duge ding dé xic dinh céc die trang & mite chi tiét. Néu tim thay s6 luong ding ké cae die trumg khudn mt va thoa min ty 1é can déi thi xem nhur da xéc dinh duge mot khudn mat. Lam va Yan cing ding duing gap khic 48 xée dinh vi tri ddu véi thudt tosin greedy dé eye tiéu héa ham nding leone, on Thay vi ding ring gp Khe thi Huang va Su [6] ding ly thuyét dong chay a8 xée dinhdung vién khuén mat da trén dic tinh hinh hoc. Hai ng ding ly thuyét tap hop ddng mice (Level Set) dé loang tir céc kh6i dng ban dau dé ¢6 durge cae Khuén mat nguér Lanitis m6 ta mgt phyong php biéu dign khuén mit ngudi véi cd hai théng tin: hinh dang va cng 46 [12]. Bat diu bang céc tap anh duge huan luyén véi eéc duéng vien mau nhur 18 dudmg bao mit, mUi, edm/mé da duge gin nhan(phan logi). Ong ding mt vector ede diém iu dé m6 ta hinh ding. Sau dé ding mot m6 hinh phan bo diém (Point Distribution Model — PDM) dé mé ta vector hinh ding qua ton b6 cdc ca thé. Ding céch tiép edn nhu cia Kirby va Sirovich [14] 48 mo ta cudng a6 be ngodi cia hinh ding da duge chuain ha. Dé tim kiém va use Iugng vi tri khuén mat cing nhu ede tham s6 vé hinh ding Ong sir dung mt m6 hinh PDM ¢6 hinh dng nhur khuén mgt (xée dinh khuén mat bing md hinh hinh déng tich eye - Active Shape Model - ASM), Céc minh cia khudn mat duge lim bién dang vé hinh ding trung binh rdi trich lay cc tham s6 cudng 46. Sau day céc tham sé hinh ding va cuong 46 durge ding dé phan loai ‘va xe dinh khudn mit 1.4. Heong tiép cn diya trén dién mao. 1.4.1, Tur tung cua hudng tigp edn da trén din mao Trai nguge v6i hucéng tiép cén dya trén so sinh khép mau (cée miu da duge cde nha nghién ciru dinh nghia trade), cée mau trong husng tigp cn nay duge hoe tir mot tap anh mau, Co Ul huréng tiép cn dua trén dign mao ap dung cée kY thuat theo huéng xic suat théng ké va hoc may 44 tim nhitng dc tinh lién quan cia khudn mat va khong phai I higu qua xée dinh, ‘Trong hung tiép cén nay, phuong phép xc xuat tigp tuc duge nhigu nha nghién ciru sit dung. Mgt bire anh hode mot vector (de trumg cho bire nh) duge xem nur mot bién neu nhién nay sé durge xéc dinh la cé m6 ta cic dlc tinh cua khudn mat hay khong thong 6 digu kign p(xiface) vi pOvnonface). Cé thé ding b6 phan loai Bayesian dé phan loai cic ting vign la khuon mat hay khOng phai khuon mat. Tuy nhién, vige cai dat b9 phan Jogi Bayesian véi s6 chiéu x lin 1& mot diéu khé kh6 Khiin, do d6 c6 rit nhigu nghién ettu theo hung tigp cin nay quan tam t6i vige tham s6 héa hay khOng tham s6 ede xe xuat p(wTace) va p(v/nonface), MOt cdc tiép cin khée trong huéng tiép cn dua trén dign mao la tim mot him bigt s6 vi ‘dy nhur cc ham m6 ta mat phing hay siéu phang quyét dinh (cdc ranh gigi) dé phan biét hai lop khudn mat va khong phai khudn mat, Thong thudng, mt bite anh duge chigu vao khOng gian e6 sé chigu it hon ri sau d6 ding mot him bigt s6 (dya trén cae 46 do khoang céich) dé phan loai hoe xdy dyng mot mat quyét dinh phi tuyén bang mang neural da ting. Ngoai ra cé thé ding SVM (Super Vector Machine) va cée phurong thitc kernel chiéu cde mau vao KhOng gian c6 s6 chigu cao hon dé dir ligu bi roi rac hoan tod va tir d6 c6 thé sir dung mat phiing phan loai dé phan loai céc mau la khudn mat hay khOng phai la khudn mat(5}) 1.4.2. Mot s6 phurong phdp cu thé trong hudng tigp cn da trén dign mao Cé rat nhiéu phuong phép hoc may duge sit dung trong hudng tiép cén dya trén dign mao. Trong phin ny chi néu ra mt s6 phuong phip cing nhtng nghién ecu 1ién quan dén phuong phap day. Riéng phuong php adaboost sé durge trinh bay trong phan sau cia béo céo. ‘a. Adaboost Adaboost duge dainh gia la phuong phat tiép cin nhanh nhét trong cdc, thuat todn hoc may. NO thug duge két hop véi cic m6 hinh cascade of classifiers dé tang tbc 46 phit hign hun mat trong anh, Tu tudmg cia thuat todn adaboost day li két hop céc bd phan loai yeu ‘thinh mot b6 phan logi manh. Trong qua trinh xy dmg, b6 phan loai yeu tiép theo sé durge xay dmg dyra trén cae dinh gia vé céc b6 phan loai yeu trude, cudi ciing ede bG phan loai yeu sé dduge két hop dé tré think bd phan loai manhViola vi Jones ding AdaBoost két hop cascade dé xéc dinh khuon mat ngwoi [17] voi cde dic trumg dang Haar-like, Tée d6 xiz ly kh4 nhanh va ty IG chinh xéc hon 80%, Ngoai ra Schneiderman va Kanade ding wavelet dé trich dac trung, sau day cing xay dymg hé thing hoc ‘V6i Adaboost, diva trén xc suat dé xéc dinh Khuon mat nguoi. Ty Ié chinh xée trén ciia phuong phap nay len dén 90%, 'b._ Mang Neural Vé co ban mang neural la mt mang céc phan tir (goi ld neuron) két néi véi nhau thong qua cae lign két (cde lign ket ny durge goi la trong sé lign ket) dé thye hign mgt cdng vige eu the nio dé. Kha ning xi eta mang neuron dae hinh thinh thong qua qua trinh higu chinh trong 56 lign ket gita ee neuron, ndi cach khie la hge tr tap hop ede miu hua luyén. “Mang neural rat hay durge sir dung trong cdc bai ton nh dang miu, nhgn dang mgt neudi cling 6 thé xem la mot bai ton nhn dang v6i hai loai mau (mat ngudi hoe khéng phai mat ngwoi) ‘va nur vay 6 thé sir dung mang neural khé higu qui ké ca kh cée mau khudn mat ¢6 46 phte tap cao. Tuy nhién, mot diéu tro ngai dé Li céc kién tric mang déu e6 tinh téng quit cao, do d6, hi dp dung ta phai tinh tod 9 s6 long ting, sé Iugng node, ty Ié hoc ... cho timg trusmg hop cu the. ¢. Support Vector Machine ; Support Vector Machine (SVM) durge Vladimir Vapnik dura ra vio nim 1995 dé gidi quyét van dé nhan dang mau hai lép sir dung nguyén tic eye tiéu héa nui ro cau tre (Structural Risk Minimization). Day la phuong phép tiép cin phan loai van ban rat higu qua. Uu diém cia SVM li giai thuat nay duge xay dung trén ¥ tudng eye tigu ri ro edu tric. Nguén ge cia SVM dra trén sur chic chin vé li chinh xc, e6 thé phan logi ngau nhién cde mau 46i tueng durge chon ma Idi duge git sao cho nhé nhat. Vi vay, gidi thugt SVM gidp gidm thigu bien trén cdc I6i chinh, xc va kim cho hg théng tin cy hon Cho trade mét tap hun luyén, cde anh duge bigu dign dudi dang vector. Trong khdng gian vector, mdi vertor duge bigu dién bari mot diém. Phuong phép SVM s@ tim mot siéu phang qu: inh dé phan chia khdng gian vector thinh hai lap (khuén mat va B chi 6 3 vige ma anh ta thich lim d6 li: vige thir ntl di dgo, thir hai a di chg va thir ba 1a don phing. Va vige anh ta kam vige gi trong ngiy phu thudc rat ln vao thai tit ca ngay hom day. Nhur vay, dit khong nhan duige thong tin eu thé vé thi Gét trong ngdy noi neudi B &, nhumng ngudi A van e6 thé diva vao vige B lim trong ngiy dé dodn vé thai tigt hom day. Nhur vay néu coi thoi tit chi ¢6 hai trang ‘thai la nding va mua thi thoi tit la mot chudi Markov cu thé, va né la an d6i voi nguéi A. Dat ligu quan sét duge 6 day la vige lim trong ngay cia ngudi B. Toan b6 hé théng nay 1a mot m6 inh Mackov an. | _ Mot git thuyét quan trong ciia mo hinh Markov din la ede mau e6 thé durge xem nhir céc tién trinh ngdu nhign c6 tham s6 va cdc tham s6 nay duge uée Inong chinh xc. Khi phat trién HMM dé giai quyét bai ton nhgn dang miu, phai xée dink 19 c6 bao nhigu trang thai dn iu tién cho hinh thai m6 hinh, Sau 46, hudn luyén HMM. hge xéc suit chuyén tigp gitta ede ‘rang thai tir cde mau, ma mdi mau duge m6 ta nhu mot chudi céc quan sét. Muc tiéu huan fuyén HMM la cue dai héa xac suat ctia quan sit tir dit ligu hun luyén bing cach diéu chinh cdc tham sé trong mo hinh HMM thdng qua phuong phap phan doan Viterbi chuin va cde thudt ton Baum-Welch. Sau khi huén Iuyén xong, diva vio xéc suat dé xée dinh mot quan sét thude lop no.= Hinh 4: cac vector quan sat 44 hudn luyén cho HMM. ich thye hign tién tinh xem xét ede ving quan sit theo mot tht ty thich hop (tir tn xudng ‘dui, tir tréi qua pha), Myc tiéu cia hung tip cn nay la két hgp cdc viing dc trumg khudn mat v6i cde trang thdi ctia m6 hinh.RRR E MBIA thy hign rat nhanh. Payd= Fie af Buy ep Hinh 10: Céch tinh Integral Image cua anh Sau khi da tinh duge Integral Image, vige tinh t6ng diém anh cua mot ving bat ky nao dé trén anh thye hign rit don gidn theo céch sau: (Gia sir ta can tinh tng diém anh ‘cua viing D nhr trong hinh 1 D=A+B+C+D-(AtB)—(AQ) +A Voi A+B +C+D chinh la gi tri tai diém P4 trén Integral Image, twong ty nhur vay ASB la gi tri tai diém P2, AC li gif tri tai diém P3, va A li gid tri tai diém PI. Vay tasu thie tinh D 6 trén nhur sau: D— Gy ya) — 22) — Gp ye) + Oars) 66 thé viet lai Hinh 1 Vi du cach tinh nhanh téng cac diém anh clia ving D trén anh (b) Hinh 12: Vi dy cach tinh nhanh téng diém anh ciia ving D trén anh voi cac da trung xoay 450 Voi cée de trung Maar-like xoay 450 Integral Image tai mot diém (x, y) drge tinh theo céng thite: Paxe Fie) axewabely-yl ng pixel cia met ving bdt ky inn anh vn ge tinh theo céch sau D=A=B+C=D-(A4B) (AC) =A Nhu vay tng ede diém anh trong m9t hinh chit nhgt (ké cd trutmg hop xoay 45°) bit ki déu e6 ‘thé duge tinh nhanh dya trén integral image tai 4 dinh cha n6 : Sum(D)=.4-2-3+1 1.4.Cascade of Classifiers Ta théy qué trinh hun luyén, 66, phan logi phai duyét qua tit cd cée de trumg cia cée mau trong Lap training, Vige nay t6n rit nbiéu thoi gian. Tuy nbién, trong céc miu dua vo, khong phai miu nio cing thuge loai khé nhgn dang, e6 nhitng miu background rit d& nbn ra (ta goi day la nhing mau background don gin), Déi voi nhimg mau nay, ta chi can xét mot hay vai dic trang don gid 1 e6 thé nhén dign durge chit khdng cin xét tit ca cée de trumg. Nhumg déi véi cde bO phan loai thong thuong thi cho dit miu can nhin dang la dé hay khé thi né vn sé xét tit cd cc dic trumg ma né nit ra duge trong qué trinh hgc. Do d6, ching t6n thai gian xir IY mot eéchkhong can thiét. Cascade of Classifiers duge xay dung chinh la nhim rit ngin thoi gian xit ly. false alarm cho b6 phn loai. Cascade tree gdm nhigu stage (hay cn goi li layer), mi stage cia cay sé la mot stage classifier. Mét mau dé durgc phan loai la di tugng thi né can phai di qua hét tit ca cic stages cua cay. Cac stage classifiers & stage sau durge hudn luyén bing nhimg max negative ma stage classifier true né nhgn dang sai, tire 1A nd sé tGp trung hoc tir eée miu background khd hon, do d6 si két hap cde stage classifiers may lai s& gitip bo phin loa e6 false alarm thap. V6i cau tric nay, nhiing miu background d& niin dign sé bj logi ngay tir nhiing, stages dau tién, gp dap img t6t nhat 46i v6i d) phire tap gia ting ciia cde mau dura vao, dng, thoi gitip rit ngin thoi gian xir ly ‘Thuat ton Cascade training: 1. Goi F la gid tri false alarm va dla 00 chinh xéc cla weak classifier & méi stage yt Gia tri max false alarm, P, Nia s6 luong mau posttive va negative P, Nila t8p positive va negative cho b6 phan lép 6 tang thir i F,, D: Gia th false alarm va 46 chinh xac cila cascade trudc khi dén tang thi i 2. Khdi tao iO; Fo=1.0; Do= 1.0 + Hudn luyén bé phan loai h ti t&p Piva N. voi detection rate d va max false alarm f. Thém h vao cay phan lop. + Dung cay phan lop hién 06 dé tinh F: Duyet qua N mau negative cho Fieger v= (36, sa 8 stge hin ta phan lai si) = {36 mau positive ma stage hién tai phdn loai ding } Minh hoa thudt ton Cascade training:stage 1 2 Na N falsealarms = fy 1 Input pattern classified as a non-object Hinh 13: cascade of classifiers Hinh 13 minh hoa su hudin luyén ciia mot cascade gbm N stages. O moi stage, weak classifier tuomg ting sé durge hun Iuyén sao cho 46 chinh xéc ctia né li h va false alarm bing f 1.5.Cascade of boosting classifiers Cascade of boosting classifiers li m6 hinh cascade of classifiers véi mdi classifier duge xy ‘dumg bing Adaboost sir dung haar-like. aero TON-CLASS, Hinh 14: Cascade of boosting classifiers Viola va Jones da sir dung rat thinh cong cascade of boosting classifiers cho bai toan nhan dang mat ngudi. Vi tap hudn luyén gom 4196 hinh mit nguéi duge dua vé nh grayscale kich thude 24x24 va 9500 hinh background, hai Sngda xay dung céw tric cascade tree gom 38 stage véi tng cOng 6060 dic trung haar-like. Thye nghigm da cho thay classifier & stage dau tign sir dung 2 dc tng va logi duge khodng 50% mu background (khong phai mt newsi) va 66 d§ chinh xéc la d= 100%. Classifier & stage thit 2 sir dung 10 dc trung loai durge 80% miu background véi d@ chinh xéc vin 1a 100%. Hé théng nay duge so sinh voi hé théng ciia Rowley- Baluja-Kanade (sir dung mang neural), Schneiderman-Kanade (sir dung phuong phap thing ké), ti lg nhdn dang la ngang nhau, trong khi hé théng cia Viola va Jones chay nhanh hon én 15 lan so véi hé thong cua Rowley-Baluja-Kanade va nhanh hon 600 lin hé thong ctia Schneiderman-Kanade, Ly do ma cu trite cascade dat tée 46 nhdin dang nhanh chinh la nhé nd sém logi b duge cée miu background don gin (thudng e6 sé lugng lén hon nhiéu so véi cée miu chia object — cée miu chira khan mat ean tign hanh nhin dang). Bén canh dé, hé thdng cia Viola vi Jones cing dat duge dé chinh xéc khé cao nhiy vio thuat ton cascade training, céc b} nhin dang durge hun Juyén bang AdaBoost véi dae trumg Haar-like mot6t thong tin doi tuong, cing véi céch Integral Image tinh nhanh céc dac trang, khéng lam giam tée 46 nhdn dang cua hg thong. Nhu vay, m6 hinh Cascade of Boosted Classifiers that st ki ccich tigp edn tot cd vé t0c d6 ln kha ning nhdn dang, rat phi hop véi bai nbn dang mat ng.‘CHUONG 5- XAY DUNG UNG DUNG DUA TREN CO SO LY THUYET. Phat hign mat ngudi trong anh c6 nhiéu ting dung trong cude sing, tuy nhién, trong khéa Jugn nay, t6i chi xdy dung mot chuong trinh nhé dé minh hoa cho cdc Iy thuyét 6 trén, Cu thé day li mot chuong trinh phit hign mat ngudi trong anh duge viet trén nén visual ¢ ++ ctia Microsoft, sir dung thu vign ma ngudn mé OpenCV cia Inte 1. SolwacvéOpenCV . F Open VC 18 thir vign ma nguén mé ca intel vé thi gide may tinh. N6 cung cp mot bO ma ngudn bao gdm hing tram ham, lp dya trén cde thudt todn vé xir ly anh cing nhw Computer vision ding ng6n ngit C/C++. Open CV thé hign str da dang cia tri tug nhin tgo. Duge tmg dung nhiéu trong céc bai todn nhén dang mat, dO tim mat, phat hién mat, loc Kalman, ... Cau tric tng ‘quan ciia OpenCV bao gém 5 phan chinh. 4 trong 5 phan dé duage chi ra trong hinh vé dudi. cv MLL HighGUI Cac ham vé xt iy Cac thuat toan hoo Cac ham va thi tue nh va giai thuat vé_ | | may, bao gdm ac bé | | lam viec vai file anh thi gide may tinh phan cum, phan loai va fle video théng ké CXCORE Cac edu trie do igu co ban, edu triic XML, cdc ham vé 45 hoa Hinh 15: Céu tric co ban cia OpenCv Phin CV bao gdm ede thu ign eo ban vé xitIy anh va ede gi thuét vé thi gide may tinh ML la bd thu vign vé cfc thuat toa hoe may, bao gom rat nhieu bo phan cum va phan logi thong ké. HighGUI chita dyng nhing thi tue vio ra, eéc chire nding vé Ira tri cling nhur doe ec file ‘anh vi video. Phin thir 4, Cxcore chira dug cée cau tric di ligu co ban ( vi dy nh céu t XML, cde edy dit ligu ...). Phin cudi cing li CvAux, phan ndy bao gém cde thu vign cho vi phat hign, theo doi va nhan dang déi tuong (khuén mat, mat ...). 2. ‘Téng quan vé mot hé thong phat hign mat ngudi trong anhocluong céc aac trung Tinh céc déc trung nhann tir niu tie (Cac ham Haar co ban Céu tracpnan ting (Cascade of cassitier) 6 ugng én, céc dac trung itu inn thing 36 Mét tap nhd Adaboost cac dac trung Quyét dinh két qua. Hinh 16: Téng quan vé hé théng phat hién mat ngudi trong anh Vé co ban, tir anh géc ban dau, hé thing & chia anh thinh v6 sé ving nho dé tinh cae dic tng, sau diy dua ede de trumg, 1 c dinh cde ving kha quan (ci img vién) cé thé li khudn mat, cudi ciing céc ting vién nay sé durge dura vao mot BG phan loai dé n hanh xée dinh img vign nao la mat ngudi. 3, Phin tich — thiet ké he thdng phat hign mat nguci 3.1.Phai tich Nhigm vu chinh eta churomg trinh ka dé tim khudn mat tir mt bite anh, mot file video ode tir webcam, sau day lu khusén mat vao esdl dé phuc vu cho cée muc dich khéc (sé durge phit trim sau) Capture ann HE THONG PHAT HIEN MAT NGUOI TRONG ANH Khudn mat 4a duoc phat nien Hinh 17: Bidu 46 ng cdnh cda hé thong‘Nhu vay cc chit nang chong trinh bao gdm: + Két ndi dén webcam, doe ede file anh va video. Khuén mat c6 trong bite anh, video, webcam ... + Luu dinh khudn mit duge phat hign vio esal. ké he thing . . Voi cée chire nang 6 trén, chuong trinh durge chia thanh thanh 3 phin chinh: Phin xir ly du vao, phan phat hign khudn mat va phan xir ly dau ra. Dau vao (Anh, video hoac webcam) Phat hién nhanh Khuén mat bang Adaboost Luu khuén mat vao CSDL a, Xirly diu vio: Chuong trinh nhgn diu vdo li file anh, video hoge webcam, tuy nhién, vige phit hign khudn mat duge thy hign trén céc bite anh, do 46, vi dau vao li webcam hay file video, ta phai cchuyén thinh eéc anh tinh va xir I trén timg anh tinh, Sau khi d 6 anh du vao ri thi sé cchuyén anh cho giai doan xir IY tigp theo, dé li phat hign cdc khudn mat 6 trong anh. b. Phét hign khuén mat j : Phin nay xir I chinh nghigp va cia hé théng. Sau khi c6 anh truyén vao, hé thong sé thye hign chite nang phat hign khuén mat e6 trong anh, ige phat hign khudn mat duoc thyc hign nhanh bing thugt ton adaboost thing qua ham evHaarDetectObjects() cia OpenCV. Him nay thye hign vige phat hign déi tugng dya trén cdc ic trumg haar-like, cu thé 18 nh vao mot bd Cascade duge truyén vio cho him. Bé Cascade duge xy dung theo dang céy (tree-node) va di durge hudin luyén tir true. ‘Vige huan luyén b6 Cascade c6 thé thy hign tir hiing dir ligu thu thép duge 48 phyc vu cho qué trinh nhin dang. Vi dy, muén nhin dang mot ngudi A, ta thu thip cde anh khudn mat eta nui A voi nhiéu tu thé, gée chup va diéu kign chup khde nhau, sau dy cho bd nhin dang hoc theo‘thudt ton Cascade training. Tuy nhién vige nhiin dang khuén mat la mot céng vige kh6 va tn nhieu thoi gian, do dé, t6i khong thye hign n6 trong khéa lun cua minh, ©. Xirly diu ra Khudn mat sau khi duge phat hign s& duge téch ra khdi bite anh va hru duéi dang anh, bitmap véi phin mé rong 1p. . Doi véi dau vao Ia cdc file anh, dir ligu dau ra cting 1 file anh dy nhung ¢6 hu vi tri khuom mat 448 duge phat hign trén biic anh, déng thai tach ede rigng khudn mat va lu vao co si dt liu. Oi v6i daw vio la ca file video hoge webcam. Cac khudn mat s& duge tich ra va Iu Iai thanh, cic file anh riéng r8, va duge dinh s6 thir ty theo tén file video. Vi dy nhur file video test.avi thi nh cdc khudn mit phat hign duge s€ duoc inh sO theo thir tw nhur sau: testavi_t.jpg, test.avi_2.jpg HE THONG PHAT HIEN MAT NGUOITRONG ANH 2.Pnathién nhann 3.xbly dura knuén mat bang ‘Adaboost 3.1. Luv anh vao thu muc 4.1. Capture ann thich hop trén may 3.2. Luudnh vao CSDL Hinh 18: Biéu 6 phan ra chuc nang, d. Thiét ké co sé dat ligu Lamu trit co s6 da igu. ld mot phiin quan trong cia ting dung. Vige xy dung, t6 chite co sé «dg ligu anh hudng 16n dén téc 46 cua chuong trinh. Do dé t6i da xay dung va quan co so dit ligu ‘bing hé quain tri co sii Oracle, dy la hé quain tri co si dit ligu man, dp img duge nhiéu yéu edu ‘vé quain ly co 56 dit ligu ctia cdc doanh nghigp lin, dae biét la cdc ngin hing hay kho bac. Tuy hign tai, chuong trinh chi diing Iai ¢ mite phat hign khu6n mat trong anh, nhung vige xay dmg, mt co sé dir ligu tt s@ la tién dé dé c6 thé phit trién chuong trinh thinh eée img dung én hon sau my, He théng cin hau trt eae dt Hg i véi dau vao Ia file nk: + Luu anh dau vio cing vj ti khuén m§t da duge phat hign trén bite anh + Lau timg khuén mat duwge phat hign, i véi dau vao la file video, hoe webcam: + Laru cde khudn mat durge phat hign . hur vay cdc thong tin trong co s6 dat ligu bao gdm 2 thy thé sau: + ANH GOC (IMAGES ): Anh dau vio, ‘Cae thuge tinh bao gém: Anh khuén mat sau khi da durge phat hign.Integer, la khéa chinh va c6 ring bude la ty tang, | Name: Tén eta bite anh, kiéu dit ligu varchar2(200). Trong trubng hgp du vio la video thi tén sé duge lay theo tén cua file video, cdn néu dau vio la webcam thi sé dat ki webcam_ID (thém ID artrén vao tén). Image: Laru ma nhi phan cia bite anh, URL: luu dung din dén bite anh, kigu gittligu varchar2(1000) Lamu §: Trong truimg hop file du vio li video hodc webcam thi cée trudng Image, vi URL s& nnhan gid tri nul. : KHUON MAT (FACES ): Céc khudn mat phat hign durge. Cée thuge tinh bao gdm: ID: Ma anh, kiéu Integer, la khéa chinh va e6 ring bude la t ting. - IMAGE_ID: ID cia anh géc, kiéu dit ligu Interger, la kha ngoai tham chiéu dén bang ANH G0C. ce khudn mat cia eiing anh g6e. Image: La ma hi phn i nh khugn ma Hinh 19: So dé thue thé quan hé ( ERM ). e. Thi ké giao dign Giao dign cia chyong trinh duge thiét ké than thign va don gin. Tap trung vio chire ning chinh phit hign khuon mat trong anh, BO eye trén giao din duge chia thanh 4 phin, Phin 1, chon dau vio. Céc anh hode video 6 thé duge hu ty ¥ trong cée thur mye trén my tinh ciia ngudi ding. Phin thir hai la danh sich ede khuon mat da duge phat hign vi direc Iu trong co sé dit ligu, Phin thir 3 1a danh sich céc Cascade. Cudi cing la phan wir ly va hién két qua (sb khudn mat phat hign duge, thoi gian thye hign). Ngudi ding chon bire anh, chon b> Cascade, sau day nhan vao niit “Detect” dé thye hién vige xc dinh khuén mat trén anh. Giao ign cia chuong trinh duge thé hign nhur hinh dui“Wa Facebetection Losdimoge [Hep | [State Reaay PHAN MEM PHAT HIEN KHUON MAT C6. LE THI THUY WHOM 13 KHMTI-K4 TRAN QUANG HOP (C) LUONG BINH LUU PHAM DUY KHANHKET LUAN VA HUONG PHAT TRIEN 1. Két gn Trén co sé nghién ciru vé bai ton phat hign mt ngudi trong anh. Dac biét la thugt toan Adaboost, céc dic trang haar-like va m6 hinh Cascade of Classifier. Toi da ap dung thinh céng, m9 hinh Cascade of Classfier vao bai tod phat hign mat ngudi trong anh. Tuy két qua dat duge cchura cao, nhumng day li bude dau dé phit trién bai todn nhan dang mat (face recognition) ngudi sau nay, Bén eanh dé, trong qua trinh xay dymg chuong trinh demo, t6i da tim hiéu vé thu vign ma ngudn mé OpenCV, hé quan tri co sé dit ligu Oracle, qua dé biét cach sir dung cée hm trong thur vign OpenCV va quan ly co s6 dar ligu bing hé quan tri co sé dir ligu Oracle. Vé churong trinh demo, sau khi thir nghigm v6i tp anh Kin va webcam. Chuong trinh dat két qua ‘61, thoi gian phit hign nhanh di v6i ede anh mgt ngudi chyp thing, chat Iugng anh t6t (chyp bing may ki thudt 36), tuy nhign d6i véi cde anh chyp nghiéng hay anh co miu sic qua ti thi cchurong trinh gan nhur khong thé phat hign due khuon mat trong bite inh dy. 2. Hung phat trién C6 nhigu hung phat tign cho chuong trinh nay, ¢6 thé phéttrién ea v8 mat img dung vi mat thudt todn (dé cai thign higu qua phét hign mat ngudi). C6 thé xdy dung mot img dung chi cin dén phat hign mat nguéi ma khong edn nbn dang. Vi du. nhur mot hé théng ghép hinh, ghép Khun mat phat hign duge vio trong mét bite anh khéc (ching han nhw ghép Khuén mat cia ‘ngudi str dung cho khudn mat cia ngudi ndi tiéng). Ngoai ra c6 thé phét trién chuong trinh theo hung nhgn dang khudn mat, xdy dung mot he thong dé hoe cde dc trmg cha nhimg nguéi can nkin dang. Khi thyc hign, dau tién ta dura qua bie anh qua chuong trinh phat hign mat ngudi dé phat hign nhanh cc khuén mat c6 trong anh, sau day so sch ede khuon mat 46 v6i cde khudn mit ma chuong trinh da diroe “hoc” tir truée, so sinh cae dae trung cita hai khuén mat, néu tring thi dra ra théng tin vé Khuon mat duge nbgin dang.