TR

NG B

I H C S PH M K THU T TP.HCM KHOA i N_ i N T MN i N T Vi N THNG

BO CO
TI:

N 2

TM HI U L THUY T NH N D NG TI NG NI V M PH NG TRN MATLAB

GVHD : Ths. L Minh Thnh SVTH : Nguy n Minh Ph L Hng D ng

07117043 07117014

CH

NG I: L THUY T

PH N 1: T NG QUAN V NH N D NG TI NG NI
1.

2.

3.

Van e nhan dang tieng noi la mot van e ln, nhieu nghien cu a thc hien trong vai thap nien gan ay. Nhan dang tieng a c nghien cu hn 40 nam qua. Nhng no lc au tien c thc hien t nhng nam 1950. T o en nay, cung vi s phat trien cua may tnh, k thuat nhan dang tieng noi a co nhng s tien bo vt bac, c thc hien

4.

CH

NG I: L THUY T
PH N 2: PHN LO I

1.

2.

Theo cach thc ngi noi, noi chung chia lam hai loai: - Nhan dang t ri rac - Nhan dang t lien tuc Da tren bo t vng: - He thong t vng nho - He thong ma cac t c oc ri rac - He thong chap nhan tieng noi lien tuc nhng ch lien quang en pham vi ng dung tng oi b gii han.

CH

NG I: L THUY T
PH N 2: PHN LO I

3.

Da tren thong tin ve cac mau tieng noi cua ngi s dung bao gom: - He thong phu thuoc ngi noi (speaker-dependent). - He thong oc lap ngi noi (speaker-dependent). - He thong thch ng ngi noi.

CH

NG I: L THUY T
NG

PH N 3: H TH NG NH N D NG TI NG NI T
1.

2.

Rut trch ac trng tieng noi: - Bien oi tn hieu am thanh thanh chuoi cac vector ac trng. - Giai quyet van e do tm iem cuoi (phan biet trong chuoi am thanh thu c au la tieng noi au la o on nen) va loc nhieu. Qua trnh phan lp va nhan dang: - La qua trnh nhan dang da tren mo hnh am thanh, t ien phat am va mo hnh ngon ng cua he thong. - Mo hnh ngon ng ay thc chat ch bieu

CH

NG I: L THUY T
NG

PH N 3: H TH NG NH N D NG TI NG NI T
3.

Giai ma: - Qua trnh nay ch n gian la xuat ra chuoi van ban nhan dang c. - Mot qua trnh phan tch chuoi nhan c ng vi tac vu g va thc hien tac vu o.

CH

NG I

PH N 4: L THUY T NH N D NG TI NG NI - Nhan dang tieng noi la ky thuat nhan ra cac thanh phan li noi cua con ngi. - Viec nghien cu nhan dang tieng noi a c bat au t cuoi thap nien 40, trong o s phat trien nhanh chong cua may tnh a ong gop mot phan rat quan trong. - Trong cong nghiep, khi tay va mat cua con ngi a c tan dung mot cach triet e, th viec ieu khien bang giong noi co mot li the rat ln.

CH

NG II:X

L S

TN HI U

PH N 1: L Y M U TN HI U - Ham lay mau la cau noi gia cac he thong ri rac va cac he thong lien tuc. No con c goi la ham Dirac Delta. - oi vi may tnh, lay mau ch dn gian la c theo chu ky thi gian (oi vi tn hieu am thanh va cac dang tng t), hay la chu ky khong gian (oi vi tn hieu la anh va cac dang tng t) ta o tn hieu mot lan. Qua trnh tren se tao ra mot chuoi cac so bieu

CH

NG II:X
PH N 2: B

L S

TN HI U

L C TN HI U

Bo l c co vai tro rat quan trong trong x ly tieng noi, chung c dung vi 2 muc ch chnh: Tach tn hieu can thiet. Khoi phuc cac tn hieu b bien dang. . Impulse . Impulse Bo loc ap ng xung hu han (Finite Repone FIR). Bo loc ap ng xung vo han (ninite Respone - IIR).

CH

NG II:X

L S

TN HI U

PH N 3: D TM I M CU I (END TO END) Do tm iem cuoi la mot x ly co gang tm ra chnh xac khi nao ngi ta bat au va ket thuc noi. Do tm iem cuoi c thc hien qua ba bc, qua moi bc xac nh iem cuoi cang chnh xac. - Do tm tho. - Do tm tinh. - Ky thuat VUS(Voice, Unvoice and Silence).

CH

NG III:TRCH C TR NG TI NG NI

Trong cac lnh vc x ly tieng noi nh nhan dang, tong hp, ma hoa eu can phai phan tch tham so tieng noi. Khai niem c ban khi phan tch tieng noi la phan tch theo thi gian ngan. Hau het hoat ong cua cac he phan tch tieng noi eu da vao khai niem thi gian bien thien. Thong thng ngi ta chia tieng noi thanh nhieu oan co thi gian bang nhau hay cac frame, moi frame co o dai t 10-30ms.

CH

NG III:TRCH C TR NG TI NG NI
NG TH I GIAN NG N

PH N 1: HM N NG L

- Ham nang lng thi gian ngan (Short Time Energy Function) cua tieng noi c tnh bang cach chia tn hieu tieng noi thanh nhieu frame, moi frame dai N mau, roi lay tong bnh phng cua cac mau trong tng frame. - Ca so ch nhat dai 10-30ms la phu hp cho muc ch nay.

CH

NG III:TRCH C TR NG TI NG NI
I M U, I M CU I C A M T T

PH N 2: PHT HI N

- Mot trong nhng van e c ban cua x ly tieng noi la xac nh iem bat au va ket thuc cua mot t. - Chung ta s dung thuat toan phat hien iem au iem cuoi cua mot t can c vao ham nang lng thi gian ngan. - Phng phap nay tuy n gian nhng co nhc iem la khong xac nh c chnh xac c mau nao trong FRAME la mau thc s bat au cho tn hieu tieng noi va tng t cho iem cuoi. - Phng phap nay khong con chnh xac neu moi

CH

NG III:TRCH C TR NG TI NG NI
PH N 3: TI N NH N (PREEMPHASIS)

- Chung ta biet rang pho tieng noi hu thanh co khuynh hng suy giam toan bo -6dB/octave khi tan so tang len. - Do o can phai bu +6dB/octave tren toan bo bang tan. ieu nay c goi la preemphasis tn hieu. - Trong x ly tn hieu so, chung ta dung bo loc thong cao co tan so cat 3dB tan so trong pham vi t 100Hz en 1kHz.

CH

NG III:TRCH C TR NG TI NG NI
PH N 4: TRCH C TR NG MFCC

- Qua trnh nhan dang mau (ca pha huan luyen hay pha nhan dang) eu trai qua giai oan trch chon ac trng (feature extraction). - Mac du khong mang tnh quyet nh nhng giai oan trch chon ac trng anh hng rat ln en hieu nang nhan dang. - Co nhieu phng phap trch chon ac trng a va ang c s dung (FBA, MFCC, LPC, PLP...).

CH

NG III:TRCH C TR NG TI NG NI
PH N 4: TRCH C TR NG MFCC

- Cac he nhan dang tieng noi thng trch ac trng t tn hieu bang cach chia tn hieu thanh nhng oan o dai 5-15 ms, moi oan goi la mot khung (frame). - MFCC la phng phap trch ac trng da tren ac iem cam thu tan so am cua tai ngi.

CH

NG III:TRCH C TR NG TI NG NI
PH N 5: WINDOWING (C A S HA)

1.

Windowing (ca so hoa) - au tien tn hieu tieng noi x(n) se c chia thanh tng frame - Cong viec ca so hoa nay se c thc hien bang cach nhan tn hieu tieng noi vi mot ham ca so. Bien oi Fourier ri rac-DFT - Tn hieu (cua mot frame) sau khi nhan vi ham ca so, c chuyen sang mien tan so bang bien oi ri rac.

2.

CH

NG III:TRCH C TR NG TI NG NI
PH N 5: WINDOWING (C A S HA)

3.

Loc qua bo loc Melscale: - Tn hieu (cua mot frame) sau khi nhan vi ham ca so, c chuyen sang mien tan so bang bien oi ri rac. - La so phc, tuy nhien thanh phan pha khong quan trong nen ta ch quan tam en thanh phan thc. Tnh log nang lng pho: - Sau khi qua bo loc mel, pho tn hieu Yt(m) se c tnh Log10

4.

CH

NG III:TRCH C TR NG TI NG NI
PH N 5: WINDOWING (C A S HA)

5.

Bien oi Fourier ngc-IDFT - Bc cuoi cung e thu c cac he so MFCC la lay bien oi Fourier ngc cua ket qua. - Thong thng so iem ri rac k cua bien oi ngc nay c chon. - Cac he so MFCC nay rat on nh theo cac segment nen neu c chon lam ac trng e nhan dang th se cho ket qua tot.

CH
-

NG IV:L

NG T

VECTOR

Khi phan tch ac trng tieng noi, chung ta nhan c cac vector ac trng la ac tnh pho bien thien theo thi gian cua tn hieu tieng noi. Do mo hnh HMM ri rac c s dung e nhan dang nen cac vector pho nay phai c c lng vector(Vector Quantization-VQ) thanh cac ch so codebook ri rac(anh nhan cho vector pho). VQ laphng phap hieu qua e bieu dien thong tin pho.

CH

NG IV:L

NG T

VECTOR

- Cac ac tnh cua VQ: . Giam thieu khong gian lu tr cua vector pho. . Giam thi gian tnh toan o giong nhau gia cac vector pho. . Bieu dien ri rac ve mat am hoc cua tieng noi. - Khuyet iem cua VQ: . Viec lng t vector chac chan dan en sai so lng t hoa. . Viec chon kch thc codebook cho VQ khong n gian.

CH

NG IV:L
PH N 1: CC Y U T

NG T
KHI T

VECTOR
CH C VQ

Mot tap ln vector pho v1,v2,v3,,vL la tap huan luyen cho VQ. o o d gia cac cap pho e phan nhom vector trong khau huan luyen, hay phan lp vector trong khau anh nhan. Phng phap xac nh nhan e phan hoach L vector pho thanh M nhom.

CH

NG IV:L

NG T

VECTOR

PH N 2: T P HU N LUY N VQ
-

Trong e tai nay, tap huan luyen cho VQ la tat ca cac vector pho sau khi a qua khau trch ac trng MFCC cua tat ca cac t can nhan dang. Moi vector la pho la 24 he so MFCC cua 1 frame tieng noi. Cac t c ghi am bi 1 ngi noi trong ieu kien phong yen tnh.

CH

NG IV:L

NG T
MO

VECTOR

PH N 3: O
-

Thanh phan quan trong nhat cua cac thuat toan oi sanh mau la o o gia 2 vector ac tnh. Trong nhan dang tieng noi, ngi ta thng s dung o o Euclidean o o nay dung trong khau phan lp, gan nhan vector pho.

CH

NG IV:L

NG T

VECTOR

PH N 4: PHN NHM CC VECTOR O HU N LUY N

1.

Giai thuat cum thong tin (Cluster Algorithm): Khi tao Tm lan can gan nhat Cap nhat nhan e qui

ieu bat li cua thuat toan nay la chung ta phai c lng that tot iem khi au cua cac vector codeword. ay la van e kho khan.

CH

NG IV:L

NG T

VECTOR

PH N 4: PHN NHM CC VECTOR O HU N LUY N

2.

Giai thuat Binary Split: - Thiet ke codebook 1 vector - Nhan oi kch thc codebook bang cach chia moi vector trong codebook hien tai yn thanh 2 vector. Dung thuat toan K-means.

- Lap lai bc 2 va 3 cho en khi codebook at c kch thc M cho trc.

CH

NG IV:L

NG T

VECTOR

PH N 5: PHN L P VECTOR

Ph ng phap phan l p vector ph v c b n la ph i tm trong toan b codebook xac nh vector t t nh t.

CH

NG IV:L

NG T

VECTOR

PH N 6: NH N D NG B NG VQ Lng t hoa vector co the c dung e nhan dang tieng noi. ay la phng phap c the gii s dung vao nhng nam 80 . Phng phap nay c thc hien nh sau: - Trong pha huan luyen, moi t trong bo t vng c noi nhieu lan, sau o phan tch ac trng. - Trong pha nhan dang, t can nhan dang c ghi am, roi trch ac trng, sau o tnh iem - T can nhan dang co o meo nho nhat .

CH

NG V:M HNH MARKOV N

Chng nay trnh bay mot phng phap hieu qua dung e mo hnh hoa cau truc ong cua tieng noi la mo hnh Markov an (Hidden Markov Models-HMM). ay la hng tiep can oi sanh mau xac suat, vi gia nh rang o cac mau tieng noi tuan t theo thi gian la ket qua cua qua trnh thong ke hay ngau nhien co tham so, va cac tham so nay co the c lng.

CH

NG V:M HNH MARKOV N

PH N 1: KHI NI M

1.

Chuoi Markov mot thi iem bat ky, he thong se mot trong N trang thai. - Cac thanh phan trong mo hnh Markov: . N trang thai cua mo hnh. . N s kien. . Ma tran phan phoi xac suat chuyen trang thai. . A tran phan phoi trang thai ban au

CH

NG V:M HNH MARKOV N

PH N 1: KHI NI M

2.

Mo hnh Markov an: - Khac vi chuoi Markov nh trnh bay tren, mo hnh Markov an co nhng ac iem sau: . T 1 trang thai co the phat sinh hn 1 s kien( hay con c goi la 1 quan sat. . Chuoi quan sat la ham xac suat cua trang thai. . Chung ta co the tnh toan xac suat cua cac chuoi trang thai khac nhau t mot chuoi quan sat. - Nh vay HMM van phat sinh ra cac quan sat.

CH

NG V:M HNH MARKOV N

PH N 1: KHI NI M

2.

Mo hnh Markov an: - Cac thanh phan c ban cua mo hnh Markov an: . N la so lng trang thai cua mo hnh. . M: so cac ky hieu quan sat c ng vi mot trang thai. . Ma tran phan phoi xac suat chuyen trang thai. . Ma tran phan phoi xac suat cac ky hieu quan sat.

CH
PH N 2:

NG V:M HNH MARKOV N

NG D NG HMM VO NH N D NG TI NG NI

1.

Ap dung mo hnh Markov an cho x ly tieng noi, ta phai giai quyet ba bai toan c ban sau: Tnh iem . So khp . Huan luyen . Thuat toan tien Khi tao. Qui nap. Ket thuc.

CH
PH N 2:
2.

NG V:M HNH MARKOV N

NG D NG HMM VO NH N D NG TI NG NI

Thuat toan lui - Khi tao. - Qui nap. Thuat toan Viterbi - Khi tao. - e quy. - Ket thuc. - Lan ngc lai ng i.

3.

THANK YOU!