Mc tiu Sau khi hc chng ny, bn c th M t cc vn m bo cht lng phn mm M t lm th no thc hin kim th khng da th nghim (kim tra)

tra) M t cc nguyn tc kim th da trn th nghim Gii thch nhng g cn phi c kim tra.
Cc m hnh vng i c in phn mm tt c cc qu thng xuyn bao gm mt giai on th nghim ring bit, sau khi hi nhp v trc khi bo tr postdelivery. Khng c g c th l nguy him hn t quan im ca c gng t c phn mm cht lng cao. Th nghim l mt thnh phn khng th tch ri ca qu trnh phn mm v hot ng phi c thc hin trong sut chu k cuc sng: Trong ow workfl yu cu, yu cu phi c kim tra, trong thi gian ow tch workfl, cc cation c th phi c kim tra v phn mm k hoch qun l sn xut phi tri qua gim st tng t. Ow workfl thit k i hi phi kim tra t m ti mi cng on. Trong thi gian ca ow thc hin workfl, mi hin vt m chc chn phi c kim tra v cc sn phm nh l mt nhu cu ton b th nghim khi n c tch hp y . Sau khi vt qua cc kim tra chp nhn sn phm c ci t v bo tr postdelivery bt u. V tay trong tay vi bo tr i lp i lp li kim tra phin bn modifi ed ca sn phm. Ni cch khc, l cha cient kim tra cc sn phm ca ow workfl ch cui ca ow workfl . V d, hy xem xt ca ow workfl thit k. Cc thnh vin ca i thit k c thc v tn tm phi kim tra cc thit k trong khi h pht trin n. N khng c s dng nhiu cho i bng pht trin cc to tc thit k hon ton ch fi th, tun hoc vi thng sau , l mt sai lm thc hin sm trong qu trnh i hi phi thit k li gn nh ton b sn phm. V vy, lin tc kim tra phi c thc hin bi i ng pht trin trong khi n thc hin mi ow workfl, ngoi vic th nghim phng php vo cui ca quy trnh lm vic mi. Cc iu khon verifi cation v xc nhn c gii thiu ti mc 1,7. Verifi cation cp n qu trnh xc nh liu mt ow workfl c thc hin ng, iu ny din ra vo cui mi ow workfl. Mt khc, xc nhn l qu trnh nh gi chuyn su din ra trc khi sn phm c phn phi cho khch hng. Mc ch ca n l xc nh liu cc sn phm nh l mt ton b satisfi es cation specifi ca n. Mc d c hai thut ng ny l ht ned bng ch gii thut ng k thut trong phn mm IEEE IEEE 610,12, 1990] theo cch ny, v bt k vic s dng ph bin ca thut ng V & V ch th nghim, t verifi cation v xc nhn c s dng cng t cng tt trong cun sch ny.

Mt l do l, nh c gii thch ti mc 6,5, cc cation t verifi c mt ngha trong bi cnh ca th nghim. L do th hai l cation verifi cm t v xc nhn (hoc V & V) ng rng qu trnh mt ow workfl kim tra c th ch i cho n khi kt thc rng ow workfl. Ngc li, n l iu cn thit l kim tra ny c thc hin song song vi tt c cc hot ng pht trin phn mm v bo tr. V vy, trnh s khng mong mun ngha ca cm t V & V, cc th nghim c s dng. L do th hai l do ti sao chng ti s dng t "th nghim" l y l thut ng ca qu trnh lp ra ed. V d, fi fth li workfl ow l ow workfl th nghim. V c bn c hai loi th nghim: thc hin da trn th nghim v th nghim khng executionbased. V d, n l khng th thc hin mt ti liu c th cation bng vn bn, cc la chn thay th duy nht l xem xt n nh l mt cch cn thn nht c th hoc b n cho mt s hnh thc phn tch. Tuy nhin, mt khi c m thc thi, n s tr thnh c th chy cc trng hp th nghim, c ngha l, thc hin da trn th nghim thc hin. Tuy nhin, s tn ti ca m khng ngn cn khng thc hin da trn th nghim, bi v nh s c gii thch, phng php xem xt m c th pht hin ra li nh nhiu nh chy trng hp th nghim. Trong chng ny, cc nguyn tc ca c hai th nghim da trn thc hin v khng thc hin c m t. Nhng nguyn tc ny c p dng trong cc chng 11 n 16, ni m m t c a ra ca mi ow workfl ca m hnh quy trnh v th nghim c th thc hnh c p dng cho n. Fi r hai li c m t trong trong trng hp bn mun bit Box 1,1 dn n hu qu cht ngi. May mn thay, trong nhiu trng hp, kt qu ca vic cung cp phn mm vi cc li cn li l ng k t bi quan hn. Tuy nhin, tm quan trng ca th nghim c th c nhn mnh qu mnh m.

6 Chng ta bt u mc ny bng vic m rng nh ngha ca mc 1.11 l testing.Mt Li (fault) c phn nh trong sn phm khi ngi ta lm b li. Mt sai lm trn mt phn ca sn phm c th l nguyn nhn gy ra nhiu li, ngc li, nhiu sai lmkhc nhau c th gy ra mt li ging nhau. S tht bi l do cc hnh vi ca phn mm c quan st khng chnh xc do h qu l li, m li l mt khi lng kt qu khng chnh xc. C th hn tht bi c th do mt vi li gy ra, v vi li c th khng gy ra tht bi. T defect -khim khuyt l mt thut ng chung cho cc t fault, failure, error. Ngay by gi, chng ta tr li vi cht lng sn phm. K hn cht lng phn mm thng b hiu nhm khi s dng trong bi cnh phn mm, Sau tt c, cht lng bao hm s xut sc ca mt s loi, nhng iu ny him khi l mc ch ca cc k s phn mm. t cht lng mt cch thng thn, tt c cc t chc pht trin phn mm cn cc sn phm phn mm hot ng chnh xc hn l mt th t ln hn ci m cc t chc mc CMM t c.

Cht lng phn mm l mc hi lng v sn phm c th . Tuy nhin, iu khng . V d, m bo rng mt sn phm c th bo tr d dng, sn phm phi c thit k v code t m. Do , iu cn thit rng phn mm c cht lng cao, nhng iu ny khng c ngha l . Cng vic ca mi chuyn gia phn mm l m bo cht lng phn mm ti mi thi im. l mi ngi pht trin v bo tr phn hi cng vic kim tra ca mnh l chnh xc. Cht lng khng phi l ci g c thm vo sau bi nhm SQA m l phi c xy dng bi cc nh pht trin ngay t u. Mt trong nhng vai tr ca nhm SQA l m bo rng ngi pht trin l thc s lm vic vi cht lng cao. Nhm SQA c trch nhim b sung, nh c m t trong mc 6.1.1 6 Nh ni, mt kha cnh ca vai tr ca nhm SQA l kim tra rng phn mm c pht trin l chnh xc. Chnh xc hn, mi khi ngi pht trin hon thnh cng vic ca h v cn thn kin tra cng vic , thnh vin ca nhm SQA cn m bo cng vic c thc hin thc s chnh xc. Ngoi ra, khi sn phm hon tt v ngi pht trin tin tng rng ton th sn phm ca h l chnh xc, v nhm SQA cn phi m bo iu ny l ng. Tuy nhin, m bo cht lng phn mm xa hn na cng ch l qu trnh kim tra cui cng ca mt quy trnh hoc cui cng ca qu trnh pht trin. SQA p dng quy trnh phn mm ca bn thn n. V d, trch nhim ca nhm SQA bao gm s pht trin ca cc tiu chun khc nhau phn mm phi ph hp cng nh vic t chc gim st m bo ph hp vi cc tiu chun . Tm li, vai tr ca nhm SQA l m bo cht lng ca tin trnh phn mm qua m bo cht lng sn phm. 6 iu quan trng phi c qun l c lp gia cc nhm pht trin v nhm SQA. l, pht trin c th do mt ngi qun l, nhm SQA do mt ngi qun l khc, v khng th b mt trong hai qun l. L do l, qu thng xuyn cc khim khuyt c tm thy trn mt sn phm phn mm khi hn cht ang n. Cc t chc phn m m phi ngay lp tc chn gia hai la chn khng t yu cu, Hoc l sn phm c giao ng thi im nhng y li, khch hng phi chu ng vi li phm mm, hoc ngi pht trin c th sa cha nhng chuyn giao b mun. Khng c g ngoi vic khch hng s mt nim tin vi cc t chc phn mm. Quyt nh chuyn giao sn phm li ng thi hn khng nn c thc hin bi ngi chu trch nhim pht trin, cng khng phi ngi qun l SQA c th quyt nh tin hnh th nghim ln na v chuyn giao mun, Thay v , c hai qun l cn c bn bo co cho qun l cp cao ngi m c th quyt nh la chn nhng li ch tt nht cho t chc v khch hng. T ci nhn u tin, vic c thm nhm SQA s tng ng k chi ph pht trin phn mm nhng iu ny khng phi nh vy.Vic thm chi ph l tng i nh so vi li nhun thu c t sn phm cht lng cao. Nu khng c nhm SQA, mi thnh vin ca t chc

pht trin phn mm phi tham gia vo hot ng m bo cht lng phn mm. Gi s mt t chc c 100 chuyn gia phn mm v mi ngi dnh 30% thi gian cho vic m bo cht lng. Thay v 100 c nhn nn chia thnh 2 nhm, 70 c nhn thc hinpht trin phn mm v 30 c nhn cn li chu trch nhim cho SQA. Cng mt thi gian dnh cho SQA, ch thm chi ph cho ngi qun l SQA. m bo cht lng by gi c th c tin hnh bi cc nhm c lp, dn n cht lng sn phm cao hn khi hot ng SQA c thc hin bi c t chc. i vi cc cng ty phn mm nh ( 4 nhn vin hoc it hn), khng c hiu qu v kinh t nu c nhm SQA. Tt nht l thc hin theo cc trng hp m bo rng phn tch thc hin c kim tra bi mt ngi khc 6.2 Non-Execution-Based Testing.

Kim th phn mm m khng thc hin chy cc test case c gi l non-executionbased testing. V d phng thc ca non-execution-based bao gm nh gi phn mm v phn thch thut ton. <Ch n bo l c ci nh gi phn mm cn thn !> Giao vic ny cho ngi chu trch nghim v ti liu khng phi l mt tng hay. Ai cng c nhng im m cho nhng li chui lt vo ti liu, vic nh gi phi cho mt ai thc hin ch khng phi l ngi thc hn ti liu. Thm vo mt ngi nh gi l khng , tt c chng ta phi c ti liu rt nhiu ln, khi khng pht hin mt li sai no th vic thc hin c li ln hai c thc hin. l mt quy tc c bn nh gi cc k thut nh walkthroughs<thong qua, s qua> hay inspections<s xem xt>. Trong c hai loi nh gi, mt ti liu c im tra cn thn bi mt nhm chuyn gia phn mm vi hng lot cc k nng. Sc mnh nh gi ca mt nhm l nhng k nng khc nhau ca tng thnh vin lm tng kh nng tm thy li. Thm vo , mt nhm cc c nhn c k nng lm vic cng nhau thng to nn mt ... ni chung l on kt g ! Walkthroughs v inspections l hai kiu nh gi. S khc nhau c bn gia chng l walkthroughs c t bc hn v t hnh thc hn inspections.

6.2.1 W k

<S q

>

Mt nhm walkthrough nn gm t 4 n 6 c nhn. Mt nhm analysis walkthrough nn bao gm t nht: Mt ngi t nhm chu trch nhim xy dng chi tit k thut, Ngi qun l chu trch nhim khu phn tch. Mt i din khch hng.

Ngi i din cho nhm s thc hin khu tip theo. V mt ngi t i QA lm ch tr. L do c thng ny c cp 6.2.2. Thnh vin ca walkthrough team cng nhiu cng tt, cc k thut vin c kinh nghim s tm thy cc li quan trng.<Li quan trng l li cc tc ng tiu cc ln cho d n !> Cht liu cho walkthrough phi c phn phi cho nhng ngi tha gia trc h c s chun b cn thn. Mi nh gi vin phi to hai list: List nhng ci m cn cha hiu.

List nhng ci cho l cha chnh xc. 6.2.2 Managing walkthroughs. Walkthrough phi c ngi ca bn i SQA bi v <hnh nh l thng ny c th ngng nu cng vic thc hin ko tt thng qua biu quyt :D>. Cn thng i din cho khu phn tch mun c ti liu chi tit k thut cng nhanh cng tt thc hin mt s nhim v khc. Cn thng i din khch hng: ni chung l thng ny m bo l my ci li ko c pht hin m sau ny pht hin th chi ph fix ko do thng khch hng tr <k hiu my :))>. Cht lng sn phm phn nh trc tip s chuyn nghip ca nhm SQA.

Ngi cm u hng dn cc thnh vin tm ra cc li thng qua vn bn hng dn, nhng h khng c nhim v sa li, m ch tm ra . V: Vic sa li nu do nhm walkthrough thc hin trong thi gian ngn ny th s khng hiu qu bng vic c mt nhm c cc k thut cn thit chuyn thc hin vic sa li. Ni chung l vic ny nu do mt ngi khc lm tng ng vi nhm ny th chi ph r hn. Khng phi tt c cc mc nh du u l li thc s. C cu If it ain't broke, don't fix it , Vic phn tch v sa li l tt nht vi nhng li thc s. n gin l khng thi gian cho c hai vic l pht hin v sa li. Nn ch pht hin v ghi li cc li thi.

C hai cch iu khin mt walkthrough. Th nht l tham gia iu khin <participant driven>. Nhng ngi tham gia trnh by danh sch nhng iu cha r rng hay

nhng ci h cho l li. Ngi i din nhm phn tch phi p ng cc truy vn, lm r nhng g khng r rng... Cch th hai l r xot ti liu hng dn. Mt ngi chu trch nhim v ti liu, c nhn xt nh gi,.. thng qua trnh by j` j` , ko bt. Cch tip cn th hai ny c kh nng trit hn. Ngoi ra n cn gip pht hin nhiu li hn bi v nhng li ti liu hng dn thng c pht hin mt cch t nhin bi ngi trnh by. <C mt ci nghin cu g ni l khi trnh by bng ming th vic pht hin li s d hn hay i loi th> Vai tr ca ngi lnh o walkthrough l gi ra cu hi, to iu kin thun li cho tho lun. Walkthrough l qu trnh tng tc ch khng phi l ngha v trnh by t pha ngi trnh by :|. Mt na ca phn ny l walkthrough khng c dng dnh gi hiu sut. Nu iu ny xy ra th walkthrough tr thnh mt point-scoring session v nhng li s khng c pht hin. <Hnh nh trong nhm ny c c thng thc hin ti liu, m gi ly vic pht hin li nh gi th tt nhin n ko c gng tm li ra lm j c>. 6.2.2 Managing Walkthroughs Walkthrough nn c ch tr bi i din SQA v i din SQA s b tn hi nhiu nht nu Walkthrough c thc hin km v li b b qua. Ngc li, ngi i din chu trch nhim cho cc cng vic phn tch c th l mong mun c ti liu c t c ph duyt cng nhanh cng tt bt u mt s nhim v khc. i din khch hng c th quyt nh rng bt k li lm khng c pht hin ti nh gi c th s hin th trong qu trnh th nghim v c sa cha ti thi im min ph cho t chc ca khch hng. Tuy nhin, i din SQA hu ht b e da: cht lng ca sn phm l mt s phn nh trc tip thm quyn chuyn nghip ca nhm SQA. Ngi dn u Walkthrough dn cc thnh vin khc ca nhm Walkthrough thng qua vn bn pht hin ra bt c li no. N khng phi l nhim v ca i ng li chnh xc, n ch n thun l ghi li chng sa cha sau ny.C bn l do cho vic ny: 1. Mt iu chnh to ra bi mt ban (c ngha l, i ng Walkthrough) trong cc rng buc thi gian ca Walkthrough c kh nng cht lng thp hn so vi mt s iu chnh c to ra bi mt c nhn c o to trong cc k thut cn thit. 2. Mt iu chnh to ra bi mt i ng Walkthrough ca nm c nhn phi mt t nht nhiu thi gian nh mt s iu chnh sn xut bi mt ngi v, do , chi ph nm ln cng nhiu khi c xem l mc tin lng ca ngi tham gia. 3. Khng phi tt c cc mc nh du l li thc s l khng chnh xc.Theo cu chm ngn, "Nu n khng b ph v, th ng sa cha n," l tt hn cho nhng li c phn tch phng php v sa cha nu n thc s l mt vn , hn l c mt i ng c gng "sa cha"ci g l hon ton chnh xc. 4. Ch n gin l khng thi gian trong mt hng c hai pht hin cc li chnh xc. Khng c Walkthrough ko di lu hn hn 2 gi. Thi gian nn c dng pht hin v ghi li cc li, khng sa chng.

C hai cch thc hin mt hng. u tin l tham gia nh hng.Nhng ngi tham gia trnh by danh sch cc mc cha r rng v cc mc m h ngh l khng chnh xc.Ngi i din ca nhm phn tch phi p ng vi mi truy vn, lm r nhng g l cha r rng ngi xem v c hai ng rng thc s l mt li hoc gii thch l do ti sao ngi xem b nhm ln. Cch th hai tin hnh r sot ti liu nh hng. Mt ngi chu trch nhim v ti liu, hoc c nhn hoc nh l mt phn ca mt nhm, i tham gia thng qua ti liu , vi nhng nhn xt hoc vi kin c chun b sn sng hoc kin ca h c th hin bng cch thuyt trnh. Cch tip cn th hai l c kh nng trit hn. Ngoi ra, n thng dn ti vic pht hin li nhiu hn v phn ln cc cc li mt ti liu nh hng mt cch t nhin c pht hin bi ngi thuyt trnh.Thi gian sau mt thi im, nhng ngi thuyt trnh s tm dng gia mt cu, khun mt anh y hoc c y s sng ln, v cc mt li bt ng tr nn r rng. Mt lnh vc nghin cu ca mt nh tm l hc c kt qu l xc nh l do ti sao ni di dng qu thng xuyn dn ti pht hin li trong qu trnh walkthroughs ca tt c cc loi, bao gm c cc walkthroughs yu cu, walkthroughs phn tch, cc walkthroughs thit k, cc walkthroughs k hoch, v walkthroughs m. Khng c g ng ngc nhin, ti liu nhn xt nh hng tng tn hn l phng php c quy nh trong Tiu chun IEEE cho Phn mm [IEEE 1028, 1997]. Vai tr chnh ca cc nh lnh o Walkthrough l gi ra cc cu hi v to iu kin thun li cho cuc tho lun. Walkthrough l mt qu trnh tng tc, khng phi l mt mt hng dn ca ngi thuyt trnh. N cng l iu cn thit m Walkthrough khng c s dng nh mt phng tin nh gi nhng ngi tham gia. Nu iu xy ra, Walkthrough thoi ha thnh mt phin hp cho im im v khng pht hin ra cc li, bt k nh th no cc nh lnh o k hp s c gng chy n. N c xut rng ngi qun l nhng ngi chu trch nhim cho cc ti liu ang c xem xt phi l mt thnh vin ca nhm Walkthrough. Nu ngi qun l ny cng chu trch nhim cho cc nh gi hng nm ca cc thnh vin ca nhm Walkthrough (v c bit l ca ngi trnh by), kh nng pht hin li ca nhm s b tn hi, bi v ng c chnh ca ngi thuyt trnh l gim thiu s lngli hin th. ngn chn xung t li ch ny, ngi chu trch nhim cho tin trnh cng vic nht nh cng khng c trc tip chu trch nhim v nh gi bt k thnh vin no ca i ng Walkthrough cho cng vic . 6 3K Kim tra ln u tin c xut bi Fagan [1976] th nghim thit k v m. Mt cuc kim tra thng i theo 1 hng nht nh v c nm bc. 1. Ci nhn tng qut v ti liu c kim tra (yu cu, c im k thut, thit k, m, hoc k hoch) c cho bi mt trong nhng c nhn chu trch nhim sn xut ti liu . Vo phn cui ca phin hp tng quan, ti liu c phn phi cho nhng ngi tham gia. 2. Trong giai on chun b, nhng ngi tham gia c gng hiu cc ti liu mt cch chi tit. Danh sch cc li c tm thy trong nhng cuc kim tra gn y, v c xp theo tn s xut hin, l mt s gip tuyt vi. Nhng danh sch gip cc thnh vin trong nhm tp trung vo nhng khu vc m hu ht nhng li c tm thy. 3. bt u vic kim tra, mt trong nhng ngi tham gia xem qua ti liu vi i kim tra, m bo rng mi vt phm u c bo him v mi nhnh c thc hin t nht mt ln. Sau , pht hin li bt u. Mc ch ca vic ny l tm v sp xp li, ch khng

sa li. Trong vng mt ngy ngi ng u ca i kim tra (Ngi iu hnh) phi vit mt bo co bng tay v cuc kim tra m bo tnh t m ca tng giai on. 4. giai on lm li, c nhn chu trch nhim i vi ti liu phi gii quyt tt c cc li v nhng vn c cp trong bo co. 5. Trong vic theo di, Ngi iu hnh phi m bo rng mi vn nu ra c gii quyt tha ng, bng cch sa cha cc ti liu hoc lm r cc vn khng r rng c gn c l li. Tt c cc bn sa li phi c kim tra m bo rng khng c li mi c pht hin [Fagan, 1986]. Nu hn 5% ca cuc kim tra c lm li, th i kim tra phi ti triu tp li cho 100% ti kim tra. Vic kim tra cn c tin hnh bi mt nhm bn ngi. V d, trong trng hp ca mt kim tra thit k, nhm nghin cu bao gm mt ngi iu tit, mt ngi thit k, mt ngi trin khai, v mt ngi th nghim. Ngi iu hnh l c ngi qun l v lnh o ca on thanh tra. Phi c mt i din cho i chu trch nhim cho cc cng vic hin ti cng nh i din cho i chu trch nhim cho cc cng vic tip theo. Ngi thit k l mt thnh vin ca nhm m sn xut mu thit k, ni m ngi thc hin c trch nhim, hoc ring l hoc nh l mt phn ca mt nhm, dch mu thit k thnh dng m. Fagan ngh rng ngi kim tra nn l mt lp trnh vin chu trch nhim sp t giai on kim tra, ng vy, tt nhin, tt hn hn cc ngi kim tra ca nhm SQA. Cc tiu chun IEEE ngh mt nhm t ba n su ngi tham gia IEEE 1028, nm 1997]. Vai tr c bit c giao cho cc iu hnh vin, ngi c l ngi m dn dt i lm mu thit k, v ngi khi li chu trch nhim vit mt bn bo co cc li c x l. Mt thnh phn thit yu ca thanh tra l danh sch kim tra cc li tim tng. V d, danh sch kim tra cho kim tra thit k bao gm cc hng mc nh th ny: mi mc ca cc ti liu c im k thut c y v chnh xc hay khng? i vi mi giao din, cc i s thc t v chnh thc tng ng c ng hay khng? C c ch x l li c xc nh y hay cha? Thit k tng thch vi cc ti nguyn phn cng hay n yu cu thm phn cng ngoi nhng ci c? L thit k tng thch vi cc ngun ti nguyn phn mm, v d, h iu hnh c tha mn cc chc nng theo yu cu ca thit k hay cha?Mt thnh phn quan trng ca th tc kim tra l thng k s liu cc li. Li phi c ghi li bi mc nghim trng (ln hoc nh, mt v d v mt li nghim trng l mt trong nhng nguyn nhn gy thit hi sm hoc ph hng c s d liu) v loi li. Trong trng hp kim tra li, cc loi li in hnh bao gm cc li giao din v cc li logic. Thng tin ny c th c s dng trong mt s cch hu ch: S lng cc li trong mt sn phm nht nh c th c so snh vi mc trung bnh ca li pht hin cng 1 giai on ca giai on pht trin trong cc sn phm so snh, a ra mt cnh bo sm rng ci g l khng n v cho php hnh ng khc phc kp thi c. Nu kt qu kim tra hai hoc ba m trong s pht hin ca mt s li khng cn xng ca mt loi c th, qun l c th bt u kim tra m khc cho nhng li loi , v c hnh ng khc phc nu cn thit. Nu kim tra k lng m m tm thy nhiu li hn nhng g c tm thy trc , thng c mt phng n mnh cho thit k li t u v thc hin cc thit k mi. Thng tin v s lng v loi li c pht hin ti mt kim tra ca mt thit k gi p nhm thc hin vic kim tra m giai on sau. Th nghim u tin ca Fagan [1976] c thc hin trn mt sn phm h thng. Mt trm ngi gi c iu ng kim tra, vi mt t l ca hai 2 gi kim tra mi ngy bi mt nhm bn ngi. Trong tt c cc li c tm thy trong qu trnh pht trin ca sn phm, 67% li c xc nh trc khi vic kim tra sn phm c bt u. Hn na, trong 7 thng u sau khi sn phm c ci t, 38% li

c pht hin trong sn phm c kim tra t hn so vi mt sn phm c th so snh c xem xt bng cch s dng cc phng php khng chnh thc. Fagan [1976] tin hnh mt th nghim khc trn mt sn phm ng dng v thy rng 82% ca tt c cc li c pht hin trong qu trnh thit k v kim tra m. Mt tc dng ph hu ch ca vic kim tra l lp trnh nng sut tng v mt t thi gian phi c dnh cho vic kim tra sn phm. S dng mt m hnh c tnh t ng, Fagan xc nh rng, nh l mt kt qu ca qu trnh kim tra, vic tit kim ngun lp trnh vin l 25% mc d thi gian l phi dnh cho vic kim tra . Trong mt th nghim khc, Jones [1978] thy rng c hn 70% cc li c pht hin bng cch tin hnh thit k v kim tra m. Cc nghin cu sau cho ra cc kt qu n tng khng km. Trong mt ng dng x l d liu kinh doanh 6000 dng, 93% ca tt c cc li c pht hin c tm thy trong qu trnh kim tra Fagan, 1986].Theo bo co trong [Ackerman, Buchwald, v Lewski, 1989], vic kim tra l tt hn hn vic th nghim s pht trin ca mt h iu hnh n lm gim chi ph pht hin mt li 85%, trong mt sn phm h thng chuyn mch, gim 90% [Fowler, 1986].Ti Phng th nghim Jet Propulsion (JPL), trung bnh, mi ln kim tra 2 gi tip xc vi 4 li ln v 14 li nh [Bush, nm 1990]. Dch sang ng la, iu ny c ngha l tit kim khong $ 25.000 cho mi cuc kim tra. Mt nghin cu khc c tn JPL [Kelly, Sherif, v Hops, 1992] cho thy rng s lng li c pht hin gim theo cp s nhn bi giai on c in. Ni cch khc, vi s tr gip ca vic kim tra, li c th c pht hin sm trong qu trnh x l phn mm. Tm quan trng ca pht hin sm ny c th hin trong hnh 1.6.Mt trong nhng li th m vic kim tra m thc hin trong cc cc trng hp th nghim (qu trnh kim tra x l c s) cc kim tra vin khng cn phi bn tm ti nhng ri to. N thng xuyn xy ra, khi mt sn phm c th nghim c thc thi, n khng thnh cng. Li m l nguyn nhn dn tht bi phi c sa ngay trc khi vic kim tra x l c s. Ngc li, mt li c tm thy trong cc m khng trong qu trnh kim tra x l c s th c phn loi v xem xt tip tc. Mt nguy c ca qu trnh thanh tra, nh xem qua, n c th c s dng thm nh hiu sut. iu nguy him l c bit nghim trng trong trng hp kim tra bi v cc thng tin li chi tit c sn. Fagan gt b ni s ny bng cch ni rng, trong khong thi gian 3 nm, ng bit khng c ngi qun l ca IBM no m s dng nhng thng tin chng li mt lp trnh vin, hoc nh ng t n, khng c qun l c gng "git cht con ngng trng vng" [ Fagan, 1976]. Tuy nhin, nu kim tra khng c tin hnh ng cch, h c th khng c thnh cng vang di nh h lm c ti IBM. Tr khi nh qun l ng u nhn thc c cc vn tim n, s dng sai ca thng tin kim tra l mt kh nng ring bit. 6 4S a gi I v W k

B ngoi, s khc bit gia Inspector v Walkthrough l nhm kim tra s dng mt danh sch kim tra cc truy vn h tr trong vic tm li. Nhng s khc bit cn su sa hn th. Walkthrough l mt quy trnh gm hai bc: chun b theo nhm v phn tch ti liu. Inspection l mt quy trnh gm nm bc: tng quan, chun b, kim tra, gia cng li v theo di; v phng php c theo di trong mi bc c chnh thc ha. V d nh phn loi li c phng php v s dng cc thng tin trong vic kim tra ti liu ca cc quy trnh tip theo cng nh kim tra cc sn phm trong tng lai.

Quy trnh kim tra mt nhiu thi gian hn walkthrough. Vy vic kim tra c ng tn thm thi gian v cng sc khng? Cc d liu mc 6.2.3 ch ra r rng rng kim tra l cng c mt mnh m, ph hp v chi ph pht hin li.

m m

m yu ca vi

C hai th mnh chnh ca vic nh gi (walkthrough hoc kim tra). Mt l, xem xt l cch hiu qu pht hin mt li; hai l, li c pht hin cng sm trong quy trnh phn mm th vic sa li cng tn km. V d, li thit k c pht hin trc khi pha thc thi bt u v li coding c tm thy trc khi to tc c tch hp vo sn phm. Tuy nhin, hiu qu ca mt bi nh gi c th gim nu quy trnh phn mm khng tng xng: Mt l, phn mm quy m ln rt kh nh gi, tr khi n bao gm cc thnh phn nh hn, c lp. Mt th mnh ca m hnh hng i tng l nu thc hin ng, cc sn phm kt qu bao gm cc thnh phn c lp phn ln. Hai l, mt nhm nh gi thit k i khi phi tham kho cc to tc phn tch, mt nhm nh gi code cn truy cp thng xuyn vo cc ti liu thit k. Nu ti liu hng dn ca quy trnh trc khng y , khng c cp nht phn nh phin bn hin ti ca d n, v c sn trc tuyn, hiu qu ca cc i nh gi s b cn tr.

ca Inspection

xc nh hiu qu ca vic kim tra, mt s thng s khc nhau c th c s dng. u tin l t l kim tra. Khi cc chi tit k thut v thit k c kim tra, mt s trang c kim tra mi gi c th c o; kim tra code, mt thng s thch hp l s dng code c kim tra mi gi. Thng s th hai l mt li, c o bng s li trn mt trang c kim tra hoc s li trn 1000 dng code (KLOC) c kim tra. Thng s ny c th c chia nh thnh nhng li ln trn mt n v ti liu v cc li nh trn mt n v ti liu. Mt thng s hu ch khc l hiu sut pht hin li, c ngha l, s lng li ln v nh c pht hin mi gi. Mt s liu th t l hiu qu pht hin li, l, s lng li ln v nh c pht hin bi mt ngi trong mi gi. Mc d mc ch ca cc thng s l o hiu qu ca qu trnh kim tra, kt qu thay vo c th phn nh nhng thiu st ca nhm pht trin. V d, nu t l li c pht hin bt ng tng t 20 ln 30 li trn 1000 dng code, th khng hn l nhm kim tra t nhin lm vic hiu qu hn 50%. Mt gii thch khc c th l cht lng ca code gim xung v ch n gin l nhiu li hn c pht hin.

Sau khi tho lun kim th khng da trn thc tin, chng ta chuyn sang ch tip theo l kim th da trn thc tin. 6.3 Kim th d c tin

Vic kim th c cho l mt minh chng rng li ("bug") khng xut hin. Mc d mt s t chc chi n 50% ngn sch phn mm ca h cho vic th nghim, th phn mm "kim th" c bn giao ni ting l khng ng tin cy. L do ca mu thun ny rt n gin. Nh Dijkstra ni, "Kim th chng trnh c th l mt cch rt hiu qu hin th cc li, nhng tht v vng nu khng c y cc li c hin th" [Dijkstra, 1972]. Dijkstra ni rng, nu mt sn phm c thc hin vi d liu th nghim v u ra sai, th sn phm chc chn c li. Tuy nhin, nu u ra l chnh xc, th vn c th c li trong sn phm; thng tin duy nht c th c rt ra t cuc kim tra c th l sn phm chy chnh xc trn tp cc d liu th nghim. 6 4 N k m th nh ?

c th m t nhng thuc tnh no nn c kim th, iu cn thit u tin l a ra m t chnh xc v vic kim th da trn thc tin. Theo Goodenough [1979], kim th da trn thc tin l mt quy trnh lun ra cc thuc tnh trng thi nht nh ca mt sn phm da trn mt phn kt qu thc hin sn phm trong mt mi trng bit vi u vo c la chn. nh ngha ny c ba h qu ng lo ngi: 1. u tin, nh ngha ni rng kim th l mt quy trnh suy lun. Tester chy sn phm vi cc d liu u vo bit v kim tra u ra. Tester phi suy ra bt c iu g sai sn phm. T quan im ny, kim th c th so snh vi vic c gng tm ra con m o en m ai cng bit trong mt cn phng ti, nhng khng bit c hay khng mt con m o trong phng ni u tin. Tester c vi u mi gip tm thy mt vi li: gi s c 10 hoc 20 tp u vo v u ra tng ng, c th l bo co li ca ngi s dng, v hng ngn dng code. T y, tester phi suy ra c li hay khng, v nu c th l li g. 2. Mt vn vi nh ngha ny xut pht t cm t mi trng bit .Chng ta thc s khng bao gi c th bit v mi trng ca chng ta, c phn cng ln phn mm. Chng ta khng bao gi c th chc chn rng h iu hnh hot ng chnh xc hoc cc tin ch chy thc l chnh xc. Mt li phn cng gin on c th nm trong b nh chnh ca my tnh. V vy, nhng g c quan st nh trng thi ca sn phm trong thc t c th l mt sn phm chnh xc tng tc vi trnh bin dch hoc phn cng b li hoc mt s thnh phn b li ca mi trng. 3. Mt phn ng lo ngi ca nh ngha kim th da trn thc tin l cm t vi u vo c la chn . Trong trng hp h thng thi gian thc, vic mt kim sot thng xuyn c th cc u vo ca h thng. Hy xem xt phn mm in t hng khng. H thng iu

khin chuyn bay c hai loi u vo. Loi u tin l iu m phi cng mun my bay lm. Nu phi cng ko cn iu khin bay ln hoc m bm ga tng tc ca my bay th nhng chuyn ng c hc ny c chuyn i thnh tn hiu k thut s gi n my tnh iu khin chuyn bay. Loi th hai l trng thi vt l hin ti ca my bay, chng hn nh cao, tc ca n v cao ca cnh. Phn mm iu khin chuyn bay s dng gi tr ca cc thng s tnh ton nhng tn hiu no nn c gi n cc thnh phn ca my bay, nh cnh v cc ng c, thc hin ch o ca phi cng. Trong khi , u vo ca phi cng c th d dng c thit lp vi mt s gi tr mong mun n gin bng vic thit lp iu khin my bay mt cch thch hp, cc u vo tng ng vi cc trng thi vt l hin ti ca my bay khng th c thao tc qu d dng.Trong thc t, khng c cch no c th p buc my bay cung cp "cc u vo c la chn." Lm th no mt h thng thi gian thc nh vy c th c kim th? Cu tr li l s dng chng trnh m phng. Chng trnh m phng l mt m hnh lm vic ca mi trng m sn phm, trong trng hp ny l phn mm iu khin chuyn bay, thc hin. Phn mm iu khin chuyn bay c th c kim th bng cch to ra cc gi lp gi cc u vo chn ti phn mm iu khin chuyn bay. Chng trnh m phng c cc iu khin cho php nh iu hnh thit lp mt bin u vo cho bt k gi tr chn no. Nu mc ch ca kim th l xc nh phn mm iu khin chuyn bay thc hin nh th no nu mt trong nhng ng c bt la, th b phn iu khin ca chng trnh m phng c thit lp cc u vo c gi n phn mm iu khin chuyn bay khng th phn bit c t u vo s c gi nu mt ng c ca my bay thc t bn la. u ra c phn tch bng cch kim tra cc tn hiu u ra c gi t phn mm iu khin chuyn bay n chng trnh m phng. Tuy nhin, tt nht, mt chng trnh m phng c th l mt xp x tt ca mt m hnh chnh xc ca phn no trong h thng, n khng bao gi c th l h thng ca chnh n. S dng mt m phng c ngha l, trong khi c thc s c mt "mi trng bit," c rt t kh nng mi trng bit ny trong mi cch ging ht mi trng thc t m sn phm s c ci t. Cc nh ngha trc ca kim th ni v "thng s trng thi . Vy thng s trng thi no phi c kim tra? Cu tr li r rng l kim tra sn phm c hot ng mt cch chnh xc hay khng. Tuy nhin, nh s c a ra, s ng n l khng cn thit v khng . Trc khi tho lun v tnh ng n, 4 thng s trng thi c xem xt l: tin ch, tin cy, s mnh m v hiu sut [Goodenough, 1979]. 6.4.1 Ti Tin ch l mc nhu cu ca ngi dng c p ng khi mt sn phm chnh xc c s dng trong cc iu kin c cho php bi cc c im k thut ca n. Ni cch khc, mt sn phm ang hot ng mt cch chnh xc l i tng u vo hp l trong gii hn ca cc c im k thut. Ngi dng c th kim tra, v d nh, lm th no s dng sn phm d dng, cho d sn phm thc hin cc chc nng hu ch v chi ph tt so vi cc

sn phm cnh tranh. Khng k d sn phm chnh xc hay khng, th nhng sn phm quan trng vn phi c kim tra. Nu sn phm khng t hiu qu v chi ph th khng c hy vng bn c n. V nu sn phm khng d s dng, n hon ton s khng c s dng hoc n s c s dng khng ng.V vy, khi xem xt vic mua mt sn phm hin c (bao gm c phn mm c ng gi rt gn), tin ch ca sn phm nn c kim th u tin, v nu sn phm tht bi kha cnh ny, quy trnh kim th nn dng li. 64 tin c y

Mt kha cnh khc ca mt sn phm phi c th nghim l tin cy ca n. tin cy l gii hn ca tn s xut hin v mc ri ro ca sn phm sai st; nhc li sn phm sai st l mt kt qu hay hnh vi khng th chp nhn c, trong nhng iu kin vn hnh chp nhn c, xy ra nh h qu ca mt li. Ni cch khc, cn bit s sai st ca sn phm xy ra vi tn sut nh th no (ngha l thi gian gia cc ln sai st) v kt qu ca nhng s sai st c th xu n mc no. Khi mt sn phm sai st, mt vn quan trng l phi mt trung bnh bao lu sa cha n (ngha l thi gian sa cha). Tuy nhin, quan trng hn l phi mt bao lu sa cha cc kt qu ca sai st. im cui cng ny thng xuyn b b qua. Gi s rng phn mm ang chy trn mt phng tin truyn thng u cui tht bi, trung bnh, ch 6 thng mt ln; nhng khi n sai st, s xa b hon ton c s d liu. Tt nht, c s d liu c th c khi to li trng thi khi cc ni cha trm kim sot cui cng c mang theo, v cc con ng kim tra sau c th c s dng t c s d liu vo mt trng thi o cho n ht thi hn. Tuy nhin, nu quy trnh phc hi ny c phn tt hn trong 2 ngy, trong thi gian c s d liu v phng tin truyn thng u cui khng hot ng th tin cy ca sn phm l thp, d rng thi gian trung bnh gia cc sai st bi l 6 thng.

6.4.3 S chc chn Mt kha cnh khc ca mi sn phm i hi phi th nghim l s chc chn ca n. Mc d n rt kh khn a ra mt nh ngha chnh xc, s chc chn v c bn l mt chc nng ca mt s yu t, chng hn nh gii hn ca cc iu kin vn hnh, kh nng ca cc kt qu khng th chp nhn c vi u vo hp l, v s chp nhn cc kt qu khi sn phm c a vo u vo khng hp l. Mt sn phm vi mt gii hn ln cc iu kin vn hnh cho php chc chn hn mt sn phm hn ch hn. Mt sn phm chc chn s khng mang li kt qu khng th chp nhn c khi u vo p ng cc c im k thut ca n; v d, a ra mt lnh hp l khng nn c hu qu tai hi. Mt sn phm chc chn s khng sp khi sn phm khng c s dng trong nhng iu kin vn hnh cho php. kim tra cho kha cnh ny ca s chc chn, d liu th nghim khng p ng cc c im k thut u vo c c nhp vo, v tester xc nh sn phm phn ng xu n mc no. V d, khi sn phm yu cu mt ci tn, tester c th nhp mt lot cc ch ci khng ng, chng hn nh control-A escape-% ?$#@ . Nu my tnh tr li vi d liu nh vy l kiu d liu

khng ng hy th li , hoc tt hn l, thng bo cho ngi s dng l do ti sao cc d liu khng ph hp vi nhng g c d kin, th n chc chn hn so vi mt sn phm b treo bt c khi no d liu sai, thm ch mt cht nhng g c yu cu. 6.4.4 Hiu su t Hiu sut l mt kha cnh khc ca sn phm cn c th nghim. V d, l vic cn thit bit mc sn phm p ng hn ch ca n i vi thi gian phn ng hoc yu cu khng gian. i vi mt h thng my tnh nhng nh mt my tnh trn my bay trong mt tn la phng khng cm tay, hn ch khng gian ca h thng c th nh vy m ch c 128 megabyte (MB) b nh chnh c sn cho phn mm. Cn 256 MB ca b nh chnh nhng khng th s dng tt c. Phn mm thi gian thc c c trng bi nhng hn ch thi gian kh khn, l, hn ch thi gian ca thin nhin nh vy, nu hn ch khng c p ng, thng tin b mt. V d, mt h thng iu khin l phn ng ht nhn c th phi ly mu nhit ca li v x l d liu mi OTH 1 ca mt giy. Nu h thng l khng nhanh x l ngt t cc cm bin nhit mi th 10 ca mt giy, sau d liu b mt, v khng c cch no kh nng phc hi d liu trong thi gian ti h thng nhn c d liu nhit , n s l nhit hin ti, khng c c b qua. Nu l phn ng trn cc im ca cuc khng hong, sau n l rt quan trng m tt c cc thng tin c lin quan c tip nhn v x l nh nu trong cc chi tit k thut. Vi tt c cc h thng thi gian thc, hiu qu hot ng phi p ng tt c cc hn ch thi gian c lit k trong cc chi tit k thut. 645 x

Mt sn phm l chnh xc, nu c chi tit k thut ra, vic s dng ti nguyn my tnh c lp, hot ng trong iu kin cho php [Goodenough, 1979]. Ni cch khc, nu u vo p ng cc chi tit k thut, u vo c cung cp v sn phm c cho tt c cc ngun lc cn thit, cc sn phm l chnh xc nu u ra p ng cc chi tit k thut u ra. iu ny nh ngha ng n. Gi s mt sn phm c th nghim thnh cng chng li mt lot rng ln ca d liu th nghim. iu ny c ngha l sn phm c th chp nhn c? Tht khng may, l khng. Nu sn phm l chnh xc, tt c cc phng tin l c chi tit k thut ca n. Nhng nu nhng g bn thn cc chi tit k thut khng chnh xc? minh ha iu ny kh khn, xem xt cc c im k thut th hin trong Hnh 6.1. Cc thng s k thut nh nc, u vo sp xp l mt mng cc s nguyn n, trong khi u ra l mt mng q sp xp th t khng gim.B ngoi, cc thng s k thut c v hon ton chnh xc. Nhng xem xt sp xp phng php th hin trong hnh 6.2. Trong phng php , tt c cc yu t n q mng c thit lp l 0. Phng php ny p ng cc thng s k thut ca hnh 6.1 v do chnh xc. iu g xy ra? Tht khng may, cc chi tit k thut ca hnh 6.1 l sai. Nhng g b b qua, mt tuyn b rng cc yu t ca q, cc mng u ra, l mt hon v (sp xp li) ca

cc yu t ca mng u vo p. Mt kha cnh ni ti ca phn loi l n l mt qu trnh sp xp li. Ni cch khc, phng php trickSort l chnh xc, nhng cc chi tit k thut ca hnh 6.1 l sai. Thng s k thut sa cha xut hin trong hnh 6.3. T v d ny, n l r rng rng cc hu qu ca li c im k thut l khng tm thng. Sau khi tt c, tnh ng n ca sn phm l v ngha nu cc thng s k thut ca n l khng chnh xc. Thc t l mt sn phm l chnh xc l khng , bi v cc chi tit k thut trong cc iu khon trong , n c th hin l ng, cng c th sai. Nhng n cn thit? Hy xem xt tip theo - v d. Mt t chc phn mm c mt tuyt vi mi trnh bin dch C + + trnh bin dch mi c th dch hai ln nh nhiu dng m ngun cho mi th hai nh cc trnh bin dch c, cc i tng ang chy gn 45% nhanh hn, v kch thc ca m i tng l khong 20 phn trm nh hn. Ngoi ra, cc thng bo li r rng hn v chi ph bo tr v cp nht v gi i t hn mt na ca trnh bin dch c.C mt vn , tuy nhin, ln u tin mt tuyn b cho xut hin trong bt k lp hc, trnh bin dch in mt thng bo li gi mo. Do , trnh bin dch l khng ng, bi v cc chi tit k thut cho mt trnh bin dch ngm hay r rng yu cu thng bo li c in, nu v ch nu, c mt li trong m ngun. chc chn l c th s dng trnh bin dch trn thc t, trong mi cch nhng mt trong nhng trnh bin dch l hon ton l tng. Hn na, n l hp l hy vng rng li nh ny s c sa cha trong bn pht hnh k tip.Trong khi , cc lp trnh vin hc cch b qua cc thng bo li gi mo. Khng ch t chc c th sng vi trnh bin dch khng chnh xc, nhng nu c ai ngh thay th n bng cc trnh bin dch chnh xc tui, s c mt s phn i kch lit. Do , tnh ng n ca mt sn phm l khng cn thit v khng . C hai v d trc tha nhn l hi nhn to. Nhng h khng lm cho im chnh xcch n gin l thng s k thut. Ni cch khc, c nhiu th nghim hn l ch cho thy rng sn phm l chnh xc. Vi tt c nhng kh khn lin quan n thc hin da trn th nghim, cc nh khoahc my tnh c gng n vi nhng cch khc m bo rng sn phm lm nhng g n phi lm. Mt la chn khng da trn thc hin nh vy m nhn c s ch ng k trong hn 40 nm qua l minh chng ng n. 6.6 Gi s mt lp trnh vin c hi th nghim mt to tc m mnh vit. Th nghim c m t bi Myers [1979] l qu trnh thc hin mt sn phm vi nh tm li. Th nghim do l mt qu trnh ph hoi. Mt khc, cc lp trnh vin lm vic th nghim thng khng mun ph hy cng vic ca mnh. Nu thi c bn ca lp trnh hng ti ang l mt trong nhng bo v thng thng, sau cc c hi m lp trnh bng cch s dng d liu th nghim s lm ni bt li l thp hn ng k hn nu ng lc ln thc s ph hoi. Mt th nghim thnh cng pht hin li. iu ny cng t ra mt ficulty dif. N c ngha rng, nu to tc ang vt qua cc kim tra, sau th nghim tht bi. Ngc li, nu cc to tc m khng thc hin theo thng s k thut, sau th nghim

thnh cng. Mt lp trnh vin c hi th nghim mt to tc m mnh vit c yu cu thc hin cc to tc m trong mt cch m mt s tht bi khng chnh xc hnh vi xy ra sau . iu ny i ngc li bn nng sng to ca cc lp trnh vin. Mt kt lun khng th trnh c l cc lp trnh vin khng cn kim tra cc hin vt m ring ca h. Sau khi mt lp trnh c xy dng v xy dng mt to tc m, th nghim m to tc ang i hi ngi sng to thc hin mt hnh vi ph hoi v c gng tiu dit m to ra. L do th hai, l do ti sao thc hin da trn th nghim nn c thc hin bi ngi khc l cc lp trnh vin c th hiu lm mt s kha cnh ca thit k hoc thng s k thut. Nu th nghim c thc hin bi ngi khc, li ny c th c pht hin. Tuy nhin, g li (tm ra nguyn nhn ca s tht bi v sa cha cc li) tt nht c thc hin bi cc lp trnh ban u, ngi quen thuc nht vi cc m. Nhng tuyn b rng mt lp trnh vin khng nn kim tra m s ring ca mnh khng phi i qu xa. Hy xem xt qu trnh lp trnh. Lp trnh bt u bng cch c thit k chi tit ca cc to tc m, iu ny c th l trong cc hnh thc ca mt s hay, nhiu kh nng, gi. Nhng, bt c iu g k thut c s dng, cc lp trnh vin phi chc chn bn kim tra m cc hin vt trc khi nhp vo my tnh. l, cc lp trnh vin phi c gng s hoc gi vi cc trng hp th nghim khc nhau, truy tm thng qua cc thit k chi tit kim tra xem mi trng hp th nghim c thc hin mt cch chnh xc. Ch khi no ng php c hi lng rng cc thit k chi tit l chnh xc cc trnh son tho vn bn c vin dn m to tc. Mt khi cc hin vt ang dng my c th c, n tri qua mt lot cc kim tra.D liu th nghim c s dng xc nh rng cc to tc ang hot ng thnh cng, c th cc d liu th nghim tng t c s dng bn kim tra thit k chi tit. Tip theo, nu to tc ang thc hin mt cch chnh xc khi d liu th nghim chnh xc c s dng, sau lp trnh vin c gng ra cc d liu khng chnh xc kim tra s vng mnh ca cc to tc m lp trnh c hi lng rng cc to tc ang hot ng mt cch chnh xc, c h thng kim tra bt u. Th nghim h thng ny khng nn c thc hin bi cc lp trnh vin. Nu lp trnh vin khng phi l thc hin th nghim h thng ny, ngi l lm iu ? Th nghim c lp phi c thc hin bi nhm SQA. Cc t kha y l c lp. Ch khi nhm SQA tht s c lp ca nhm pht trin thnh vin ca mnh c th thc hin nhim v ca h m bo rng sn phm thc s p ng ficationsspeci ca n, m khng cn phn mm qun l pht trin p dng p lc thi hn sn phm m c th cn tr cng vic ca h. SQA nhn vin phi bo co qun l ring ca h v do bo v c lp ca h. H thng th nghim c thc hin nh th no? Mt phn thit yu ca mt trng hp th nghim l mt tuyn b ca sn lng d kin trc khi th nghim c thc hin. N l hon ton ph thi gian cho cc th nghim ngi mt thit b u cui, thc hin cc to tc m, nhp d liu th nghim ln xn, v sau ngang vo mn hnh v ni, "Ti on rng c v ng." Khng km v ch cho cc th nghim lp k hoch trng hp th nghim rt cn thn v thc hin tng trng hp kim tra ln lt, xem xt u ra, v ni, "Vng, chc chn

c v ng." N l qu d dng b la bi cc kt qu chnh ng. Nu lp trnh c cho php kim tra m ring ca h, sau c lun lun l mi nguy him m cc lp trnh vin s thy nhng g h mun xem. S nguy him tng t c th xy ra ngay c khi th nghim l 'thc hin bi ngi khc. Gii php l qun l nhn mnh rng, trc khi th nghim c thc hin, cc d liu th nghim v kt qu d kin ca bi kim tra c ghi li.Sau khi th nghim c thc hin, kt qu thc t c ghi li v so snh vi kt qu mong i. Ngay c trong cc t chc nh v vi cc sn phm nh, iu quan trng l ghi m ny c thc hin dng my c th c c, bi v cc trng hp th nghim khng bao gi c b i. L do cho iu ny l bo tr. Trong khi sn phm ang c duy tr, kim tra hi quy phi c thc hin. Trng hp th nghim c lu tr sn phm trc y thc hin mt cch chnh xc phi chy li m bo rng cc thay i c thc hin thm chc nng mi n sn phm khng b ph hy chc nng hin c ca sn phm. 6.7 Sau khi sn phm c duy tr trong nhiu nm, cui cng n c th mt i tnh hu dng ca n v c thay th bng mt sn phm hon ton khc nhau, cch tng t in t vn c thay th bi bng bn dn. Ngoira, mt sn phm vn c th l hu ch, nhng chi ph ca cng vo phn cng mi hoc chy theo mt h iu hnh mi c th c nhiu hn chi ph xy dng mt sn phm mi, bng cch s dng c nh mt nguyn mu. V vy, cui cng, sn phm phn mm c ngng hot ng v loi b khi dch v. Ch c ti thi im , khi phn mm c b i khng th thay i, l thi gian dng li th nghim. By gi tt c cc vt liu nn tng cn thit c bao ph, cc i tng c th chi tit hn. Mt ch chnh ca chng ny l th nghim phi c thc hin song song vi tt c cc hot ng ca qu trnh phn mm. Chng ny bt u vi mt m t ca vn cht lng (Mc 6.1). Tip theo, kim tra khng thc hin c m t (mc 6.2), vi mt cuc tho lun ca walkthroughs v kim tra cn thn. iu ny c theo sau bi mt nh ngha da trn th nghim thc hin (Mc 6.3 v 6.4) v mt cuc tho lun ca cc tnh cht hnh vi ca mt sn phm phi c th nghim, bao gm tin ch, tin cy, mnh m, hiu sut, v chnh xc (mc 6.4.1 thng qua 6,4 0,5). Trong Phn 6,5, chng minh tnh ng n c gii thiu v mt v d chng minh nh vy c a ra ti mc 6.5.1. Vai tr ca chng minh ng n trong cng ngh phn mm sau c phn tch (mc 6.5.2 v 6.5.3). Mt vn quan trng l thc hin th nghim h thng da trn phi c thc hin bi nhm SQA c lp v khng phi bi cc lp trnh (mc 6.6). Cui cng, cc vn khi th nghim cui cng c th ngn chn c tho lun ti mc 6,7. Thi ca cc nh sn xut phn mm qu trnh th nghim thay i trong nhng nm qua, xem th nghim ht mnh nh l mt phng tin cho thy rng mt sn phm chy mt cch chnh xc th nghim nn c s dng ngn chn cc yu cu thi modem, phn tch, thit k, v li thc hin . Tin trnh ny c m t trong [Gelperin v Hetzel, 1988]. Bn cht ca kim th phn mm v l do ti sao n l nh vy kh c tho lun trong [Whittaker, 2000]. S thm nhp ca cc li c m t trong [Lieberrnan v Fry, nm

2001]. Cch gim s lng cc li xut hin trong [Boehm v Basili, nm 2001]. Huyn thoi v cht lng phn mm c tho lun trong [Voas, nm 1999].Whittaker v Voas [2000] trnh by mt l thuyt th v ca tin cy. [Baber, 1987] l mt gii thiu tt chng minh chng trnh chnh xc. Mt k thut tiu chun chng minh tnh ng n s dng ci gi l logic Hoare, nh m t trong [Hoare, 1969]. Mt cch tip cn thay th m bo rng cc sn phm p ng cc thng s k thut ca h l xy dng cc sn phm theo tng bc, kim tra tng bc bo tn ng n. iu ny c m t trong [Dijkstra, 1968] v rWirth, 1971].Mt bi vit quan trng v vic chp nhn cc chng minh tnh ng n ca cng ng cng ngh phn mm [DeMillo, Lipton, v Perlis, 1979]. Tiu chun IEEE cho cc phn mm [IEEE 1028,1997] l mt ngun tuyt vi ca thng tin trn khng thc hin da trn th nghim. Cc th nghim nh gi kim tra ca mt sn phm phn mm quy m ln c m t trong [Perry et al, 2002].Vitharana v Raraamurthy [2003] ngh kim tra nn c n danh v qua trung gian my tnh. Tc ng ca nhm h tr qu trnh kim tra c trnh by trong [Tyran v George, nm 2002]. Vic la chn ca cc thnh vin on kim tra s c tho lun trong [Miller v Yin, nm 2004]. Mt nh gi ca thanh tra c a ra trong [Parnas v Lawford, 2003], v trng thi ca thc hnh c m t trong [Ciolkowski, Laitenberger, v Biffl, 2003]. Hng i tng thanh tra ang c tho lun trong [Dunsmore, Roper, v Wood, 2003]. Cc tc phm kinh in v thc hin da trn th nghim l Myers, nm 1979, ng k l hip c v cc lnh vc th nghim. [DeMillo, Lipton, v Sayward, 1978] vn cn mt ngun tuyt vi ca s hnh thnh la chn cc d liu th nghim. [Beizer, 1990] l mt bn tm tt th nghim, mt cun cm nang thc s v ti ny. Mt cng vic tng t [Hetzel, 1988]. Bin c bit vi m hnh hng i tng, Kung, Hsia, v Gao, 1998] l mt cun sch v hng i tng th nghim, v nh vy l [Sykes v McGregor, 2000]. Cc th tc t tng ca Hi ngh quc t v kim th phn mm v phn tch bao gm mt Similar ph rng cc vn th nghim. Thng 2 nm 2002 vn ca IEEE giao dch trn cng ngh phn mm c cha mt lot cc giy t t Hi ngh chuyn 2000; [Elbaum, Malishevsky, v chng cng nm 2002 l quan tm c bit.