You are on page 1of 48

CHƯƠNG II

PHÂN TÍCH TƯƠNG QUAN


VÀ HỒI QUI
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

2.1. Phân tích tương quan


Xét một đại lượng ngẫu nhiên biến thiên X tương
ứng với sự biến thiên của đại lượng Y, ta có:
Y = X + Ngẫu nhiên có điều kiện
Như vậy: Y = f(x)
Y = X + Ngẫu nhiên (không có điều kiện) Độc lập
Nếu:
Y = X + Ngẫu nhiên có điều kiện + Ngẫu nhiên
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Vậy phải ước lượng dưới dạng tổng quát thống


kê và hệ số tương quan là tiêu chí quan trọng.
Hệ số tương quan là đại lượng không thứ
nguyên:
M [( X  mx )(Y  m y )
r
 X Y
- Đại lượng ngẫu nhiên độc lập r = 0
- Đại lượng ngẫu nhiên có điều kiện càng có thể
r = 0 gọi đó là đại lượng không tương quan.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

• Hệ số tương quan đặc trưng cho sự phụ thuộc


tuyến tính
• Tổng quát hệ số tương quan có giá trị trong giới
hạn:
- 1 < rx,y < 1
• Khi rx,y > 0 quan hệ X, Y tồn tại tương quan
dương
• Khi rx,y < 0 quan hệ X, Y tồn tại tương quan âm
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

2.2. Phân tích hồi qui:


2.2.1. Khái niệm cơ bản:
- Sự phụ thuộc các đại lượng ngẫu nhiên được
xác định bằng một hàm phân phối có điều
kiện.
- Phân tích hồi qui là tính các thông số của mô
hình trên cơ sở các số liệu thực nghiệm.
- Mô hình mục tiêu nghiên cứu phải xác định rõ
ràng, hàm mục tiêu được gọi là hàm đáp
ứng.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

- Có thể hiểu diễn hàm mục tiêu dưới dạng.


 = f (x1, x2, …, xn)
Trong đó:
x1(i = 1, 2…, n) là yếu tố biến thiên độc lập
- Hàm mục tiêu được biểu diễn dưới dạng đa
thức:
 = o + 1x1 + … + 12x1x2 + … + 11 + …
Trong đó 0, 1… là hệ số hồi qui được xác định
bằng các ước lượng b0, b1, b2… qua các số liệu
thí nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Phương trình hồi qui trên cơ sở thực nghiệm là


ước lượng của hàm mục tiêu .
Y* = bo + b1x1 + … + b11x2 + …
- Mặt mô tả bởi phương trình hồi qui gọi là mặt
đáp ứng.
- Không gian tọa độ trên các trục đặt giá trị các
yếu tố gọi là không gian yếu tố
- Hiệu giữa giá trị thực nghiệm và giá trị tìm
được theo phương trình hồi qui của các thông
số tối ưu gọi là độ dư.
- Nếu phương sai dư không đáng kể so với
phương sai tái hiện thì phương trình hồi qui
tương thức với các số liệu thực nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

2.2.2. Phương pháp bình phương nhỏ


nhất.
- Phương trình hồi qui gần đúng phụ thuộc
vào phương pháp tính dùng để tính các hệ
số hồi qui.
- Phương pháp bình phương nhỏ nhất xác
định hệ số phương trình hồi qui sao cho
gần đúng với kỳ vọng toán học của thực
nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

- Bài toán xác định hệ số hồi qui là xác định


cực tiểu của hàm nhiều biến bo, b1,...
   [ y i  f ( x i , b o , b1 ,...)]  min
2

- Trong đó: yi – giá trị thực nghiệm


Y* = f (xo, bo, b1, …) giá trị tìm được theo
phương trình hồi qui.
- Nếu Y* = f (x, bo, b1,…) là hàm khả vi thì
điều kiện cực tiểu của  là.
 
 0,  0,...
bo b1
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Hoặc khai triển ra:


f ( x )
 2[ y
i
i  f ( x i , bo , b1 ,...)]
bo
0

f ( x )
 2[ y
i
i  f ( x i , bo , b1 ,...)]
b1
0

…………………..
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Sau khi biến đổi ta có hệ phương trình:


f ( x i ,...)  f (x , b , b1 ,...)
 y i b 
i o
0
o b1

f ( x i ,...)  f ( x , b , b ,...)  0
 y i b 
i o 1

1 b1

………………………..
Hệ phương trình trên có bao nhiêu phương trình thì
phương trình hồi qui có bấy nhiêu hệ số được gọi là hệ
phương trình chuẩn.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

2.2.3. Một số dạng phương trình hồi qui:


^
- Tối ưu hóa phụ thuộc 1 biến số Y  f ( x) theo
dạng hồi qui thực nghiệm
- Phương trình hồi qui tuyến tính:
^
Y  b0  b1 x
- Phương trình hồi qui Parabon:
^
Y  b0  b1 x  b2 x 2
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

- Phương trình hồi qui biểu diễn qua đa thức:


^
Y  b0 P0 ( x)  b1 P1 ( x)  ...  bK PK ( x)

- Trong đó: Po(x), P1(x), PK(x) là đa thức trực giao


trên các tập điểm X1, …, Xn;
- Phương trình hồi qui mũ và lũy thừa.
^
Y b b 0 1
x

^
Y  b0 x b1
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

2.2.4. Phân tích hồi qui tuyến tính bội k.

- Nếu thông số tối ưu phụ thuộc vào k biến độc


lập ta gọi là hồi qui tuyến tính k.

Ví dụ:
Giả sử có n thí nghiệm với k biến độc lập.
(x1, x2, …, xK)
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Ta có bảng sau:

STT X1 X2 - - - XK Y

1 X11 X21 XK1 Y1

2 X12 XK2 Y2

- - - - - - - -

n X1n - - - - XKn Yn
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Giả thiết:
1. Mỗi kết hợp x1, …, xk đại lượng y có
phân phối chuẩn
2. Phương sai không đổi
3. Sai số các phép đo biến độc lập không
đáng kể.
4. Các biến x1, …, xk độc lập tuyến tính.
Ước lượng kết quả được tính bằng
^
Y  b 0 x 0  b1x1  ...  b K x K  
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Trong đó :  - nhiễu
Dạng ma trận của x thu được là:
1 x11 ... x K1
1 x 21 ... X K2
X
  
1 X n1 xKn

Bố trí thí nghiệm sao cho


x im .x ij  0

Trong đó: m, j = o,k ; mj


CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Ý nghĩa:
- Tích vô hướng của 2 cột khác nhau của
ma trận X = 0
- Tích vô hướng của cột 1 xio = 1, i = 1-n
Từ đó:
x io x ij  x ij  0

- Tổng các phần tử của cột bất kỳ trừ cột


đầu bằng 0
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Ma trận cột của các thông số tối ưu hóa


y1
y 
yn

Ma trận của các hệ số hồi qui


bo
b1
B

bK
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Ma trận XT là ma trận chuyển vị của ma trận X

x o1 ... .x on
X T  ..... ... ....
x K1 ... .x Kn

Dạng ma trận hệ phương trình chuẩn ta có.


XT X B = XTY
Từ đó ta suy ra
B = (XT.X)-1 XT.Y
(XT.X)-1 là ma trận nghịch c\đảo của XT.X
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Sau khi xác định được các hệ số của


phương trình hồi qui cần tiến hành kiểm
định:

- Ý nghĩa của hệ số hồi qui

- Sự tương tích của phương trình hồi qui


CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

* Kiểm định của các hệ số qui


Việc kiểm định ý nghĩa của các hệ số hồi qui
được thực hiện theo tiêu chuẩn Student.

| bj |
tj 
Sb j
Trong đó:
bj – Hệ số thứ J trong phương trình hồi qui
Sbj – sai số trong việc xác định của hệ số thứ j.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

* Nếu tj > tp (f) ảnh hưởng của yếu tố


thứ j có ý nghĩa với thông số tối ưu
hóa yi, hệ số bj được giữ lại.

* Nếu tj < tp (f) hệ số bj bị loại khỏi


phương trình hồi qui (p – mức ý
nghĩa, f – bậc tự do tái hiện)
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

* Kiểm định sự tương thích của phương


trình hồi qui:
Sự tương thích của phương trình hồi qui
được kiểm định theo tiêu chuẩn Fisher
2
s
F tt
2
s th

Trong đó:
2
s - phương sai tương thích
tt
sth2 - phương sai tái hiện
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

Stt
s 
2
tt
f tt
T 2
 ^
  ^
  ^

stt  Y  Y  Y  Y     yi  y i 
     

ftt = fdư – fth = n - l


l – số hệ số có nghĩa trong phương trình hồi qui.
Nếu F tính được nhỏ hơn giá trị tra trong bảng
F1-p (f1, f2) với mức ý nghĩa p, f1 = ftt, f2 = fth thì
phương trình tương thích với thực nghiệm.
CHƯƠNG III

MỘT SỐ PHƯƠNG PHÁP


QUI HOẠCH THỰC NGHIỆM
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

3.1. Thực nghiệm yếu tố toàn phần:


- Những thực nghiệm mà mọi tổ hợp của
các mức của các yếu tố đều được thực
nghiệm nghiên cứu gọi là thực nghiệm yếu
tố toàn phần (TYT).
- Có k yếu tố, mỗi yếu tố có n mức số thí
nghiệm phải thực hiện là:
N = nk
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

- Nếu các thí nghiệm chỉ thực hiện ở hai


mức thì N = 2k, hai mức ở giá trị biên của
yếu tố được khảo sát.
- Nếu chọn thí nghiệm có một tâm đối
xứng ta có phương án cấu trúc có tâm.
- Xét yếu tố được ký hiệu là Zj ta có:

Z max
j  Z min
j
Z oj  j=1k
2
Trong đó:
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Z max
j - mức cao
Z min
j - mức thấp
Z oj - mức cơ sở (tâm của phương án)
Biến thiên của yếu tố Zj tính từ mức cơ sở:
Z max  Zj
Z j  j

2
, j=1k
- Tiện cho tính toán ta chuyển sang hệ trục
không thứ nguyên nhờ chọn tâm của miền là
gốc hệ trục tọa độ.
Z j  Zoj
Xj  ,j=1k
Z j
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

- Từ đó ta có mức trên là +1, mức dưới là


-1 ở tâm trùng với góc tọa độ

Ví dụ:

Nghiên cứu tốc độ phản ứng hóa học của


một phản ứng đã cho phụ thuộc vào, nhiệt
độ toC nồng độ C, áp suất P.
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

* Xác lập ma trận thực nghiệm:


Các biến độc lập được chọn là:

- Nhiệt độ Z1 mức cao: 300oC mức thấp 200oC

- Nồng độ Z2 mức cao: 45 g/l mức thấp 35 g/l

- Áp suất Z3 mức cao: 1,25 at mức thấp 0,75 at


CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Phương án thí nghiệm được viết dưới


dạng ma trận (TYT) 2 mức thí nghiệm, số
biến độc lập k = 3. Số thí nghiệm được
thực hiện là:
N = 23 = 8
Phương án thí nghiệm và kết quả thí
nghiệm được trình bày trên bảng 1
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM
MA TRẬN TYT 23 = 8
Biến thực Biến mã hóa Kết quả
Số thí
nghiệm Z1 Z2 Z3 X1 X2 X3 Y
1 300 45 1,25 + + + 296
2 200 35 1,25 - - + 122
3 300 35 1,25 + - + 239
4 200 45 1,25 - + + 586
5 300 45 0,75 + + - 232
6 200 35 0,75 - - - 292
7 300 35 0,75 + - - 339
8 200 45 0,75 - + - 383
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Để thuận tiện cho nghiên cứu người ta hàm biến ảo xo, xo = 1


Ma trận qui hoạch với biến ảo TYT 23
Số thí
nghiệm
X0 X1 X2 X3 Y
1 + + + + Y1
2 + - - + Y2
3 + + - + Y3
4 + - + + Y4
5 + + + - Y5
6 + - - - Y6
7 + + - - Y7
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Ma trận qui hoạch đảm bảo tính trực giao.


N

x
i 1
ui .x ji  0, (u  j, u , j  0  k )

Và x
i 1
ji  0; j  1  k; j  0

* Xác lập phương trình hồi qui


Nếu dùng phương trình hồi qui tuyến tính dưới dạng:
^
Y  b0  b1 x1  b2 x 2  b3 x 3
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Theo phương pháp tính hệ số trong phương trình hồi qui:


bo
b1
B  ( X T . X ) 1 X T Y
b2
b3
Ma trận XTXcó dạng:
8

x i 1
2
oi  i
x oi x1i x i
oi x 2i x
i
oi x 3i

x 1i x oi x 2
1i x 1i x 2i x 1i x 3i
X X
T i i i

x i
2i x oi x
i
2i x1i x
i
2
2i x
i
2i x 3i

x i
3i x oi x
i
3i x1i x
i
3i x 2i x
i
2
3i
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Từ tính chất trên ta có:


1 0 0 0
8
8 0 0 0
1
0 8 0 0 0 0 0
X X
T 1
; (X X) 
T 8
0 0 8 0 1
0 0 0
0 0 0 8 8
0 0 0 1
8

x
i
oi yi

XT Y  x 1i yi
x 2i yi
x 3i yi
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

1
bo 8
0 0 0 x
i
oi yi
0 1 0 0
B
b1 1
 ( X X ) X .Y 
T T 8 x 1i yi
b2 1
0 0
8
0 x 2i yi
b3
0 0 0 1
8 x 3i yi
N
1
Suy ra: bj 
N
x
i 1
ji yi
8

x 1i yi
Tính b1  i 1

8
1.296  1.122  1.239  1.586  1.232  1.292  1.339  1.383
b1 
8
b1 = 34,625, tương tự ta có:
b2 = 63,125, b3 = -0,375, bo = 311, 125
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Ta có mô hình: Y = 311,125 + 34,625x1 + 63,125x2 – 0,375x3


Để xét mô hình đầy đủ hơn
^
Y  b0  b1 x1  b2 x 2  b3 x 3  b12 x1 x 2  b13 x1 x 3  b23 x 2 x 3
Ma trận qui hoạch được mở rộng
Số thí ^ ^
nghiệm X0 X1 X2 X3 X1X2 X1X3 X2X3 Y Y (Y  Y i ) 2
1 + + + + + + + 296 331,125 1233,765
2 + - - + + - - 122 139,875 319,515
3 + + - + - + - 239 221,875 293,265
4 + - + + - - + 586 551,625 1181,640
5 + + + - + - - 232 196,875 1230,765
6 + - - - + + + 292 274,125 319,515
7 + + - - - - + 339 356,125 293,265
8 + - + - - + - 383 417,375 1185,640
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Các hiệu ứng tương tác được xác định tương tự như
hiệu ứng tuyến tính.
N

 (x x ) Y
i 1
j l i i
b jl 
N
N

 (x x 1 2 i ) Yi
thay số vào
b  12
i 1

N
(1.296  1.122  1.239  1.586  1.232  1.292  1.339  1.838
b12   75,625
8

Tương tự: b13 = - 8,625, b23 = 67,125


Phương trình hồi qui lúc này có dạng
Y = 311,125 + 34,625x1 + 63,125x2 – 0,375x3 –
75,625x1x2 = 8,625x1x3 + 67,125x2x 3
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

* Kiểm định tính ý nghĩa của các hệ số phương trình hồi qui
- Vì ma trận (XTX)-1 là ma trận đường chéo nên
các hệ số độc lập với nhau.
- Loại bỏ các hệ số không có nghĩa không ảnh
hường đến hệ số còn lại.
- Các hệ số kiểm định theo tiêu chuẩn Student (t).
- Mọi hệ số của phương trình được xác định với
độ chính xác.
s th
s bj 
N
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

- Do không làm thí nghiệm song song để xác định


phương sai tái hiện sth ta tiến hành làm 3 thí nghiệm ở
tâm phương án nhận 3 giá trị theo bảng dưới:
Số thí
Biến thực Biến mã hóa Kết quả
nghiệm

Z10 Z 20 Z 30 X1 X2 X3 Y0

1 250 40 1 0 0 0 295
2 250 40 1 0 0 0 312
3 250 40 1 0 0 0 293
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

y o
4
295  312  293
Yo  1
  300
3 3

y 
3 2
o
4 y o

s th2  1
 109
3 1

s th  109  10,440

s th 10,440
s tj    3,69
N 8
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Ý nghĩa của các hệ số được kiểm định theo tiêu chuẩn


Student t
|bj |
tj 
sb j
311,125
Ta tính được: to   84,315
3,69

t1 = 9,38, t2 = 17,107, t3 = 0,1016, t12 = 20,494


t13 = 2,337 t23 = 18,191
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

Tra bảng tp(f) với p = 0,05, f = 2


f=l-1 bậc tự do tái hiện
l số thí nghiệm song song ở tâm
t0,05 (2) = 4,3
Vì t3 < tp(f), t13 < tp(f)
Các hệ số b3, b13 bị loại, phương trình lúc này có
dạng:
^
Y  311,125  34,625 x1  63,125 x 2  75,625 x1 x 2  67,125 x 2 x 3
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

* Kiểm định sự tương thích của phương trình hồi qui:


Sự tương tích của phương trình hồi qui được kiểm định
bằng tiêu chuẩn Fisher.
2
s du
F 2
s th
N ^
(y
i 1
i  yi )2
Trong đó: s 
2
du
N l

N – số thí nghiệm
l - số thí nghiệm ở tâm
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

6056,3742
Thay số s 2
du   2018,791
3
2
s du 2018,791
F 2   18,521
s th 109

Tra bảng F1­p (f1, f2) với p = 0,05 f1 = 3, f2 = 2


f1 – bậc tự do phương sai tương thích
f1 = N – l
N số thí nghiệm : 8
l hệ số có nghĩa trong phương trình hồi qui: 5
CHƯƠNG III
MỘT SỐ PHƯƠNG PHÁP QUI HOẠCH THỰC NGHIỆM

f2 – bậc tự do phương sai tái hiện


f2 = N - 1
N – số thí nghiệm song song ở tâm
F0,05 (3,2) = 19,2

F  F1 p ( f1 , f 2 )
phương trình hồi qui tương thích
với thực nghiệm.

You might also like