P. 1
Mô hình hồi quy tuyến tính

Mô hình hồi quy tuyến tính

|Views: 6,190|Likes:
Được xuất bản bởiVince Vo
Member Seminar 5/10/2009
Member Seminar 5/10/2009

More info:

Published by: Vince Vo on Jul 14, 2010
Bản quyền:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

02/19/2014

pdf

text

original

Seminar ngày 5/10/09

MÔ HÌNH HỒI QUI TUYẾN TÍNH

VÕ ĐÌNH BẢY

Hồi qui tuyến tính Hồi qui tuyến tính
Mục tiêu của hồi qui là tiên đoán giá trị của một hay nhiều biến (liên tục) mục tiêu t khi cho trước giá trị của vector D-chiều x x. Đơn giản nhất là sử dụng công thức dạng y = ax + b b.

Công thức hồi qui đơn giản (1) Công thức hồi qui đơn giản (1)
Công thức: y = ax + b b. Khi ấy, với X = {x1, x2, …xN} và T = {t1, t2, …, tN} Ta có thể tìm công thức hồi qui như }. sau: N N Xét hàm Xé hà lỗi SE = ∑ (ti − yi ) = ∑ [ti − (axi + b)] i =1 i =1 Cực tiểu hàm lỗi để nhận được các hệ số a, b.

Công thức hồi qui đơn giản (2) Công thức hồi qui đơn giản (2)
Cực tiểu hàm lỗi để nhận được các hệ số a, b. a b N Ta có: ∂SE
da d = −2∑ [ti − (axi + b)]xi
i =1

N ∂SE = −2∑ [ti − (axi + b)] db i =1

Công thức hồi qui đơn giản (3) Công thức hồi qui đơn giản (3)
Giải hệ trên với biến là a b: a,
N ⎧ ∑ ( xi − meanX )(ti − meanT ) ⎪ ⎧N ⎪a = i =1 N ⎪∑ [ti − (axi + b)]xi = 0 ⎪ ⎪ i =1 ⎪ ( xi − mean X ) 2 ∑ ⎨N ⇒⎨ i =1 ⎪∑ [ti − (axi + b)] = 0 N N ⎪ ⎪ i =1 ⎩ ⎪ ∑ ti ∑ xi ⎪b = i =1 − a i =1 = mean − a * mean T X ⎪ N N ⎩

Trong đó meanX, meanT là giá trị trung bình của X và T T.

Công thức hồi qui đơn giản (4) Công thức hồi qui đơn giản (4)
Ví dụ:
X 0 0.2 0.5 05 0.6 1 T 0.3 0.8 1 0.9 0.01 0 01
N ⎧ ∑ ( xi − meanX )(ti − meanT ) ⎪ ⎪a = i =1 = −0.295 N ⎪ ⎪ ( xi − mean X ) 2 ∑ ⇒⎨ i =1 N N ⎪ ⎪ ∑ ti ∑ xi ⎪b = i =1 − a i =1 = mean − a * mean = 0.738 T X ⎪ N N ⎩

Hay phương trình là: y = -0.295x+0.738! yp g

Công thức hồi qui đơn giản (4) Công thức hồi qui đơn giản (4)
X 0 0.2 0.5 0.6 1 T 0.3 0.8 1 0.9 0.01

Hàm dự đoán: y = -0.295x+0.738
X 0.1 0.8 T T’ 0.71 0.5
⎧a = −0.295 ⇐⎨ ⎩b = 0.738

Dạng đơn giản – Đa thức

Hồi qui tuyến tính cơ Hồi qui tuyến tính cơ sở (1)
Một cách khác là sử dụng đường cong đa thức:

Tùy theo giá trị M, chúng ta có hàm xấp xỉ với g ị( ợ các giá trị (xi, ti) được cho.

Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (2)

Các điểm Cá điể dữ liệu (xi, ti) Hàm cần dự đoán ⇒ Cần xác định w0, …, wM.

Hàm lỗi (Sum‐of‐Squares Error Function) (Sum of Squares Error Function)
t thực tế Giá trị ước lượng Lỗi: y(x,w) - t y( , )

Hàm lỗi (2) Hàm lỗi (2)
Tìm w sao cho E(w) đạt min ⇒ Giải bài toán cực trị hàm nhiều biến

Hàm xấp xỉ với M  0 Hàm xấp xỉ với M = 0

Hàm xấp xỉ với M  1 Hàm xấp xỉ với M = 1

Hàm xấp xỉ với M  3 Hàm xấp xỉ với M = 3

Hàm xấp xỉ với M  9 Hàm xấp xỉ với M = 9

Over fitting Over‐fitting

Root‐Mean‐Square (RMS) Error:

Các hệ tương ứng với M    Các hệ số tương ứng với M

Kích thước dữ liệu:  Kích thước dữ liệu:
Hàm xấp xỉ với M = 9

Kích thước dữ liệu:  Kích thước dữ liệu:
Hàm xấp xỉ với M = 9

Mở rộng công thức hàm lỗi rộng công thức hàm lỗi
Thêm hàm phạt (theo λ và w)

Ngoài w, cần chọn λ phù hợp để lỗi đạt được là min.

Hệ số λ: λ: 

Hệ số λ: λ: 

Lỗi với hệ λ:         với  Lỗi với hệ số λ: với

Các hệ tương ứng với λ Các hệ số tương ứng với λ

Mở rộng hàm

Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (1)
Công thức tổng quát:

Trong đó φ j ( x) là các hàm cơ sở (basis functions). w = (w0, w1, …, wM-1)T và φ = (φ0, φ1, …, φM-1)T.

Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (2)
Hàm cơ sở dạng đa thức: ạ g

≡ Hàm cơ bản dạng đa thức

Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (3)
Hàm cơ sở dạng Gaussian: ạ g

Trong đó μj được tính theo công thức:

Hoặc: với

Hàm hồi qui tuyến tính cơ Hàm hồi qui tuyến tính cơ sở (4)
Hàm Sigmoid cơ sở: g

Trong đó T đó:

Cực đại likelihood và bình phương tối thiểu (1)
Giả sử đã có hàm nhiễu Gaussian như sau:
trong đó

Hay có thể viết cách khác: Cho các quan sát , hàm likelihood: và hàm đích

Cực đại likelihood và bình phương tối thiểu(2)
Lấy ln 2 vế ta có:

Trong đó

là hàm tổng bình phương lỗi (sum-of-quares error).

Cực đại likelihood và bình phương tối thiểu(3)
Gradient của log có dạng:
= 0

Giải hệ Trong đó:

= 0 với biến w ta được:
Moore‐Penrose  p pseudo‐inverse,       . ,

Cực đại likelihood và bình phương tối thiểu (4)
Giả sử y(x,w) = ta có:

Cho ED(w) = 0 ta được:

Với: và

Cực đại likelihood và bình phương tối thiểu(5)
Từ đó ta đạt được hàm cực đại láng giềng:

Bản chất hình học của bình phương tối thiểu
Xét công thức: g

Trong đó: S là mặt phẳng được xây dựng từ â dự (M chiều) T là không gian N chiều. chiều wML là khoảng cách nhỏ nhất từ t với hình chiếu của nó trên S (chính là y).

Sequential Learning (1) Sequential Learning (1)
Xử lí theo lô như công thức đòi hỏi phải đưa toàn bộ dữ liệu vào để xử lí cùng lúc ⇒ chi phí xử lí lớn (hoặc không đủ bộ nhớ để xử lí). Điều này có thể giải quyết được bằng cách sử dụng các thuật toán tăng cường (sequential hay online)!

Sequential Learning (2) Sequential Learning (2)
Có thể sử dụng công thức:

Trong đó τ là bước lặp thứ τ. τ +1 biểu thị bước lặp thứ τ +1. Cách làm này được gọi là least-mean-squares. y ợ gọ q Giá trị η cần được chọn sao cho bảo đảm tính hội tụ của thuật toán!

Regularized Least Squares (1) Regularized Least Squares (1)
Xét hàm lỗi (được trình bày trrong chương 1):
Data term + Regularization term g

Tổng bình phương hàm lỗi như sau:

Cực tiểu hóa ta được:

Regularized Least Squares (2) Regularized Least Squares (2)
Tổng quát hơn, ta có công thức:

Lasso

Quadratic

Regularized Least Squares (3) Regularized Least Squares (3)

Với q = 2 công thức đã cho trở thành công thức 2, thường dùng (có tên là Quadratic)

Với q = 1 công thức được gọi là lasso Trong trường 1, lasso. hợp λ đủ lớn, sẽ có một số wj tiến về 0. Vì vậy, chúng g g g g g không đóng vai trò gì trong công thức!

Đa đầu ra (1) Đa đầu ra (1)
Các phần trước xét các trường hợp biến đích t là biến đơn (chỉ chứa 1 thuộc tính). Trong trường hợp T là một ma trận có kích thước MxK, ta có công thức:

Cho quan sát và đích là Ta có hàm log likelihood như sau:

Đa đầu ra (2) Đa đầu ra (2)
Cực đại hàm trên theo biến W, ta có (giống công thức của 1 target) Xét 1 target đơn tk, ta thấy: ấ

Với , kết quả trên hoàn toàn giống với trường hợp 1 output.

You're Reading a Free Preview

Tải về
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->