Hồi quy tuyến tính

Hồi quy tuyến tính tìm đường thẳng $y = mx + b$ khớp tốt nhất với tập dữ liệu $(x, y)$. "Tốt nhất" được định nghĩa bởi tiêu chí bình phương nhỏ nhất: tối thiểu hóa tổng bình phương khoảng cách theo chiều dọc giữa đường thẳng và các điểm.

Hệ số góc và tung độ gốc có nghiệm dạng đóng:

$m = \frac{n\sum xy - \sum x \sum y}{n\sum x^2 - (\sum x)^2}, \qquad b = \bar{y} - m\bar{x}$

Hệ số xác định $R^2$ đo chất lượng khớp (từ 0 đến 1; càng gần 1 = khớp càng tốt).

Hồi quy tuyến tính là mô hình dự đoán đơn giản nhất và là nền tảng của các phương pháp phức tạp hơn:

• Hồi quy bội sử dụng nhiều biến đầu vào.
• Hồi quy logistic điều chỉnh ý tưởng cho kết quả nhị phân.
• Ridge / Lasso thêm chính quy hóa.
• "Mô hình tuyến tính" trong học máy hiện đại là hậu duệ trực tiếp.

Dù đơn giản, hồi quy tuyến tính vẫn được dùng rộng rãi trong tài chính (CAPM), dịch tễ học, kinh tế học và là cơ sở so sánh mà các mô hình phức tạp hơn phải chứng minh tính hợp lý của độ phức tạp của chúng.