Regresi linear menemukan garis lurus yang paling baik menyesuaikan sekumpulan titik data . "Paling baik" didefinisikan oleh kriteria kuadrat terkecil: meminimalkan jumlah kuadrat jarak vertikal antara garis dan titik-titik data.
Kemiringan dan konstanta memiliki solusi bentuk tertutup:
Koefisien determinasi mengukur kualitas kesesuaian (antara 0 dan 1; semakin dekat ke 1 = kesesuaian semakin baik).
Regresi linear adalah model prediktif paling sederhana dan fondasi metode-metode yang lebih canggih:
- Regresi berganda menggunakan beberapa variabel masukan.
- Regresi logistik mengadaptasi konsep ini untuk hasil biner.
- Ridge / Lasso menambahkan regularisasi.
- "Model linear" dalam pembelajaran mesin modern adalah keturunan langsungnya.
Meskipun sederhana, regresi linear tetap banyak digunakan dalam keuangan (CAPM), epidemiologi, ekonomi, dan sebagai garis dasar yang harus dilampaui oleh model-model yang lebih canggih dalam membenarkan kompleksitasnya.