linear regression (regressione lineare)

Definizione

La regressione lineare è un modello di machine learning supervisionato utilizzato per prevedere valori numerici continui. Modella la relazione tra una variabile dipendente (target) e una o più variabili indipendenti (features) assumendo una relazione lineare tra di esse.

Formulazione Matematica

Caso Semplice (Una Variabile)

Per una singola feature:
$y=w_0+w_{1}x+ϵ$
dove:

• $y$: variabile dipendente (target)
• $x$: variabile indipendente (feature)
• $w_0$: intercetta (bias)
• $w_1$: coefficiente angolare
• $ϵ$: termine di errore

Caso Multivariato

Per multiple features:
$y=w_0+w_1{x}_1+w_2{x}_2+\cdots +w_n{x}_n+ϵ$
In forma vettoriale:
$y={\mathbf{w}}^T\mathbf{x}+w_0+ϵ$
dove $\mathbf{w}=[w_1,w_2,...,w_n{]}^T$ e $\mathbf{x}=[x_1,x_2,...,x_n{]}^T$

Funzione di Costo

Mean Squared Error (MSE)

La funzione obiettivo più comune è l’errore quadratico medio:
$J(\mathbf{w})=\frac{1}{N}{\sum }_{i=1}^N(y_i-{\hat{y}}_i{)}^2$
dove ${\hat{y}}_i={\mathbf{w}}^T{\mathbf{x}}_i+w_0$ è la predizione del modello.

In forma matriciale:
$J(\mathbf{w})=\frac{1}{N}(\mathbf{y}-\mathbf{Xw}{)}^T(\mathbf{y}-\mathbf{Xw})$

Metodi di Ottimizzazione

Soluzione Analitica (Equazioni Normali)

$\mathbf{w}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$

Discesa del Gradiente

Aggiornamento iterativo dei pesi:
${\mathbf{w}}^{(t+1)}={\mathbf{w}}^{(t)}-\eta \nabla J({\mathbf{w}}^{(t)})$
dove $\eta$ è il learning rate.

Implementazione in Python

...

Assunzioni del Modello

1. Linearità: La relazione tra features e target è lineare
2. Indipendenza degli errori: Gli errori sono indipendenti tra loro
3. Omoschedasticità: Varianza costante degli errori
4. Normalità degli errori: Gli errori seguono una distribuzione normale
5. Assenza di multicollinearità: Le features non sono altamente correlate

Valutazione del Modello

Metriche Principali

• Mean Squared Error (MSE): $\frac{1}{N}{\sum }_{i=1}^N(y_i-{\hat{y}}_i{)}^2$
• Root Mean Squared Error (RMSE): $\sqrt{MSE}$
• Mean Absolute Error (MAE): $\frac{1}{N}{\sum }_{i=1}^N|y_i-{\hat{y}}_i|$
• R-squared ($R^2$): $1-\frac{\sum (y_i-{\hat{y}}_i{)}^2}{\sum (y_i-\bar{y}{)}^2}$

Estensioni e Varianti

Regressione Ridge (L2 Regularization)

$J(\mathbf{w})=\frac{1}{N}{\sum }_{i=1}^N(y_i-{\hat{y}}_i{)}^2+\alpha {\sum }_{j=1}^p{w}_j^2$

Regressione Lasso (L1 Regularization)

$J(\mathbf{w})=\frac{1}{N}{\sum }_{i=1}^N(y_i-{\hat{y}}_i{)}^2+\alpha {\sum }_{j=1}^p|w_j|$

Regressione Elastic Net

Combina L1 e L2 regularization.

Applicazioni Pratiche

1. Previsione di prezzi (immobili, azioni)
2. Analisi di trend (vendite, crescita)
3. Stime economiche (PIL, inflazione)
4. Modelli scientifici (relazioni fisiche, chimiche)

Vantaggi e Svantaggi

Vantaggi

• Semplice da implementare e interpretare
• Computazionalmente efficiente
• Base per modelli più complessi
• Buone performance con relazioni lineari

Svantaggi

• Sensibile a outliers
• Assume relazione lineare
• Può underfittare con relazioni complesse
• Sensibile a multicollinearità

Best Practices

1. Feature Scaling: Standardizzare o normalizzare le features
2. Feature Engineering: Creare features polinomiali per relazioni non lineari
3. Cross-Validation: Valutare le performance del modello
4. Residual Analysis: Analizzare gli errori per verificare le assunzioni
5. Regularization: Usare Ridge/Lasso per prevenire overfitting

Risorse

• scikit-learn: LinearRegression, Ridge, Lasso
• statsmodels: Regressione con analisi statistica completa
• NumPy: Implementazione manuale

Kaggle linear regression datasets