polynomial regression (regressione polinomiale)

Definizione

La regressione polinomiale è un’estensione della regressione lineare che modella la relazione tra la variabile indipendente $x$ e la variabile dipendente $y$ come un polinomio di grado $n$-esimo. È particolarmente utile quando la relazione tra le variabili non è lineare ma può essere approssimata da una curva.

Formulazione Matematica

Modello Polinomiale

Per una singola feature con grado $d$:
$y=w_0+w_{1}x+w_2{x}^2+w_3{x}^3+\cdots +w_d{x}^d+ϵ$

In forma compatta:
$y={\sum }_{i=0}^d{w}_i{x}^i+ϵ$

Forma Matriciale

Dopo la trasformazione polinomiale, il modello diventa:
$\mathbf{y}={\mathbf{X}}_{poly}\mathbf{w}+ϵ$
dove ${\mathbf{X}}_{poly}$ è la matrice delle features trasformate.

Trasformazione Polinomiale

Mapping delle Features

La trasformazione da feature originale a features polinomiali:
$\varphi (x)=[1,x,x^2,x^3,...,x^d]$

Esempio per Grado 3

Se $x=[x_1,x_2]$, per grado 3:
$\varphi (x)=[1,x_1,x_2,x_1^2,x_1{x}_2,x_2^2,x_1^3,x_1^2{x}_2,x_1{x}_2^2,x_2^3]$

Implementazione in Python

...

Scelta del Grado Ottimale

…

Cross-Validation per Selezione del Grado

…

Caso Multivariato

…

Analisi dei Coefficienti

…

Metriche di Valutazione

…

Validation Curve

…

Applicazioni Pratiche

1. Modelli fisici: Relazioni non lineari in fisica e ingegneria
2. Previsioni economiche: Andamenti curvilinei di mercato
3. Biologia: Crescita di popolazioni, curve dose-risposta
4. Chimica: Cinetiche di reazione, isoterme di adsorbimento

Vantaggi e Svantaggi

Vantaggi

• Modella relazioni non lineari complesse
• Flessibile con gradi diversi
• Interpretabile (coefficienti polinomiali)
• Base per modelli più avanzati

Svantaggi

• Sensibile a outliers
• Tendenza all’overfitting con gradi alti
• Computazionalmente costoso per gradi elevati
• Può estrapolare male al di fuori del range di training

Best Practices

1. Start Simple: Iniziare con grado basso e aumentare gradualmente
2. Cross-Validation: Usare sempre validation per scegliere il grado
3. Regularization: Applicare Ridge/Lasso per gradi alti
4. Feature Scaling: Standardizzare le features per stabilità numerica
5. Domain Knowledge: Usare conoscenza del dominio per scegliere il grado

Risorse

Scikit-learn Polynomial Features