regularization function (regolarizzazione)

Definizione

Modelli troppo complessi tendono a sovradattare. Dobbiamo controllare la complessità.

Funzioni che aggiungono un termine di penalità alla loss per prevenire overfitting controllando la complessità del modello.

underfitting vs overfitting

Norme Lp

Si può misurare/controllare la complessità con norme dei pesi, come la norma euclidea ($L_2$) o la norma del numero di elementi non zero (sparsity).

Tipi Principali

L1 Regularization (Lasso)

• Formula: $\lambda {\sum }_{i=1}^n|w_i|$
• Effetto: Feature selection (pesi = 0)
• Uso: Quando molte features irrilevanti

L2 Regularization (Ridge)

• Formula: $\lambda {\sum }_{i=1}^n{w}_i^2$
• Effetto: Riduce magnitude pesi
• Uso: Prevenire overfitting generale

Elastic Net

• Formula: ${\lambda }_1\sum |w_i|+{\lambda }_2\sum w_i^2$
• Effetto: Combina L1 + L2
• Uso: Quando features correlate

Loss Function con Regolarizzazione

Forma Generale

$J(\mathbf{w})=\text{Loss}(\mathbf{w})+\lambda \cdot \text{Penalty}(\mathbf{w})$

Esempi

• Ridge: $J(\mathbf{w})=\text{MSE}+\lambda \sum w_i^2$
• Lasso: $J(\mathbf{w})=\text{MSE}+\lambda \sum |w_i|$

Il LASSO tende a produrre pesi sparsi (cioè, alcuni pesi diventano esattamente zero), effettuando una selezione delle features.

Risorse