Bias: Differenza tra il valore vero e la previsione media del modello. Misura quanto il modello è sbagliato in media.
Varianza: Variabilità delle previsioni da diverse esecuzioni (diversi dataset di training). Misura quanto le previsioni del modello sono sensibili ai dati di training specifici.
Caso regressione
High bias, underfitting: La differenza tra il valore vero e la previsione del modello è grande.
High variance, overfitting: Per diversi dataset (dalla stessa distribuzione) la y predetta dal modello è molto diversa.
Trade-Off Bias-Varianza
Il bias diminuisce all’aumentare della complessità del modello (fino a un certo punto).
La varianza aumenta all’aumentare della complessità del modello (sovradattamento).
C’è un punto ottimale di complessità del modello che minimizza l’errore totale (bias + varianza).