regressione logistica

Definizione

Modello di classificazione che stima probabilità usando una funzione sigmoide.

$σ (z) = \frac{1}{1 + e ^{- z}}$

$P (y = 1∣ x) = σ (w^{T} x + b) = \frac{1}{1 + e ^{- (w^{T} x + b)}}$

$J (w) = - \frac{1}{N} \sum_{i = 1}^{N} [y_{i} lo g (p_{i}) + (1 - y_{i}) lo g (1 - p_{i})]$
dove $p_{i} = σ (w^{T} x_{i})$

$\nabla J (w) = \frac{1}{N} \sum_{i = 1}^{N} (p_{i} - y_{i}) x_{i}$