Strucutra acestui neuron arata in felul urmator: W - weights, importanta deciziei neuronului B - bias, deplasarea in functie de un standard/etalon x - n inputs y - m outputs
x_1
\\
x_2
\\
x_3
\\
... \\
x_n
\end{bmatrix} ;
y = \begin{bmatrix}
y_1
\\
y_2
\\
y_3
\\
... \\
y_m
\end{bmatrix}$$
```mermaid
flowchart LR
x --> W -- + --> sum((sum )) --> sigma --> y
1 --> B -- +--> sum
```
$$ \sigma:\mathbb{R} \subseteq \mathbb{R} $$
Functia de activare tip sigmoid este o functie continua, de asta a fost preferata de-acursul timpului.
f:\mathbb{R}^n \to \mathbb{R}
$$ y = f(x) = \sigma(wx+b) $$
y = f(x) = \sigma(u(x))
Pentru a rezolva o problema de clasificare, se poate aplica invatarea supervizata. Atunci cand oferim unei astfel de retele perechi de intrare-iesire, printr-un algoritm de reglare, reteaua isi schimba paremetrii (W si B) pentru a aproxima iesirea cu un Z.
$$ z = \begin{bmatrix}
z_1
\\
z_2
\\
z_3
\\
... \\
z_m
\end{bmatrix}$$
### Teorema lui Cybenko
Pentru orice grad de aproximare $\forall \varepsilon>0$, exista o retea feedforward cu 2 staturi care sa o aproximeze cu acest grad, cu o metoda de antrenare buna. Teoretic, 2 staturi de aproximare sunt suficiente pentru a aproxima orice functie de orice grad de complexitate.
### Metoda de antrenare (aflarea parametrilor)
Antrenare = o metoda de optimizare
Backpropagation = metoda gradientului.
Levemberg e mai eficient.