Strucutra acestui neuron arata in felul urmator: W - weights, importanta deciziei neuronului B - bias, deplasarea in functie de un standard/etalon x - n inputs y - m outputs

x_1 \\ x_2 \\ x_3 \\ ... \\ x_n \end{bmatrix} ; y = \begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ ... \\ y_m \end{bmatrix}$$ ```mermaid flowchart LR x --> W -- + --> sum((sum )) --> sigma --> y 1 --> B -- +--> sum ``` $$ \sigma:\mathbb{R} \subseteq \mathbb{R} $$ Functia de activare tip sigmoid este o functie continua, de asta a fost preferata de-acursul timpului.
f:\mathbb{R}^n \to \mathbb{R} 
$$ y = f(x) = \sigma(wx+b) $$
y = f(x) = \sigma(u(x))
Pentru a rezolva o problema de clasificare, se poate aplica invatarea supervizata. Atunci cand oferim unei astfel de retele perechi de intrare-iesire, printr-un algoritm de reglare, reteaua isi schimba paremetrii (W si B) pentru a aproxima iesirea cu un Z. $$ z = \begin{bmatrix} z_1 \\ z_2 \\ z_3 \\ ... \\ z_m \end{bmatrix}$$ ### Teorema lui Cybenko Pentru orice grad de aproximare $\forall \varepsilon>0$, exista o retea feedforward cu 2 staturi care sa o aproximeze cu acest grad, cu o metoda de antrenare buna. Teoretic, 2 staturi de aproximare sunt suficiente pentru a aproxima orice functie de orice grad de complexitate. ### Metoda de antrenare (aflarea parametrilor) Antrenare = o metoda de optimizare Backpropagation = metoda gradientului. Levemberg e mai eficient.