Ψ Die Informatikseite

Menü
Informatik » Master » Neuronale Netze » Lernen mit Multilayer-Perzeptrons » Optimal Brain Damage
Verfahren höherer Ordnung Lernen mit Multilayer-Perzeptrons Radial Basis Funktionen-Netze (RBF-Netze)

Optimal Brain Damage

Problem: Netze mit wenigen Neuronen können Probleme manchmal nicht lernen. Netze mit zuvielen Neuronen lernen auswendig und generalisieren nicht. Optimal Brain Damage ist ein Verfahren Gewichte und Neuronen wegzustreichen. Dabei wird mit einem Term gelernt, der aus zwei sich wiederstrebenden Zielen besteht

\begin{displaymath}\underbrace{\frac{1}{2}\sum(t-o)^{2}}_{\mbox{Fehler ist zu mi... ...eren}}+\underbrace{\gamma\sum_{w}(w)}_{\mbox{Gewichte gegen 0}}\end{displaymath}

Durch das Bestreben den Fehler zu minimieren, werden die Gewichte von $0$ weggedrückt. Einer der beiden Terme ist nun stärker. Wenn das Gewicht tatsächlich benötigt wird, wird es nicht $0$ werden. Wenn das Gewicht nicht benötigt wird, wird es gegen $0$ tendieren und es kann gelöscht werden. Ein Neuron mit allen Gewichten auf $0$ kann gelöscht werden.
Die Lernregel wäre

\begin{displaymath}\Delta w_{ij}= \eta\delta_{j}\tilde{o}_{i}-\epsilon w_{ij}\end{displaymath}

oder

\begin{displaymath}\Delta w_{ij}= \eta\delta_{j}\tilde{o}_{i} \mbox { und } \Delta w_{ij}= \Delta w_{ij}(1-\epsilon)\end{displaymath}


Verfahren höherer Ordnung Lernen mit Multilayer-Perzeptrons Radial Basis Funktionen-Netze (RBF-Netze)