- MLPs sind unversale Funktionsapproximatoren. D.h., dass sie beliebige Muster und Funktionen darstellen können. Wieviele Neuronen nun für ein bestimmtes Problem begnötigt werden ist nicht klar. Gibt man einem neuronalen Netz zuviele Neurone, lernt es sehr schnell auswendig und generalisiert nicht. Hat es zu wenige, wird das Problem nicht ordentlich gelöst. Die Anzahl der Neurone in der Hidden Schicht eines MLPs ist maßgeblich für die Mächtigkeit eines MLPs. Neuronale Netze mit mehr als einer Hiddenschicht sind leistungsfähiger als die mit einer Schicht. Sie sind jedoch auch langsamer in der Berechnung, da durch mehr Neuronen zurückpropagiert werden muss. Einige Probleme, die sich mit einer Hidden-Schicht nicht lösen lassen, lassen sich mit zwei Schichten lösen. Wieder andere lassen sich besser lösen. Wieder andere lassen sich auch mit beidem nicht lösen.
- Das ein MLP eine Funktion darstellen kann, heißt noch lange nicht, dass es sie auch lernen kann. Nur einzelne Perzeptrons können alles lernen, was sie repräsentieren können4. Es kann tiefe Täler in der Fehleroberfläche geben, in welche wir aber leider nie hineinspringen. In der Praxis interessieren wir uns mehr für die Lernbarkeit von Funktionen.