Mecanismos de adaptación de parámetros

Existen varios métodos para adaptar los parámetros, la mayoría de los cuales son alternativas al gradiente descendente, como pueden ser: mínimos cuadrados, algoritmos basados en el método de Newton (Gauss-Newton, Levenberg-Marquardt) o tipos de mecanismos de adaptación alternativos para acelerar la convergencia como pueden ser RPROP o Quick-Prop. Estos métodos poseen diferente velocidad de convergencia, utilización de memoria, tiempo de ejecución, etc.

Para mencionar los métodos existentes que han probado su efectividad se tomará como referencia los aplicados a la red basada en la retropropagación del error

newff(P,T,[S1 S2...S(N-l)],{TF1 TF2...TFNl}, BTF,BLF,PF,IPF,OPF,DDF)

A través del argumento:
BTF =
- 'trainlm' (Levenberg-Marquard): Es el método por defecto y óptimo para la mayoría de las aplicaciones

- 'traingdx' (Gradiente descendente con momento y factor de aprendizaje adaptativo)

- 'traingdm' (Gradiente descendente con momento)

- 'traingda' (Gradiente descendente con factor de aprendizaje adaptativo)

- 'trainbfg' (BFGS Quasi-Newton)

- 'trainrp' (Resilient Backpropagation)

- 'trainoss' (Secante de un paso)

- 'trainscg' (Conjugado escalado)

- 'traingd' (Gradiente descendente)  
- 'traincgf' (Gradiente conjugado basado en el método de Fletcher-Reeves)

- 'traincgb' (Gradiente conjugado basado en el método de Powell-Beale)
- 'trainbr' (Regularización bayesiana)

Aunque existen una serie de parámetros comunes que deben definirse cuando se aplica un mecanismo de adaptación (error deseado, número de épocas, etc.),  cada mecanismo de adaptación tiene parámetros propios que se conocen a través de la función help mecanismo (Ej: help traingdx).

Para su selección en problemas prácticos se pueden utilizar los siguientes criterios:

1.- Probar con el definido por defecto ('trainlm'). Reduce su efectividad con el aumento de parámetros.

2.- Probar 'trainbfg', comportamiento similar a 'trainlm'. Demora más en calcular nuevo valor.

3.- Número de parámetros elevados: 'trainscg'.

4.- Se desea lenta convergencia, alta robustez: 'traingdx'.

Referencia:

Demuth, H.; Beale, M.; Hagan, M.: "Neural Network Toolbox". 2008