Mínimos Cuadrados.

...

[pic 36]

Es decir, para encontrar el ajuste de mínimos cuadrados debemos encontrar el vector de coeficientes que minimiza la suma de cuadrados[pic 38][pic 37]

Método de ecuaciones normales Para resolver el problema de minimización anterior se puede utilizar la metodología clásica basada en condiciones necesarias y suficientes para encontrar mínimos de funciones multidimensionales. Antes de considerar esta metodología, utilizaremos un argumento geométrico- -algebraico. Una de las ideas principales para generar algoritmos que resuelvan el anterior problema de minimización descansa en el concepto de proyección ortogonal. Suponiendo que y no pertenece a Im(A), denotamos por a la proyección ortogonal que mapea sobre Im(A). Entonces, el valor de c que minimiza la norma de r = y − Ac es aquel que satisface Ac = y, la proyección ortogonal quedaría de la siguiente manera:[pic 41][pic 42][pic 39][pic 40]

[pic 43]

En otras palabras, el residual r = y − c debe ser ortogonal al espacio Im(A). Por otro lado, el espacio Im(A) es generado por los vectores columna de A, es decir Im(A) = gen{, , . . . , }, donde denota al i--ésimo vector columna de A. Esto, debido a que si [pic 48][pic 44][pic 45][pic 46][pic 47]

[pic 49]

[pic 50]

Al sistema de ecuaciones de la proposición se le conoce como el sistema de ecuaciones normales para el problema de mínimos cuadrados. El método de ecuaciones normales consiste en resolver este sistema de ecuaciones. Basta entonces con que la matriz de las ecuaciones normales sea no singular para asegurar que el sistema tiene solución. El siguiente resultado indica las condiciones bajo las cuales esta matriz es invertible. [pic 51]

Teorema Si la matriz A tiene rango completo, entonces es una matriz cuadrada no singular, simétrica y definida positiva. [pic 53][pic 52]

[pic 54][pic 55]

[pic 56][pic 57]

[pic 58]

Desde el punto de vista práctico, la solución del problema de mínimos cuadrados no se encuentra invirtiendo la matriz de ecuaciones normales, a menos que la matriz del sistema sea de orden muy pequeño para que pueda utilizarse aritmética exacta. Sin embargo, para la mayoría de los problemas prácticos esto no es posible y es necesario utilizar algoritmos computacionales estables y eficientes. Dado que, el caso no degenerado, la matriz del sistema de ecuaciones normales es simétrica y definida positiva, entonces es posible utilizar métodos directos, y el más adecuado para sistemas de ecuaciones con este tipo de matrices es el método de Choleski. El método de Choleski para resolver el sistema de ecuaciones normales de la proposición es un método de factorización que consiste en expresar la matriz de ecuaciones normales como el producto de un matriz triangular inferior por su transpuesta, para posteriormente resolver el sistema en dos pasos: sustitución progresiva y sustitución regresiva.

Ortogonalización de Gram-Schmidt El otro método principal para resolver el problema de mínimos cuadrados es el método de factorización QR.Actualmente se considera que este método representa una de las ideas algorítmicas más importante en el álgebra lineal numérica.[pic 59]

[pic 60]

[pic 61]