Programacion y metodo numerico

...

Error Máximo: [pic 14]

Error Medio: [pic 15]

Error cuadrático medio: [pic 16]

La aproximación por mínimos cuadrados se basa en la minimización del error cuadrático medio o, equivalentemente, en la minimización del radicando de dicho error, el llamado error cuadrático, definido como:

[pic 17]

Para alcanzar este objetivo, se utiliza el hecho que la función f debe poder describirse como una combinación lineal de una base de funciones. Los coeficientes de la combinación lineal serán los parámetros que queremos determinar. Por ejemplo, supongamos que f es una función cuadrática, lo que quiere decir que es una combinación lineal, [pic 18], de las funciones [pic 19], [pic 20] y [pic 21] (m=3 en este caso), y que se pretende determinar los valores de los coeficientes: [pic 22], de modo que minimicen la suma (S) de los cuadrados de los residuos:

[pic 23]

Esto explica el nombre de mínimos cuadrados. A las funciones que multiplican a los coeficientes buscados, que en este caso son: [pic 24], [pic 25] y [pic 26], se les conoce con el nombre de funciones base de la aproximación, y pueden ser funciones cualesquiera. Para ese caso general se deduce a continuación la fórmula de la mejor aproximación discreta (i.e. para un conjunto finito de puntos), lineal y según el criterio del error cuadrático medio, que es la llamada aproximación lineal por mínimos cuadrados. Es posible generar otro tipo de aproximaciones, si se toman los errores máximo o medio, por ejemplo, pero la dificultad que entraña operar con ellos, debido al valor absoluto de su expresión, hace que sean difíciles de tratar y casi no se usen.

Solución del problema de los mínimos cuadrados[editar]

La aproximación mínimo cuadrática consiste en minimizar el error cuadrático mencionado más arriba, y tiene solución general cuando se trata de un problema de aproximación lineal (lineal en sus coeficientes [pic 27]) cualesquiera que sean las funciones base: [pic 28] antes mencionadas. Por lineal se entiende que la aproximación buscada se expresa como una combinación lineal de dichas funciones base. Para hallar esta expresión se puede seguir un camino analítico, expuesto abajo, mediante el cálculo multivariable, consistente en optimizar los coeficientes [pic 29]; o bien, alternativamente, seguir un camino geométrico con el uso de el álgebra lineal, como se explica más abajo, en la llamada deducción geométrica. Para los Modelos estáticos uniecuacionales, el método de mínimos cuadrados no ha sido superado, a pesar de diversos intentos para ello, desde principios del Siglo XIX. Se puede demostrar que, en su género, es el que proporciona la mejor aproximación.

Deducción analítica de la aproximación discreta mínimo cuadrática lineal

Sea [pic 30] un conjunto de n pares con abscisas distintas, y sea [pic 31] un conjunto de m funciones linealmente independientes (en un espacio vectorial de funciones), que se llamarán funciones base. Se desea encontrar una función [pic 32] de dicho espacio, o sea, combinación lineal de las funciones base, tomando por ello la forma:[pic 33].

Ello equivale por tanto a hallar los m coeficientes: [pic 34]. En concreto, se desea que tal función [pic 35] sea la mejor aproximación a los n pares [pic 36] empleando, como criterio de "mejor", el criterio del mínimo error cuadrático medio de la función [pic 37] con respecto a los puntos [pic 38].

El error cuadrático medio será para tal caso:[pic 39]

Minimizar el error cuadrático medio es equivalente a minimizar el error cuadrático, definido como el radicando del error cuadrático medio, esto es:[pic 40]

Así, los [pic 41] que minimizan [pic 42] también minimizan [pic 43], y podrán ser calculados derivando e igualando a cero este último:[pic 44] Siendo i=1,2, . . .,m

Se obtiene un sistema de m ecuaciones con m incógnitas, que recibe el nombre de "Ecuaciones Normales de Gauss". Operando con ellas:[pic 45], para i=1,2, . . .,m[pic 46], para i=1,2, . . .,m

Si se desarrolla la suma, se visualiza la ecuación "i-ésima" del sistema de m ecuaciones normales: [pic 47], para cada i=1,2, . . .,m

Lo cual, en forma matricial, se expresa como:[pic 48]

Siendo [pic 49] el producto escalar discreto, definido para dos funciones dadas h(x) y g(x) como:[pic 50],

y para una función h(x) y vector cualquiera u, como:[pic 51]

La resolución de dicho sistema permite obtener, para cualquier base de funciones derivables localmente, la función f(x) que sea mejor aproximación mínimo cuadrática al conjunto de puntos antes mencionado. La solución es óptima –esto es, proporciona la mejor aproximación siguiendo el criterio de mínimo error cuadrático–, puesto que se obtiene al optimizar el problema.

Corolario

Si se tratara de hallar el conjunto de coeficientes [pic 52] tal que [pic 53] pase exactamente por todos los pares [pic 54], esto es, tales que [pic 55] interpole a [pic 56], entonces tendría que cumplirse que:[pic 57]

Que en forma matricial se expresa como:

[pic 58]

Esto establece un sistema de n ecuaciones y m incógnitas, y como en general n>m, quedaría sobredeterminado: no tendría siempre una solución general. Por tanto, la aproximación tratará en realidad de hallar el vector c que mejor aproxime [pic 59].

Se puede demostrar que la matriz de coeficientes de las ecuaciones normales de Gauss coincide con [pic 60], siendo A la matriz de coeficientes exactas, y como el término independiente de las ecuaciones normales de Gauss coincide con el vector [pic 61], se tiene que los valores [pic 62] que mejor aproximan f(x) pueden calcularse como la solución al sistema:[pic 63]

que es, precisamente, el sistema de las ecuaciones normales de Gauss.

Deducción geométrica de la aproximación discreta mínimo cuadrática lineal

La mejor aproximación deberá tender a interpolar la función de la que proviene el conjunto de pares [pic 64], esto es, deberá tender a pasar exactamente por todos los puntos. Eso supone que se debería cumplir que: