The Epic Story of Maximum Likelihood

...

En el siglo XIX la teoría de la estimación general se mantuvo por Karl Pearson y L. N. G. Filon, alrededor del nivel de Laplace y Gauss, aunque con frecuentes retiros a niveles inferiores.

El principal resultado de Pearson y Filon proviene de tomar una razón de verosimilitud ampliando su logaritmo de un multivariante de Taylor de expansión, entonces la aproximación de los coeficientes por sus valores esperados y afirmando que la expresión resultante dio la distribución de frecuencia de los errores cometidos en la estimación de las constantes.

Su último paso emplea un paso Bayesiano implícito en la forma de Gauss, su fórmula le daría una distribución normal multivariante posterior, aunque Pearson y Filon advirtió en contra de hacer esto con la distribución de frecuencias sesgada.

RA Fisher había estudiado la teoría de errores y publicado en 1912, incluso un pedazo corto elogiando las virtudes del método de Gauss a la estimación, en particular, de la desviación estándar de una muestra de una distribución normal.

Cuatro años más tarde, Fisher envió a Pearson para su posible publicación una pequeña crítica, igualmente superficial de un artículo Biométrica por Kirstine Smith en la que defendía el mínimo de chi-cuadrado aproximación a la estimación (Smith, 1916). Pearson le envió una carta de rechazo centrándose en la falta de una justificación clara y convincente para el método de elección de las constantes para maximizar la función de frecuencia.

Dos años más pasaron, y en 1918 Fisher descubrió lo suficiente en el contexto de la estimación de la desviación normal estándar (Fisher, 1920), y junto a Pearson se pusieron a producir una justificación para el método, fue a las carreras, de forma rápida para ponerse a trabajar en el papel monumental en la teoría de la estadística, que leyó a la Real Sociedad en noviembre de 1921 y publicado en 1922.

El descubrimiento de Fisher, de suficiencia y eficiencia fue rápidamente seguido por el desarrollo de un argumento corto, que dio en 1922 el gran papel y, de hecho fue el primer argumento de la matemática en el papel.

En este punto Fisher parece haber cometido un error interesante y altamente productivo. Rápidamente se exploraron una serie de otros ejemplos paramétricos y llegó a la conclusión de que la maximización de la probabilidad siempre conduce a una estimación de que era una función de una ¡estadística suficiente! Cuando leyó el documento a la Royal Society en noviembre de 1921, su resumen, tal como aparece en la revista Nature declaró enfáticamente: "Las estadísticas obtenidas por el método de máxima verosimilitud son siempre estadísticas suficientes". Y de esto se seguiría, con la pequeña objeción de que tal vez la consistencia y normalidad asintótica puede ser necesaria, que las estimaciones de máxima verosimilitud son siempre óptimas. Una teoría verdaderamente hermosa nació, después de más de un siglo y medio de gestación.