Introduccion al aprendizaje estadistico

...

2.3. La trama muestra los ingresos en función de los años de educación

y la antigüedad en el conjunto de datos de resultados. La superficie azul representa el subyacente verdadera

relación entre los ingresos y los años de la educación y la antigüedad,

que se conoce desde se simulan los datos. Los puntos rojos indican la observaron

Los valores de estas cantidades para 30 personas.

Como un ejemplo, supongamos que X1, ..., Xp son características de un paciente de

muestra de sangre que se puede medir fácilmente en un laboratorio, e Y es una variable

que codifica el riesgo del paciente para una reacción adversa grave a una en particular

droga. Es natural buscar para predecir Y con X, ya que entonces podemos evitar

dando la droga en cuestión a los pacientes que están en alto riesgo de un efecto adverso

reacción, es decir, pacientes en los que la estimación de Y es alta.

La precisión de Y como una predicción para Y depende de dos cantidades,

que llamaremos el error y el error reducible irreductible. En general, reducible

error

irreducible

error

f no será una estimación perfecta para f, y esta imprecisión introducirá

algún error. Este error se reduce debido a que potencialmente puede mejorar la

exactitud de f mediante el uso de la técnica de aprendizaje estadístico más apropiado

estimar f. Sin embargo, incluso si fuera posible formar una estimación perfecta para

f, de modo que nuestra respuesta estimada tomó la forma Y = f (X), nuestra predicción

todavía tendría algún error en ella! Esto es porque Y es también una función de

, Que, por definición, no puede predecirse usando X. Por lo tanto, la variabilidad

asociado con también afecta a la exactitud de nuestras predicciones. Esto es conocido

como el error irreductible, porque no importa qué tan bien se estima f, nos

No se puede reducir el error introducido por.

¿Por qué es el error irreductible mayor que cero? La cantidad puede contener

las variables no medidas que son útiles en la predicción de Y: ya que no hacemos

medirlos, f no puede usarlos para su predicción. La cantidad puede

También contiene la variación no se puede medir. Por ejemplo, el riesgo de un efecto adverso

reacción puede variar para un paciente dado en un día dado, en función de la variación de fabricación en la propia droga o el sentimiento general del paciente

de bienestar en ese día.

Considere una estimación dada f y un conjunto de predictores X, que produce el

predicción Y = f (X). Supóngase por un momento que tanto f y X son fijos.

Entonces, es fácil demostrar que

E (Y - Y)

2 = E [f (x) + - f (x)] 2

= [F (X) - f (X)] 2

Reducible

+ Var ()

Irreducible

, (2,3)

donde E (Y - Y) 2 representa el promedio, o valor esperado, de la al cuadrado espera

diferencia entre el valor predicho y real de Y, y Var () valor represen-

senta la varianza asociada con el término de error. diferencia

El enfoque de este libro es sobre técnicas para la estimación de f con el objetivo de

reducir al mínimo el error reducible. Es importante tener en cuenta que la

irreductible de error proporcionará siempre un límite superior en la exactitud de

nuestra predicción de Y. Esta cota es casi siempre desconocida en la práctica.

Inferencia

A menudo estamos interesados en comprender la forma en que Y es afectado como

X1, ..., Xp cambio. En esta situación deseamos estimar f, pero nuestro objetivo es

no necesariamente para hacer predicciones acerca del Y. En su lugar queremos entender

la relación entre X e Y, o más específicamente, para entender cómo

Y cambia como una función de X1, ..., Xp. Ahora f no puede ser tratado como un negro

caja, porque necesitamos saber su forma exacta. En esta configuración, se puede ser

interesados en responder a las siguientes preguntas:

• predictores que están asociadas con la respuesta? A menudo es el caso

que sólo una pequeña fracción de los predictores disponibles son sustancialmente

asociado a Y. La identificación de los pocos predictores importantes entre una

gran conjunto de posibles variables puede ser extremadamente útil, dependiendo de

la aplicación.

• ¿Cuál es la relación entre la respuesta y cada predictor?

Algunos predictores pueden tener una relación positiva con Y, en el sentido

que el aumento del predictor se asocia con el aumento de los valores de

Y. Otros predictores pueden tener la relación opuesta. Dependiente

de la complejidad de f, la relación entre la respuesta y una

predictor