Aplicaciones de análisis vectorial.
Enviado por Sandra75 • 6 de Diciembre de 2017 • 1.218 Palabras (5 Páginas) • 409 Visitas
...
6
Proyecto SalvaVidas
---------------------------------------------------------------
analisis a mano. Esto tambien nos lleva a la posibilidad de obtener una major
convergencia mas clara, puesto que cada iteracion hace uso de mas datos.”
7
Proyecto SalvaVidas
---------------------------------------------------------------
Problema del Gradiente Evanescente:
En cuanto a enseñanza computacional, el PGE es una dificultad encontrada al
entrenar redes neurales artificiales, esto deriva de metodos de aprendizaje basados en
gradientes, los cuales requieren de más tiempo de análisis por que contienen ciertos errores
que simplemente “desaparecen”. Esto se pudo prevenir mediante la “propagacion inversa”.
El algoritmo correspondiente al descenso estocástico se mantuvo como estándar unico
desde su aparición en 1960 para modelos de regression linear. Sin embargo, en 1970 se
encontró una amplia variedad de problemas mediante la propagación inversa.
Propagación inversa:
Es una abreviacion de Propagación inversa de errors. Es un meteodo para
entrenar redes neurales, usado en conjunction con un metodo de optimizacion tal
como el descenso de gradiente. Su efectividad depende de saber el resultado
esperado para cierta entrada de un “programa”, esto le permite calcular las perdidas
de un programa.
Es tambien conocido por ser un metodo de supervision de aprendizaje. Es además
una generalizacion de la regladelta (actualizar “pesos” de las entradas de las
neuronas) para redes neuronales multicapa, lo cual es possible mediante el uso de
la regla de la cadena para hacer una comparacion iterative de gradientes para cada
capa.
En el año de 1991 Sepp Hochreiter publicó su tésis, en la cual afirmaba haber encontrado el
origen de la falla para el desaparecimiento de los errores en gradientes, lo cual no solo
afecta a las redes de multicapa, sino tambien a las redes recurrentes. Estas ultimas redes
son entrenadas mediante una separacion en redes aún mas complejas, donde una nueva
capa es creada para cada iteracion. Los errores se propagan con mayor facilidad de esta
manera, al tiempo que se hacen mas peuqeños y dificiles de identificar.
8
Proyecto SalvaVidas
---------------------------------------------------------------
Jürgen Schmidhuber propuso una jerarquia multicapa en 1992. Cada capa debia tener un
entrenamiento previo de al menos un nivel a traves de un algoritmo sin supervision;
posteriormente, esta red era perfeccionada con el uso de la propagación inversa. En este
punto, cada capa obtiene una representación comprimida de cada observacion, lo cual es
usado como un parámetro en los siguientes niveles.
En 1997 Hochreiter y Schmidhuber desarrollaron la red de “memoria larga a termino corto”.
Años mas tarde, en 2008, estes capas multidimensionales demostraron el poder de
aprendizaje intensive con capas no lineales.
9
Proyecto SalvaVidas
---------------------------------------------------------------
Conclusión
Después de investigar en varias fuentes bibliográficas, ver varias platicas sobre
redes neurales y consultar a un experto en procesamiento de lenguaje humano, podemos
concluir que de no ser por el uso de gradientes en estas redes neurales, el proceso de
aprendizaje de una computadora seria mucho mas tardado, menos eficiente o incluso
seguiriamos buscando la manera de enseñarle a una computadora lo que significa
aprender. Es por situaciones asi que el análisis vectorial tiene una muy importante
coolaboración dentro del area tecnológica y de innovación, ya que, mediante el uso de
calculus relativamente sencillos, se han podido simplificar y mejorar algoritmos que
previamente eran menos eficientes.
10
Proyecto SalvaVidas
---------------------------------------------------------------
Bibliografía Hochreiter, S. (20 de Octubre de 1997). The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions Read More: http://www.worldscientific.com/doi/abs/10.1142/S0218488598000094. Munchen, Munchen, Alemania. Kolesnikova, O. (14 de 07 de 2015). Posibles Aplicaciones del Analisis Vectorial al Procesamiento de Lenguaje Natural. (E. Y. Rivera, Entrevistador) Labs, H. (Dirección). (2015). Introduction to Neural Networks, Vector Reduction and Natural Language Processing [Película].
...