Essays.club - Ensayos gratis, notas de cursos, notas de libros, tareas, monografías y trabajos de investigación
Buscar

Aplicaciones de análisis vectorial.

Enviado por   •  6 de Diciembre de 2017  •  1.218 Palabras (5 Páginas)  •  399 Visitas

Página 1 de 5

...

6

Proyecto Salva­Vidas

---------------------------------------------------------------

analisis a mano. Esto tambien nos lleva a la posibilidad de obtener una major

convergencia mas clara, puesto que cada iteracion hace uso de mas datos.”

7

Proyecto Salva­Vidas

---------------------------------------------------------------

Problema del Gradiente Evanescente:

En cuanto a enseñanza computacional, el ​PGE ​es una dificultad encontrada al

entrenar redes neurales artificiales, esto deriva de metodos de aprendizaje basados en

gradientes, los cuales requieren de más tiempo de análisis por que contienen ciertos errores

que simplemente “desaparecen”. Esto se pudo prevenir mediante la “propagacion inversa”.

El algoritmo correspondiente al descenso estocástico se mantuvo como estándar unico

desde su aparición en 1960 para modelos de regression linear. Sin embargo, en 1970 se

encontró una amplia variedad de problemas mediante la propagación inversa.

Propagación inversa:

Es una abreviacion de Propagación inversa de errors. Es un meteodo para

entrenar redes neurales, usado en conjunction con un metodo de optimizacion tal

como el descenso de gradiente. Su efectividad depende de saber el resultado

esperado para cierta entrada de un “programa”, esto le permite calcular las perdidas

de un programa.

Es tambien conocido por ser un metodo de supervision de aprendizaje. Es además

una generalizacion de la regla­delta (actualizar “pesos” de las entradas de las

neuronas) para redes neuronales multicapa, lo cual es possible mediante el uso de

la regla de la cadena para hacer una comparacion iterative de gradientes para cada

capa.

En el año de 1991 Sepp Hochreiter publicó su tésis, en la cual afirmaba haber encontrado el

origen de la falla para el desaparecimiento de los errores en gradientes, lo cual no solo

afecta a las redes de multicapa, sino tambien a las redes recurrentes. Estas ultimas redes

son entrenadas mediante una separacion en redes aún mas complejas, donde una nueva

capa es creada para cada iteracion. Los errores se propagan con mayor facilidad de esta

manera, al tiempo que se hacen mas peuqeños y dificiles de identificar.

8

Proyecto Salva­Vidas

---------------------------------------------------------------

Jürgen Schmidhuber propuso una jerarquia multicapa en 1992. Cada capa debia tener un

entrenamiento previo de al menos un nivel a traves de un algoritmo sin supervision;

posteriormente, esta red era perfeccionada con el uso de la propagación inversa. En este

punto, cada capa obtiene una representación comprimida de cada observacion, lo cual es

usado como un parámetro en los siguientes niveles.

En 1997 Hochreiter y Schmidhuber desarrollaron la red de “memoria larga a termino corto”.

Años mas tarde, en 2008, estes capas multidimensionales demostraron el poder de

aprendizaje intensive con capas no lineales.

9

Proyecto Salva­Vidas

---------------------------------------------------------------

Conclusión

Después de investigar en varias fuentes bibliográficas, ver varias platicas sobre

redes neurales y consultar a un experto en procesamiento de lenguaje humano, podemos

concluir que de no ser por el uso de gradientes en estas redes neurales, el proceso de

aprendizaje de una computadora seria mucho mas tardado, menos eficiente o incluso

seguiriamos buscando la manera de enseñarle a una computadora lo que significa

aprender. Es por situaciones asi que el análisis vectorial tiene una muy importante

coolaboración dentro del area tecnológica y de innovación, ya que, mediante el uso de

calculus relativamente sencillos, se han podido simplificar y mejorar algoritmos que

previamente eran menos eficientes.

10

Proyecto Salva­Vidas

---------------------------------------------------------------

Bibliografía Hochreiter, S. (20 de Octubre de 1997). The Vanishing Gradient Problem During Learning Recurrent Neural Nets and Problem Solutions Read More: http://www.worldscientific.com/doi/abs/10.1142/S0218488598000094. Munchen, Munchen, Alemania. Kolesnikova, O. (14 de 07 de 2015). Posibles Aplicaciones del Analisis Vectorial al Procesamiento de Lenguaje Natural. (E. Y. Rivera, Entrevistador) Labs, H. (Dirección). (2015). ​Introduction to Neural Networks, Vector Reduction and Natural Language Processing​ [Película].

...

Descargar como  txt (9.5 Kb)   pdf (164.1 Kb)   docx (18.3 Kb)  
Leer 4 páginas más »
Disponible sólo en Essays.club