Modulo 5 - Practica Final

Apartado A

1-Descargar el fichero

No pude descargar los ficheros con wget ya que me daba error de fichero no encontrado.

[pic 1]

Me descargué los ficheros desde el enlace que se proporcionaba y ya lo guardé directamente en una carpeta desde el administrador de archivos del sistema.

[pic 2]

Que obviamente queda reflejado en línea de comandos:

[pic 3]

2-Merge de ficheros

Realizo el merge de los ficheros con el comando cat dentro del propio directorio

[pic 4]

3-Subir el fichero a HDFS

Primero creé la estructura de directorio de usuario en hdfs:

[pic 5]

[pic 6]Y luego le añadí el fichero dictionary.txt cambiándolo al nombre diccionario.txt mediante el comando put de hdfs

[pic 7]

4-Crear nuestro fichero Dictionary.java

Creo el fichero Dictionary.java con el código facilitado

[pic 8]

Compilo el fichero

[pic 9]

Creo el jar

[pic 10]

Compruebo que están los ficheros bien cargador en el jar y lo ejecuto:

[pic 11]

Traducción de pig

[pic 12]

Apartado B

*** no funciona hive ****

Apartado C

1/2-Creamos un archivo JON y cargo en hdfs

Creo el fichero JSON “jugBaloncesto” y lo subo a hdfs

[pic 13]

3-Creo un df

En escala creo el df y lo muestro para ver que se ha generado correctamene

[pic 14]

4-Esquema

[pic 15]

5-Jugadores con promedio mayor a 10 puntos por partido

[pic 16]

6-Jugadores ordenados por número de rebotes capturados

*Lo ordeno de forma descendente:

[pic 17]

7-Crear una vista temporal con el comando createOrReplaceTempView y consulta las estadísticas de Michael Jordan

[pic 18]

8-Jugadores que promedian más de 5 rebotes por partido (TRB) y más de 5 asistencias por partido (AST)

[pic 19]

9-Ordena la plantilla de mayor a menor edad (Age)

[pic 20]

10-Calcula la media de edad del equipo

La media de edad del equipo es 29.33

[pic 21]

Apartado D

1-Crear una carpeta llamada “ejercicioSpark” en HDFS

Creo la carpeta