Manual de instalacion hadoop y hive

...

3.9.6 VERIFICAR LA CONFIGURACIÓN UTILIZANDO NSLOOKUP ¡Error! Marcador no definido.

3.9.7 ESTABLECER EL FULLY QUALIFIED DOMAIN NAME (FQDN) ¡Error! Marcador no definido.

3.10 INSTALAR OPENSH ¡Error! Marcador no definido.

4. INSTALACIÓN DE HADOOP ¡Error! Marcador no definido.

1.1 DESCARGA DE HADOOP ¡Error! Marcador no definido.

1.2 INSTALACIÓN DE HADOOP ¡Error! Marcador no definido.

5. INSTALACIÓN DE HIVE ¡Error! Marcador no definido.

5.1 DESCARGA DE HIVE ¡Error! Marcador no definido.

5.2 INSTALACIÓN DE HIVE ¡Error! Marcador no definido.

6. LABORATORIO BIG DATA ¡Error! Marcador no definido.

6.1 CREACIÓN DE SHELL ¡Error! Marcador no definido.

---------------------------------------------------------------

-

INTRODUCCIÓN

-

OBJETIVO

El objetivo de este documento es detallar las acciones a seguir para la instalación y configuración del Apache Hadoop y el Apache Hive pertenecientes al ecosistema Big Data. Este documento ha sido elaborado basándose en la versión 2.7.3 de Hadoop y la versión 1.2.1 de Hive.

-

DEFINICIONES Y SIGLAS

-

DEFINICIONES

- FRAMEWORK MANAGER: Herramienta que se utiliza para la construcción de los modelos multidimensionales , utilizada generalmente por el area técnica para crear los paquetes de metadatos que las herramientas de reporting consultan para mostrar al usuario de negocio una estructura inteligible, permite además crear un árbol de navegación para consultar los datos de los sistemas origen.

- REPORT STUDIO: Es la aplicación principal para la creación de informes, cuenta con un explorador de objetos desde el que se puede accede a la estructura de datos, y a otros objetos insertables en los informes. Estos objetos pueden ser de diferentes tipos: origen de datos, datos específicos del informe y herramientas de diseño.

- DATASOURCE: Proporciona acceso de datos para orígenes de datos compatibles con el Cognos Business Intelligence.

- USUARIOS: Usuarios creados en la consola de administración del Cognos Connection.

- ROLES: Asignar roles de operador, administrador o desarrollador

- PROYECTO: Es la capa de desarrollo donde se definen los usuarios con sus privilegios y roles.

---------------------------------------------------------------

-

HADOOP

-

DIFERENCIA ENTRE HADOOP FS Y HDFS DFS

La principal diferencia radica en que FS indica un sistema de archivos genérico que puede apuntar a cualquier sistema de archivos, como FS locales y otros (incluido HDFS). Sin embargo, el comando “hdfs” es específico para HDFS. Por ejemplo, cuando se usa “hadoop fs” se pueden copiar, mover, obtener… ficheros entre un sistema de archivos local y HDFS, o cualquier otro sistema de ficheros, y viceversa pero cuando se especifica DFS, mediante “hdfs dfs” el filesystem debe estar en dicho formato obligatoriamente.

-

comandos hadoop

-

COMANDO LS

Muestra el contenido de un directorio especificado en la ruta, con los nombres, los permisos, el propietario, tamaño y fecha de modificación de cada entrada.

Ejemplo: hadoop fs -ls /user/

-

COMANDO LSR

Se comporta como -ls, pero muestra las entradas de forma recursiva todos los subdirectorios de la ruta.

Ejemplo: hadoop fs -lsr /user/ o hadoop fs -ls –R

-

COMANDO DU

Muestra uso de disco, en bytes, de todos los archivos que coincidirá con la ruta.

Ejemplo: hadoop fs -du /user/

-

COMANDO DUS

Como -du, pero imprime un resumen del uso del disco de todos los archivos/directorios de la ruta.

Ejemplo: hadoop fs -dus /user/ o hadoop fs -du -s /user/

-

COMANDO MV

Mueve el archivo o directorio indicado por src a dest, en HDFS.

Ejemplo: hadoop fs -mv /user/hive/warehouse/empleados/empleado01.txt /user/hive/warehouse/empleado01.txt

-

COMANDO CP

Copia el archivo o directorio identificado por src a dest, en HDFS.

Ejemplo: hadoop fs -cp /user/hive/warehouse/empleados/empleado01.txt /user/hive/warehouse/empleado01.txt

-

COMANDO RM

Elimina el archivo o directorio vacío identificado con la ruta de acceso.

Ejemplo: hadoop fs -rm /user/hive/warehouse/empleados/empleado01.txt

-

COMANDO RMR

Elimina el archivo o directorio identificados con la ruta de acceso. Forma recursiva elimina todas las entradas secundarias (es decir, los archivos o los subdirectorios de la ruta).

Ejemplo: hadoop