7 Hive e Impala

Hive e Impala

• Apache Hive y Apache Impala son dos herramientas del ecosistema big data de software libre, respaldadas por la Apache Software Foundation (ASF).
• Apache Hive facilita consultas SQL sobre datos distribuidos en Hadoop, utilizando MapReduce, Spark o Tez como motor de ejecución.
• Apache Impala permite el acceso uniforme a diversas fuentes de datos distribuidas mediante lenguaje SQL.

Introducción y objetivos

• Se busca concienciar sobre el potencial de Apache Hive y su aplicación en inteligencia de negocio.
• Se busca comprender la utilidad práctica de Apache Impala y las necesidades que cubre.

Apache Hive

• Permite analizar información almacenada en grandes volúmenes usando un lenguaje similar a SQL, facilitando el trabajo de analistas.
• Desarrollado inicialmente por Facebook en 2007, fue donado a la Apache Software Foundation en 2010 como proyecto open source.
• proporciona una interfaz SQL para manejar datos estructurados en diversas fuentes, como HDFS, HBase y Amazon S3.
• Principalmente destinado a analistas de inteligencia de negocio sin dominio de Java.
• El lenguaje de consulta utilizado es HiveQL admitiendo sentencias SQL estándar así como funciones definidas por el usuario (UDF).
• Se usa principalmente en modo OLAP para análisis en bloque pero no es adecuado para OLTP o manejo interactivo.

Ejemplo de uso de Hive

• Para consultar datos almacenados en un clúster Hadoop usando un lenguaje similar a SQL.
• Hive organiza los datos en tablas siendo muy similar a una base de datos relacional
• Hive es capaz de transformar una consulta SQL en un trabajo de procesamiento (MapReduce, Tez o Spark) sobre los datos almacenados, sin necesidad de programación.
• Apache Tez es un motor de ejecución similar a Spark, optimizado para la ejecución de DAG de tareas y utilizado en aplicaciones de Hadoop como Hive o Pig.

Funcionamiento de Hive

• Los clientes y servicios interactúan de diversas maneras
• Hiveserver2 es un proceso que escucha peticiones en HiveQL, actuando como interfaz y comunicándose con el driver.
• HWI es una interfaz web alternativa a la línea de comandos.
• Cliente Thrift: interactúa con código en lenguajes como Python y Ruby través de un servicio Thrift
• Driver JDBC: Conexión a Hive mediante aplicaciones Java utilizando una dirección JDBC específica.
• Driver ODBC: Conexión a Hive mediante aplicaciones compatibles con el protocolo ODBC (Tableau, Microstrategy, PowerBI, QlikSense).

Arquitectura de Hive sobre MapReduce

• El controlador recibe sentencias SQL (HiveQL), coordina el ciclo de ejecución, y envía resultados.
• El compilador convierte la consulta a un árbol de sintaxis abstracta (AST), validando con metadatos y optimizando para el motor de ejecución.
• El metastore almacena los metadatos siendo como respositorio central.
• El metastore incluye un servicio de recuperación de metadatos y una plataforma de almacenamiento
• Por defecto el metastore se ejecuta en la misma máquina virtual de Java
• Existen las configuraciones embebidas y locales.

Diferencias entre Hive y las bases de datos tradicionales

• Hive no es una base de datos relacional
• Hive traduce peticiones a trabajos MapReduce/Spark/Tez para consultar datos en ficheros distribuidos.
• Las bases de datos tradicionales verifican el esquema al cargar datos (schema-on-write).
• Hive aplica el esquema al consultar los datos (schema-on-read), permitiendo una carga de datos más rápida.
• Las transacciones, actualizaciones e índices en Hive han aparecido hasta versiones muy recientes.
• Los cambios resultantes de inserciones, actualizaciones y eliminaciones se guardan como ficheros de cambios y funcionan en el contexto de transacciones.

Gestión de tablas en Hive

• Una tabla en Hive está compuesta por los datos almacenados en HDFS, disco local o AWS S3 y metadatos.
• Existen tablas gestionadas por Hive (managed tables) y tablas externas.
• Al eliminar una tabla gestionada y todos sus datos.
• Al eliminar solo una tabla externa se eliminan solo los metadatos.
• Hive soporta gran de variedad de formatos incluyendo texto plano, Avro, Parquet, RCFiles, ORCFiles y Sequence.

Apache Impala

• Es una herramienta de procesamiento paralelo para realizar consultas interactivas en SQL sobre datos distribuidos en HDFS, HBase o Amazon S3.
• Es capaz de escribir en tablas de Apache Kudu.
• Puede conectarse a herramientas de BI mediante el mismo driver ODBC que Hive
• Utiliza un lenguaje de consulta (HiveQL) y formato de metadatos similares a Hive.
• La principal diferencia con Hive es que este último esta principalmente diseñado para trabajos en batch
• Impala fue creado por Cloudera en 2012, ahora es un proyecto oficial de Apache.
• A diferencia de Hive, Impala tiene su propia arquitectura que optimiza la velocidad y la eficiencia.

Conexión de Impala

• Se denomina cliente a las aplicaciones externas
• Hue interfaz gráfica de administración que incluye un editor gráfico de consultas SQL
• Impala permite la definición de tablas externas como Hive.

Proceso de ejecución de Impala

• Un cliente envía una consulta SQL a Impala que se conecta al proceso demonio (impalad).
• Impala analiza la consulta y planifica tareas para los demonios impalad en el clúster.
• Los demonios impalad acceden a servicios de HDFS y HBase y obtienen una consulta
• Los procesos regresan un resultado final al cliente
• Durante el desarrollo de la aplicación se recomienda que los datos fluyan en la misma máquina
• Impala no proporciona un mecanismo automático para el balanceo de carga ni tampoco para alta disponibilidad

Arquitectura de Impala

• Proceso fundamental en cada datanode que coordina y ejecuta consultas SQL.
• Los demonios están en constante comunicación con el Statestore
• El Statestore es un proceso demonio que comprueba que los demonios de Impala están activos

Catolog Service

• Proceso demonio cuya misión es comunicar a los procesos impalad los cambios que ha habido en los metadatos provocados por sentencias SQL.
• Si se modifica una tabla desde Hive ,es necesario ejecutar manualmente las sentencias REFRESH e INVALIDATE METADATA en un nodo de Impala

Aprende sobre Apache Hive e Impala, dos herramientas de código abierto para big data respaldadas por la Apache Software Foundation (ASF). Hive facilita las consultas SQL sobre datos distribuidos, mientras que Impala permite el acceso uniforme a diversas fuentes de datos distribuidas mediante SQL.