Descubre todo lo que necesitas saber sobre Big Data y Hadoop en este quiz

Conceptos clave sobre Big Data y procesamiento de datos

1. Existen dos tipos de procesamiento de datos: en modo batch o lotes y en modo stream o tiempo (semi)-real.

2. El Business Analytics (BA) es la exploración metódica de datos en una organización con énfasis en el análisis estadístico para la toma de decisiones basada en los datos.

3. El Data Science combina matemáticas, estadística, programación y el contexto del problema para resolver problemas de Big Data.

4. Los roles en proyectos de Big Data incluyen higienistas de datos, exploradores de datos, arquitectos de datos, científicos de datos y expertos de campaña.

5. Los perfiles TIC especializados en nuevas tecnologías son necesarios para el procesamiento de datos mediante técnicas de Big Data.

6. MapReduce es un modelo de programación diseñado para dar soporte a la computación paralela sobre grandes conjuntos de datos repartidos entre varios ordenadores.

7. MapReduce se emplea en la resolución práctica de algunos algoritmos susceptibles de ser paralelizados.

8. Las funciones Map y Reduce están definidas ambas con respecto a datos estructurados en tuplas del tipo (clave, valor).

9. La función Map() se encarga del mapeo y es aplicada en paralelo para cada elemento de la entrada.

10. La función Reduce() es aplicada en paralelo para cada grupo, produciendo una colección de valores para cada dominio.

11. El modelo de programación MapReduce se ejecuta de forma distribuida a lo largo de varias máquinas.

12. Las salidas se distribuyen en un fichero completo o en varios ficheros que pueden ser la entrada de otro MapReduce o pueden ser procesados por cualquier otro programa que necesite estos datos.Introducción a Hadoop y su arquitectura

13. Hadoop es un framework de código abierto utilizado para el procesamiento distribuido de grandes conjuntos de datos.

14. Utiliza el paradigma de programación MapReduce para procesar los datos en paralelo.

15. Hadoop está compuesto por tres piezas: Hadoop Distributed File System (HDFS), Hadoop MapReduce y Hadoop Common.

16. HDFS es el sistema de archivos distribuido propio de Hadoop, diseñado para escalar a decenas de petabytes de almacenamiento.

17. HDFS tiene una arquitectura maestro-esclavo, con un NameNode que administra el espacio de nombres del sistema de archivo y DataNodes que administran el almacenamiento de información.

18. Hadoop utiliza la replicación de datos para preservar copias en diferentes racks y reducir el impacto de fallos.

19. Hadoop es altamente tolerante a fallos y utiliza el "ping" para comprobar el estado de los workers.

20. El objetivo de Hadoop es procesar grandes conjuntos de datos localmente, evitando el movimiento de grandes ficheros.

21. Hadoop es inspirado en el proyecto de Google File System (GFS).

22. Hadoop Common proporciona acceso a los sistemas de archivos soportados por Hadoop.

23. Un clúster típico de Hadoop incluye un nodo maestro y múltiples nodos esclavo.

24. Hadoop está construido utilizando el lenguaje Java y es altamente portátil.Arquitectura de HDFS: NameNode y DataNode

25. HDFS es el sistema de archivos distribuido de Hadoop.

26. HDFS divide los archivos en bloques y los replica para tolerancia a fallos.

27. El NameNode es el árbitro y el repositorio de todos los metadatos HDFS.

28. El NameNode no tiene acceso a los datos del usuario.

29. HDFS está diseñado para almacenar archivos muy grandes de manera confiable.

30. Los bloques de un archivo, excepto el último, son del mismo tamaño.

31. Los archivos en HDFS son de una sola escritura y tienen estrictamente un escritor en cualquier momento.

32. El NameNode toma todas las decisiones con respecto a la replicación de bloques.

33. Los DataNodes envían periódicamente un Heartbeat y un Blockreport al NameNode.

34. Un Heartbeat indica que el DataNode funciona correctamente.

35. Un Blockreport contiene una lista de todos los bloques en un DataNode.

36. El NameNode utiliza un registro de transacciones llamado EditLog para grabar persistentemente cada cambio que se produce en los metadatos del sistema.