¿Cuánto sabes sobre Big Data y Hadoop en la Administración Pública española?

Herramientas clave en el ecosistema Hadoop

1. Flume es una solución distribuida de recolección de datos de registro en servidores distribuidos.

2. Flume utiliza nodos agente y colectores para transferir y procesar flujos de datos.

3. Avro es un sistema de serialización de datos que utiliza JSON para definir tipos de datos y protocolos.

4. Oozie permite definir una secuencia de ejecución de jobs Hadoop en un archivo XML de configuración.

5. Sqoop es una utilidad de código abierto para mover datos de Hadoop a bases de datos relacionales.

6. Spark es un sistema de computación en clúster de propósito general desarrollado en Scala.

7. Spark soporta algoritmos iterativos en memoria y flujo de datos acíclicos, y entiende SQL.

8. Tez es un proyecto que aprovecha las posibilidades de YARN para aplicar MapReduce desde una perspectiva de grafos.

9. Giraph es un proyecto de Apache para procesar grafos de grandes volúmenes de datos con MapReduce.

10. Chukwa es una herramienta para recolectar logs de grandes sistemas para su control, análisis y visualización.

11. Kafka es un sistema de mensajería distribuido de alto rendimiento que se fundamenta en el uso de TOPIC.

12. Cloudera, HortonWorks y MapR son distribuciones de Hadoop con mejoras en las funcionalidades y solucionan algunos de los inconvenientes inherentes de Apache Hadoop.Herramientas y proyectos de Big Data en la Administración Pública española

13. SAS es una herramienta de análisis de datos muy utilizada en el mundo empresarial.

14. SPSS es un programa estadístico informático usado en ciencias sociales y empresas de investigación de mercado.

15. DISCO PROJECT es un framework de código abierto para computación distribuida basado en el paradigma de programación MapReduce.

16. STORM es un sistema de computación distribuida en tiempo real de código libre y abierto.

17. ELK Stack se utiliza para realizar análisis de logs y está formado por Elasticsearch, Logstash y Kibana.

18. La Agencia Tributaria es un caso de éxito en el uso de Big Data para investigar el fraude fiscal.

19. La Gerencia de Informática de la Seguridad Social usa BI para detectar personas que defraudan a la Seguridad Social.

20. El Ministerio de Industria impulsa las Tecnologías del Lenguaje y líneas de actuación en la iniciativa Industria Conectada 4.0 relacionadas con Big Data.

21. El Ministerio de Sanidad y Servicios Sociales propone un plan nacional para regular y unificar el uso del big data sanitario.

22. Se crea la División Oficina del Dato para diseñar estrategias de gestión de datos y crear espacios de compartición de datos seguros.

23. La División Oficina del Dato también se encarga de emplear masivamente los datos en los sectores productivos de la economía mediante tecnologías Big Data e IA.

24. La División Oficina del Dato desarrolla mecanismos de acceso seguros a plataformas de datos para la toma de decisiones públicas y empresariales, garantizando su seguridad y gobernanza.