Análisis y Exploración de Datos

Etapas del Proceso de Ciencia de Datos

• Identificación de preguntas clave es esencial para dirigir el análisis.

Etapa de Análisis y Exploración de los Datos

• Objetivo: Evaluar calidad y relevancia de los datos disponibles.
• Actividades incluyen recolección y consolidación de datos.
• Evaluación de procedencia y confiabilidad de los datos es crucial.
• Empleo de técnicas estadísticas y visualización para identificar patrones.
• Limpieza y depuración de datos aseguran su precisión.

Etapa de Ingeniería

• Objetivo: Preparar datos para modelado definiendo características relevantes.
• Implica identificación y creación de características (features) útiles para el modelo.
• Aplicación de minería de datos para descubrir relaciones y patrones.
• Selección y transformación de variables mejoran la calidad del análisis.

Etapa de Modelado

• Objetivo: Construir y ajustar modelos predictivos.
• Algoritmos de machine learning son aplicados para construir los modelos.
• Evaluación y ajuste del modelo basado en la validación de resultados.
• Iteración continua entre ingeniería y modelado para optimizar el modelo.
• Verificación y prueba son necesarias para evitar conclusiones erróneas.

Etapa de Entrega de Resultados

• Objetivo: Presentar resultados de manera que facilite la toma de decisiones.
• Generación de informes y visualizaciones explica hallazgos de forma efectiva.
• Interpretación de resultados en el contexto del problema original es fundamental.

Hitos Históricos en Almacenamiento y Análisis de Datos

• 1928: Fritz Pfleumer patentó el primer sistema de almacenamiento magnético.
• 1962: IBM Shoebox, un avance en reconocimiento de voz.
• 1965: Primer data center en EE. UU. para almacenamiento en cintas magnéticas.
• 1970: IBM desarrolló el modelo relacional, base para la gestión de bases de datos.
• 1976: Popularización de MRP mejoró la gestión de datos en empresas.
• 1989: Erik Larson acuña el término Big Data.
• 1991: Nace Internet, revolucionando la gestión de datos.
• 1997: Google lanza un sistema de búsqueda en Internet.
• 2001: Doug Laney define las 3 Vs de Big Data.
• 2005: Nace la web 2.0 y se crea Hadoop.
• 2014: Teléfonos móviles superan a ordenadores en acceso a Internet.
• 2016: El término Big Data se universaliza.

Utilidad de la Ciencia de Datos

• Análisis de Riesgo: Calcula primas de seguros y evalúa elegibilidad para créditos.
• Ciberseguridad: Detecta patrones inusuales para identificar fraudes.
• Salud: Usa imágenes para detectar anomalías y prever afecciones.
• Marketing: Segmenta clientes y predice comportamientos.

Impacto de Empresas en Negocios

• Netflix: Personaliza recomendaciones utilizando Big Data, transformando su modelo de negocio.
• Amazon: Utiliza ciencia de datos para recomendaciones, optimización de precios y logística.

Importancia de Definir Preguntas en Ciencia de Datos

• Establecimiento de objetivos claros y preguntas pertinentes es esencial.
• Las preguntas deben surgir de la identificación de problemas y datos disponibles.
• Iniciativa "100 Questions" de The GovLab: priorización de preguntas clave según impacto, originalidad y claridad.

Categorías de Preguntas en Ciencia de Datos

• Análisis de la Situación: Comprender tendencias y distribuciones.
• Causa y Efecto: Determinar factores causales y sus efectos.
• Predicción: Evaluar riesgos y oportunidades futuras.
• Evaluación de Impacto: Analizar resultados, positivos o negativos.

Herramientas y Tecnologías en Ciencia de Datos

• Distinción entre herramientas de almacenamiento y procesamiento.
• Hadoop: Plataforma para almacenar y procesar grandes volúmenes de datos.
• HDFS: Sistema que permite almacenamiento distribuido de información.

Herramientas de Almacenamiento

• Almacenamiento tradicional: Usa ficheros y bases de datos relacionales (SQL).
• NoSQL: Herramientas como Cassandra para datos no estructurados.

Herramientas de Procesamiento

• Comerciales: IBM y SAS son ampliamente utilizados en entornos comerciales.
• Código Abierto:
  • R: Para análisis estadístico y visualización.
  • Python: Usado principalmente para analítica.

Estrategias de Escalamiento

• Escalamiento vertical: Mejora de un único servidor con mejor hardware.
• Escalamiento horizontal: División de tareas entre múltiples computadores de bajo costo.

Privacidad y Confidencialidad

• Científicos de datos deben evitar recopilar información personal adicional.
• Trabajar con datos puede generar conocimiento más profundo sobre individuos.

Este cuestionario se centra en la etapa de análisis y exploración de datos. Se abordarán las técnicas necesarias para examinar la calidad y relevancia de los datos, así como las actividades de recolección, evaluación y visualización. Aprenderás sobre patrones y tendencias en los datos.