5 bi sumMetodología Kimball para Data Warehouses

Metodología Kimball

• Existen varias metodologías para el diseño y construcción de un data warehouse (DW).
• Las metodologías de Kimball e Inmon son de las más utilizadas.
• El data mart es un repositorio de información similar a un DW, pero más pequeño y enfocado a un área o departamento específico.
• La metodología de Kimball se centra en el diseño de la base de datos para la toma de decisiones, basada en la creación de tablas de hechos con información numérica de los indicadores.
• La aplicación de cualquier metodología depende de las necesidades de la organización y el compromiso institucional.
• La metodología tiene como base lo que Kimball llama ciclo de vida dimensional del negocio.

Principios Básicos del Ciclo de Vida del Proyecto DW

• Centrarse en el negocio: Enfocarse en los requerimientos del negocio y el valor que aportará, desarrollando relaciones sólidas.
• Realizar una infraestructura de información: Diseñar una base de información única, integrada, fácil de usar y de alto rendimiento.
• Cumplir las entregas en incrementos significativos: Definir los tiempos de creación del almacén de datos en incrementos progresivos entregables, con plazos ajustables a las necesidades de la empresa.
• Ofrecer la solución completa: Facilitar todos los elementos necesarios para entregar valor a los usuarios del negocio, incluyendo un almacén de datos sólido, herramientas de consulta ad hoc, aplicaciones para informes, capacitación, soporte, sitio web y documentación.

Tareas de la Metodología de Kimball

• Se destaca la tarea de definición de requerimientos como papel central, siendo la base inicial de las tareas siguientes.
• Tres rutas se enfocan en diferentes áreas:

Tres Rutas de la Metodología

• Tecnología (ruta superior): Involucra herramientas de software específico, como data integration – Kettle Pentaho Open Source.
• Datos (ruta interior): Se diseña e implementa el modelo dimensional y se desarrolla el subsistema de ETL para cargar el data warehouse.
• Aplicaciones del business intelligence (ruta inferior): Se centra en el diseño, desarrollo e implementación de aplicaciones de negocio para los usuarios finales.
• Estas rutas se mezclan a medida que avanza el proyecto hasta la instalación del sistema.
• La administración del proyecto se observa en la base.

Planificación del Proyecto

• Se establece el propósito del proyecto de data warehouse/business intelligence, objetivos, alcance y riesgos.
• una iteración simple del KLC (Kimball Life Cycle), desde el principio hasta el despliegue.
• Fases comunes de un plan de proyecto:
  • Definir el alcance (requerimientos del negocio).
  • Identificar, programar y planear el uso de los recursos.
  • Establecer la carga de trabajo, preparar una prueba piloto y elaborar el documento final (informes).
• Kimball propone la conformación de un equipo de trabajo con personal del área informática y directivos expertos en el negocio.

Análisis de Requerimientos

• Se debe planear cómo se obtendrán los requerimientos del negocio, existen dos técnicas principales:
  • Entrevistas
  • Sesiones facilitadoras
• Las entrevistas deben realizarse a expertos (directivos) y técnicos, con preparación previa.
• Es importante aprender sobre el negocio, la competencia, la industria y los clientes, construyendo una matriz de procesos/dimensiones (bus matrix).
• La dimensión es una forma o criterio para resumir, cruzar o cortar datos numéricos.
• La matriz contiene procesos de negocios detallados en las filas y dimensiones reconocidas en las columnas.

Modelo Dimensional

• Un proceso eficiente e iterativo.

Proceso de Diseño

• El proceso de diseño comienza con un modelo dimensional de alto nivel basado en los procesos anticipados de la matriz.
• El proceso de pruebas consiste en cuatro pasos:
  • Elegir el proceso de negocio a modelar.
  • Establecer el nivel de granularidad (especificar al máximo nivel de detalle).
  • Elegir las dimensiones (basado en reuniones de equipos de trabajo).
  • Identificar medidas y tablas de hechos (datos cuantificables del negocio).
• En la sesión inicial de diseño, se completan las tablas con una lista de atributos bien definida, incluyendo características, origen de datos y definición de procesos ETL.
• Una vez definidos los atributos y variables, se implanta el modelo dimensional, realizando pruebas y ajustes según sea necesario.

Diseño Físico

• El modelado dimensional se convierte en un modelo físico, considerando aspectos técnicos de hardware, software y redes.
• Se debe considerar el tamaño del data warehouse, configuración del sistema, complejidad del modelo y tipo de usuario.

Diseño del Sistema de Extracción, Transformación y Carga (ETL)

• El sistema de ETL es la base del data warehouse.
• Se debe crear un sistema ETL para extraer datos de sistemas originales, aplicar reglas para mejorar la calidad y consistencia, consolidar información y cargarla en un formato adecuado.
• Una vez finalizado el proceso ETL, se implanta el data warehouse, donde puede sufrir modificaciones.
• Se documenta todo el proyecto en avances cortos para un informe final y estándar para futuros data warehouse.

Metodologías PMI

• Metodologías para la dirección de proyectos aplicables a business intelligence y adaptadas a las necesidades de la empresa.
• Los más importantes son Scrum y PMI (Project Management Institute).
• El PMI es una asociación profesional global con medio millón de miembros y titulares de certificaciones en 180 países.
• La metodología del PMI de gestión de proyectos incluye la ejecución de procesos y áreas de conocimiento.

Proceso (PMI)

• Un proyecto se concibe como un proceso, una serie de actividades coordinadas e interrelacionadas con un fin específico.
• El número de etapas varía según las exigencias del caso (participantes, complejidad, plazos).
• Las etapas básicas para el PMI son:
  • Inicialización.
  • Planificación.
  • Ejecución.
  • Control.
  • Cierre.

Enfoque del PMI

• El proceso del proyecto es realizado por personas y se clasifica en:
  • Procesos de gestión de proyectos: describe, organiza y completa el trabajo del proyecto.
  • Procesos orientados al producto: especifica y crea el producto del proyecto según el ciclo de vida del PMBOK®.

Áreas de Conocimiento (PMI)

• Los líderes de proyectos deben aplicar conocimientos adicionales relacionados con competencias específicas de la gestión.
• Incluyen:
  • Integración
  • Recursos Humanos
  • Costes
  • Alcance
  • Tiempo o plazos
  • Calidad de las tareas
  • Comunicación
  • Riesgos
  • Adquisiciones del proyecto.

Arquitectura Inmon

• El almacén de datos (data warehouse) es parte del sistema general de inteligencia de negocios.
• Características del Data Warehouse según Inmon:
  • Orientado a temas: Datos relacionados con procesos de la empresa aptos para el análisis.
  • Integrados: Datos procedentes de fuentes diversas con atributos consistentes.
  • No volátil: Los datos no se modifican ni se eliminan, manteniendo históricos.
  • Variante en el tiempo: Los cambios en los datos deben registrarse para la generación de informes y control.
• Metodología iterativa con un esquema inverso al desarrollo de sistemas, donde primero se trabaja con los datos para entender los requerimientos del negocio.
• La información debe estar al máximo nivel de detalle, tratando los data warehouse departamentales o data mart como subconjuntos del data warehouse global.

Metodología Inmon (Top-Down)

• Extracción de datos de las fuentes usando procesos ETL y carga en áreas stage.
• Validación y agrupación en el data warehouse global, donde se encuentran los metadatos.
• Actualización de los data mart con transformaciones respectivas.
• Tener una orientación global suele ser más difícil de desarrollar e implementar.

Ciclo de Vida Inmon

• Comienza con datos de diferentes fuentes, integra y prueba, desarrolla herramientas para leer dichos datos y define los requisitos para los sistemas de decisiones.

Estructura de un Data Warehouse (Inmon)

• Dividida en cuatro niveles:
  • Primer nivel: Mayor detalle, datos históricos de sistemas de transacción.
  • Segundo nivel: Detalle actual, datos activos.
  • Tercer nivel: Datos sutilmente resumidos, con primera transformación.
  • Cuarto nivel: Datos muy resumidos, agregados y específicos para un área.

Proceso para la Construcción del DW (Inmon)

• Reconocer los sistemas transaccionales de la empresa como fuentes de datos del DW.
• Llenar las primeras tablas en el DW de las unidades de negocio para que los usuarios empiecen a acceder a los datos integrados.
• Cargar más tablas, aumentando también los usuarios que acceden.
• Carga correcta del DW, resultando en sistemas de apoyo a la toma de decisiones.
• Creación de data mart para cada unidad de negocio.
• Nuevos data mart si surgen nuevas necesidades.
• Después de todos estos pasos, se desarrolla la arquitectura, aunque los usuarios prefieren acceder a los data mart por su acceso más rápido.

Granularidad

• El aspecto más importante del diseño de un almacén de datos es el nivel de detalle o resumen (granularidad).
• Más detalles resultan en menor granularidad, y viceversa.
• Es un problema importante del diseño; la granularidad se daba por sentada pero los datos se almacenan en el nivel más bajo.
• La granularidad afecta profundamente el volumen de datos y el tipo de consulta.
• A veces los datos ingresan con una granularidad demasiado alta o baja, requiriendo separar o resumir los datos.

Beneficios de la Granularidad

• Base flexible y reutilizable para diferentes procesos de sistemas de apoyo a la toma de decisiones.
• Los datos granulares son clave para la reutilización por muchas personas de diferentes maneras.
• Los datos están estrechamente relacionados y las organizaciones pueden verlos como lo deseen.
• Facilita la conciliación de los datos.
• Permite una base de datos sólida y flexibilidad.
• Los datos contienen un historial de actividades y eventos detallado para que los datos puedan ser transformados.
• Los futuros requisitos desconocidos pueden ser integrados.

Data-Driven Decision Modelling (DDM)

• Las empresas incluyen el concepto de data-driven para mejorar la toma de decisiones estratégicas basada en análisis de datos.
• el DDM permite examinar y organizar sus datos para mejorar la atención a clientes.
• Metodo que representa grandes avances e incluye contribuciones de campos como:
  • Inteligencia artificial o AI (artificial intelligence)
  • Inteligencia computacional o CI (computational intelligence).
  • Computación suave o SC (soft computing)
  • Máquinas de aprendizaje automático o ML (machine learning)
  • La minería de datos o DM (data mining)
  • Analisis inteligente de datos o IDA (intelligent data analysis).
• El DDM se centra en el uso de métodos de CI, particularmente máquinas de aprendizaje, para construir modelos que complementan o reemplazan los modelos "basados en el conocimiento" que describen el comportamiento físico.
• El proceso de construcción de un modelo DDM sigue la recolección de datos, selección de la estructura, construcción del modelo, prueba e iteración.

Tendencias

• El business intelligence sigue transformando, adaptándose y siendo fácil de usar, satisfaciendo las necesidades de los usuarios.
• Las tendencias en BI ayudan a entender que este jugará un papel importante en la transformación digital.
• Antes de 2008, el mercado de BI logró una importante madurez con múltiples representantes ofreciendo soluciones que cubrían la mayoría de las funcionalidades del BI (ETL, data warehouse, reporting, cuadro de mandos y OLAP).

Consolidación del Mercado de BI (2005-2009)

• Se originó una fuerte consolidación del mercado agrupada en:
  • Grandes agentes: Fabricantes externos que ampliaron su catálogo con plataformas BI.
  • Empresas tradicionales del mercado: Se mantienen con un producto especializado (Information Builders, Microstrategy).
  • Empresas de áreas especializadas: Expertas en un campo concreto (Teradata, Informatica, Datawatch, QlikView, Tableau).
  • Empresas open source: Cubren todo el proceso ofreciendo soluciones con TCO (Hitachi Vantara, Jaspersoft).
• Tendencias para el 2018:
  • La alfabetización de los datos adquirirá prioridad empresarial y social.
  • El modelo de multinube híbrida
  • Los datos están llegando al límite
  • El big data, el descubrimiento de los datos y la ciencia de datos convergerán
  • La necesidad de interoperabilidad y nuevos modelos de negocio centra la atención en las API.
  • Tendencia en la elaboración de informes redefinidos
  • El sistema de inteligencia aumentada convierte a los usuarios en participantes y facilitadores.
• La IA: se convierte en herramienta para el analista (regresiones lineales).
• Simplificacian de plataformas de tecnlogia
• Lenguaje Natural sofisticado y ubicuo (Cortana).
• Multiples aplicaciones el la nube mejor que una sola.
• Aumento de directores de datos en oficinas completamente operativas.
• Participacion colectiva en la gobernanza para dar datos adecuados.
• Tratamiento datos como productos con valor incremental.
• Ingenieros de datos para ajustes con fin de explorar datos para decisiones.
• La ubicacion de la IoT.
• Universidades apuestan para programas de analisis