Моделирование данных

Data Modeling

• Process of creating a conceptual representation of data structures and relationships
• Goals:
  • Identify entities and relationships
  • Organize data in a logical and consistent manner
  • Establish a common understanding of the data among stakeholders
• Types of data models:
  • Conceptual data model (high-level, focuses on entities and relationships)
  • Logical data model (mid-level, focuses on data structures and relationships)
  • Physical data model (low-level, focuses on storage and implementation details)

Normalization

• Process of organizing data in a database to minimize data redundancy and dependency
• Goals:
  • Eliminate data redundancy and anomalies
  • Improve data integrity and consistency
  • Simplify database management and maintenance
• Normalization rules:
  • First Normal Form (1NF): each table cell must contain a single value
  • Second Normal Form (2NF): each non-key attribute must depend on the entire primary key
  • Third Normal Form (3NF): if a table is in 2NF, and a non-key attribute depends on another non-key attribute, then it should be moved to a separate table

Query Languages

• Used to interact with a database and retrieve or manipulate data
• Types of query languages:
  • Procedural languages (e.g. SQL): specify how to retrieve or manipulate data
  • Declarative languages (e.g. QBE): specify what data to retrieve or manipulate
• SQL (Structured Query Language):
  • Used for managing relational databases
  • Includes commands for creating and modifying database structures, as well as querying and manipulating data

Database Design

• Process of creating a detailed and specific design for a database
• Goals:
  • Meet the requirements of the application or system
  • Ensure data integrity and consistency
  • Optimize database performance and scalability
• Database design steps:
  1. Requirements gathering and analysis
  2. Conceptual design (data modeling)
  3. Logical design (schema design)
  4. Physical design (storage and implementation details)
  5. Implementation and testing

Data Warehousing

• Process of designing and implementing a system for storing and analyzing large amounts of data
• Goals:
  • Support business intelligence and decision-making
  • Integrate data from multiple sources
  • Provide fast and efficient data analysis and reporting
• Data warehousing concepts:
  • Data mart: a subset of a data warehouse, focused on a specific business area
  • Star schema: a data warehousing schema that consists of a central fact table and multiple dimension tables
  • ETL (Extract, Transform, Load): process of extracting data from sources, transforming it into a consistent format, and loading it into the data warehouse

Моделирование данных

• Процесс создания концептуального представления данных и их отношений
• Цели:
  • Определить сущности и отношения
  • Организовать данные логически и последовательно
  • Установить общее понимание данных среди заинтересованных лиц
• Типы моделей данных:
  • Концептуальная модель данных (высокоуровневая, focused on сущности и отношения)
  • Логическая модель данных (среднего уровня, focused on структурах данных и отношения)
  • Физическая модель данных (низкоуровневая, focused on хранении и деталях реализации)

Нормализация

• Процесс организации данных в базе данных для минимизации избыточности и зависимости
• Цели:
  • Удалить избыточность и аномалии данных
  • Улучшить целостность и согласованность данных
  • Упростить управление и обслуживание базы данных
• Правила нормализации:
  • Первая нормальная форма (1НФ): каждая ячейка таблицы должна содержать одно значение
  • Вторая нормальная форма (2НФ): каждый неключевой атрибут должен зависеть от всего первичного ключа
  • Третья нормальная форма (3НФ): если таблица находится в 2НФ, и неключевой атрибут зависит от другого неключевого атрибута, то он должен быть перемещен в отдельную таблицу

Языки запросов

• Используются для взаимодействия с базой данных и извлечения или манипулирования данными
• Типы языков запросов:
  • Процедурные языки (например, SQL): определяют, как извлекать или манипулировать данными
  • Декларативные языки (например, QBE): определяют, какие данные извлекать или манипулировать
• SQL (Structured Query Language):
  • Используется для управления реляционными базами данных
  • Включает команды для создания и модификации структур базы данных, а также для запросов и манипулирования данными

Проектирование базы данных

• Процесс создания подробного и具体ного дизайна базы данных
• Цели:
  • Удовлетворить требованиям приложения или системы
  • Обеспечить целостность и согласованность данных
  • Оптимизировать производительность и масштабируемость базы данных
• Этапы проектирования базы данных:
  • Сбор и анализ требований
  • Концептуальное проектирование (моделирование данных)
  • Логическое проектирование (проектирование схемы)
  • Физическое проектирование (хранение и детали реализации)
  • Реализация и тестирование

Хранилище данных

• Процесс проектирования и реализации системы для хранения и анализа больших объемов данных
• Цели:
  • Поддержка бизнес-интеллекта и принятия решений
  • Интеграция данных из множества источников
  • Обеспечение быстрого и эффективного анализа и отчетности данных
• Концепции хранилища данных:
  • Оперативный хранилище (data mart): подмножество хранилища данных,focused on конкретную бизнес-область
  • Звездная схема: схема хранилища данных, состоящая из центральной фактовой таблицы и множества измерительных таблиц
  • ETL (Extract, Transform, Load): процесс извлечения данных из источников, преобразования их в согласованный формат и загрузки в хранилище данных