SGBD Distribuídos e Suas Vantagens

Sistemas e Gestão de Bases de Dados Distribuídos (SGBD Distribuídos)

• Um SGBD Distribuído é uma coleção de bases de dados interconectadas, fisicamente distribuídas em uma rede de computadores.
• O software (DBMS distribuído) gerencia os dados, tornando a distribuição transparente para os usuários.
• Características Principais:
  • Distribuição Lógica: Os dados são tratados como um todo, independente da localização física.
  • Transparência:
    • Distribuição: Usuários não precisam saber onde os dados estão localizados.
    • Fragmentação: Divisões dos dados (fragmentos) são gerenciadas como uma base única.
    • Replicação: Dados replicados em diferentes locais são gerenciados sem intervenção do usuário.
  • Autonomia Local: Cada site (nó) possui controle sobre seus dados locais.
• Vantagens:
  • Maior Disponibilidade: Falha em um site não impede o funcionamento dos outros.
  • Melhor Desempenho: Transações são executadas em paralelo.
  • Escalabilidade: Adição de sites é mais simples para expandir o sistema.
  • Flexibilidade no Design: Fragmentação e replicação podem ser adaptadas às necessidades da aplicação.
• Arquitetura:
  • Centralizada: Um site central controla todo o sistema. (Simples, mas com pontos únicos de falha).
  • Totalmente Distribuída: Cada site tem autonomia completa. (Mais complexa, mas resiliente).
  • Híbrida: Combinação das duas abordagens anteriores. Componentes:
    • Sites (Nós): Armazenam partes dos dados.
    • Rede de Comunicação: Interconecta os sites para troca de dados.
    • Ger. Transações Distribuídas: Coordena transações em múltiplos sites.
    • Ger. Consultas Distribuídas: Processa consultas em múltiplos sites.

Conceitos-chave

• Fragmentação: Divisão lógica em partes menores (horizontal, vertical ou híbrida).
• Replicação: Cópias dos dados em diferentes locais para otimizar disponibilidade e desempenho.
• Consistência: Garante que todas as cópias dos dados estejam sincronizadas.

Comparação com SGBD Centralizados

• SGBD Centralizados: Todos os dados em um único local.
• SGBD Distribuídos: Dados em diferentes locais interconectados.

Vantagens dos Distribuídos sobre Centralizados

• Resiliência e Disponibilidade: Melhor tolerância a falhas.
• Escalabilidade: Crescimento horizontal mais fácil.
• Melhor Desempenho Local: Consultas locais são mais rápidas.
• Distribuição de Carga: Melhora o desempenho geral.
• Proximidade aos Dados: Dados geograficamente próximos a usuários.

Arquiteturas e Modelos Comuns

• Arquitetura Centralizada: Um nó central controla todas as operações.
• Arquitetura Totalmente Distribuída: Todos os nós são autônomos.
• Arquitetura Híbrida: Combinação de centralizada e distribuída.
• Modelos Baseados em Fragmentação: Dados divididos logicamente.
  • Horizontal: Divisão por linhas.
  • Vertical: Divisão por colunas.
  • Híbrida: Combinação das duas.
• Modelos Baseados em Replicação: Cópias dos dados espalhadas.
  • Replicação Total: Todas as cópias completas dos dados.
  • Parcial: Replicação de apenas parte dos dados.
• Modelos de Consistência:
  • Forte: Cópias atualizadas imediatamente após alterações.
  • Eventual: Cópias sincronizadas gradualmente.

Hadoop Distributed File System (HDFS)

• HDFS: Sistema de arquivos distribuído para grandes volumes de dados.
• Características:
  • Master-Slave: NameNode (master) gerencia metadados; DataNodes (slaves) armazenam dados.
  • Tolerância a Falhas: Dados replicados em múltiplos nós.
  • Imutabilidade (Write Once, Read Many): Dados gravados não podem ser modificados.
  • Alta Escalabilidade: Permite adicionar nós para aumentar a capacidade.
  • Data Locality: Processamento próximo aos dados para otimizar desempenho.
• Vantagens:
  • Custo-Benefício: Usa hardware comum em clusters.
  • Confiabilidade: Replicação protegendo contra falhas.
• Utilizado para:
  • Armazenamento de arquivos grandes que são divididos em blocos.
  • Processamento paralelo usando ferramentas como MapReduce, Spark, etc.
• Limitações:
  • Baixa latência para acessos aleatórios.
  • Configuração do tamanho de bloco requer atenção.

HDFS e Sistemas de Bases de Dados

• O HDFS não é um SGBD, mas é usado como base para sistemas distribuídos de processamento e análise de dados.
• Ferramentas que estendem HDFS, como YARN, MapReduce, HBase, Zookeeper, Hive, proporcionam funcionalidades adicionais.

Outros Componentes do Hadoop

• YARN (Yet Another Resource Negotiator): Gerenciador de recursos que aloca e monitora recursos no cluster.
  • ResourceManager (Master)
  • NodeManager (Slave)
  • ApplicationMaster
• MapReduce: Modelo de programação para processamento paralelo de dados. Dividido em Map e Reduce.
• HBase: Banco de dados NoSQL distribuído baseado em colunas, para leitura e escrita em tempo real.
• ZooKeeper: Ferramenta de coordenação e gerenciamento de configuração para sistemas distribuídos.
  • Gerencia metadados, sincronização e eleição de líderes.
• Hive: Ferramenta de data warehouse para consultas em dados do HDFS usando SQL. Traduz consultas em tarefas MapReduce, Spark ou Tez.