Podcast
Questions and Answers
Quais são as características que os data lakes não suportam?
Quais são as características que os data lakes não suportam?
Qual solução é proposta para resolver os desafios ACID nos data lakes?
Qual solução é proposta para resolver os desafios ACID nos data lakes?
O que caracteriza um Lakehouse em comparação a um sistema de várias soluções?
O que caracteriza um Lakehouse em comparação a um sistema de várias soluções?
Qual é uma das vantagens de utilizar um único Data Lakehouse?
Qual é uma das vantagens de utilizar um único Data Lakehouse?
Signup and view all the answers
Qual é uma limitação dos data warehouses tradicionais em relação a dados não estruturados?
Qual é uma limitação dos data warehouses tradicionais em relação a dados não estruturados?
Signup and view all the answers
Qual das seguintes afirmações sobre a Snowflake é correta?
Qual das seguintes afirmações sobre a Snowflake é correta?
Signup and view all the answers
Qual é uma desvantagem em manter vários sistemas de dados?
Qual é uma desvantagem em manter vários sistemas de dados?
Signup and view all the answers
Qual é a principal função de um Data Lakehouse?
Qual é a principal função de um Data Lakehouse?
Signup and view all the answers
Quais são as garantias oferecidas pelo Delta Lake em relação a alterações de dados?
Quais são as garantias oferecidas pelo Delta Lake em relação a alterações de dados?
Signup and view all the answers
Como o Delta Lake lida com metadados em larga escala?
Como o Delta Lake lida com metadados em larga escala?
Signup and view all the answers
O que o log de transações do Delta Lake fornece aos desenvolvedores?
O que o log de transações do Delta Lake fornece aos desenvolvedores?
Signup and view all the answers
Qual das opções abaixo NÃO é suportada pelo Delta Lake?
Qual das opções abaixo NÃO é suportada pelo Delta Lake?
Signup and view all the answers
Como o Delta Lake trata a evolução do esquema?
Como o Delta Lake trata a evolução do esquema?
Signup and view all the answers
Qual é uma das funcionalidades principais da tabela Delta Lake?
Qual é uma das funcionalidades principais da tabela Delta Lake?
Signup and view all the answers
Qual característica do Delta Lake garante a durabilidade de dados?
Qual característica do Delta Lake garante a durabilidade de dados?
Signup and view all the answers
Qual a finalidade da captura de alteração de dados (CDC) no Delta Lake?
Qual a finalidade da captura de alteração de dados (CDC) no Delta Lake?
Signup and view all the answers
Qual é a função principal do Delta Lake?
Qual é a função principal do Delta Lake?
Signup and view all the answers
O que caracteriza um Data Lakehouse?
O que caracteriza um Data Lakehouse?
Signup and view all the answers
Quais problemas estão associados a um Data Swamp?
Quais problemas estão associados a um Data Swamp?
Signup and view all the answers
Qual é um benefício do uso do comando mergeSchema no Delta Lake?
Qual é um benefício do uso do comando mergeSchema no Delta Lake?
Signup and view all the answers
Como o Delta Lake assegura a evolução do esquema?
Como o Delta Lake assegura a evolução do esquema?
Signup and view all the answers
Qual é uma característica distintiva de um Data Lake em comparação a um Data Warehouse?
Qual é uma característica distintiva de um Data Lake em comparação a um Data Warehouse?
Signup and view all the answers
O que é necessário para evitar que um Data Lake se torne um Data Swamp?
O que é necessário para evitar que um Data Lake se torne um Data Swamp?
Signup and view all the answers
Qual é um conceito importante abordado por Matthew Powers sobre Delta Lake?
Qual é um conceito importante abordado por Matthew Powers sobre Delta Lake?
Signup and view all the answers
Qual é o valor inicial da coluna 'id' no conjunto de dados?
Qual é o valor inicial da coluna 'id' no conjunto de dados?
Signup and view all the answers
Qual a razão pela qual a transação de acréscimo não foi considerada uma incompatibilidade de esquema?
Qual a razão pela qual a transação de acréscimo não foi considerada uma incompatibilidade de esquema?
Signup and view all the answers
O que acontece quando se tenta anexar dados com duas colunas a um arquivo Delta com três colunas?
O que acontece quando se tenta anexar dados com duas colunas a um arquivo Delta com três colunas?
Signup and view all the answers
Qual é o número de registros após a operação de acréscimo bem-sucedida?
Qual é o número de registros após a operação de acréscimo bem-sucedida?
Signup and view all the answers
Se o modo de operação fosse alterado para sobrescrever, o que aconteceria com o esquema do arquivo Delta?
Se o modo de operação fosse alterado para sobrescrever, o que aconteceria com o esquema do arquivo Delta?
Signup and view all the answers
Após adicionar 100.000 registros, quantos valores na coluna 'id' devem ser nulos?
Após adicionar 100.000 registros, quantos valores na coluna 'id' devem ser nulos?
Signup and view all the answers
Qual opção deve ser adicionada para mudar o esquema de três colunas para apenas duas colunas no arquivo Delta?
Qual opção deve ser adicionada para mudar o esquema de três colunas para apenas duas colunas no arquivo Delta?
Signup and view all the answers
Quando os dados são lidos para o quadro de dados events_delta, quantas colunas são mostradas?
Quando os dados são lidos para o quadro de dados events_delta, quantas colunas são mostradas?
Signup and view all the answers
Qual é uma característica dos dados armazenados na camada de lote?
Qual é uma característica dos dados armazenados na camada de lote?
Signup and view all the answers
Qual é a desvantagem da arquitetura lambda em comparação com a arquitetura kappa?
Qual é a desvantagem da arquitetura lambda em comparação com a arquitetura kappa?
Signup and view all the answers
Como os eventos são tratados na arquitetura kappa?
Como os eventos são tratados na arquitetura kappa?
Signup and view all the answers
Qual é a principal diferença entre as arquiteturas de lambda e kappa?
Qual é a principal diferença entre as arquiteturas de lambda e kappa?
Signup and view all the answers
O que permite o recálculo de dados na arquitetura de lambda?
O que permite o recálculo de dados na arquitetura de lambda?
Signup and view all the answers
O que acontece quando é necessário recalcular todo o conjunto de dados na arquitetura kappa?
O que acontece quando é necessário recalcular todo o conjunto de dados na arquitetura kappa?
Signup and view all the answers
Qual é a função principal de um DATA LAKE no contexto apresentado?
Qual é a função principal de um DATA LAKE no contexto apresentado?
Signup and view all the answers
Qual aspecto é verdadeiro sobre a lógica de processamento na arquitetura kappa?
Qual aspecto é verdadeiro sobre a lógica de processamento na arquitetura kappa?
Signup and view all the answers
Study Notes
Arquitetura Lambda
- O caminho quente contém dados para uma janela de tempo relativamente pequena.
- Os resultados do caminho quente são atualizados com dados mais precisos do caminho frio.
- Os dados brutos armazenados na camada de lote são imutáveis.
- Os dados de entrada são sempre adicionados aos dados existentes.
- Os dados anteriores nunca são substituídos.
- Mudanças no valor de um dado específico são armazenadas como um novo registro de evento com carimbo de data/hora.
- Permite o recálculo em qualquer ponto no tempo no histórico dos dados coletados.
Arquitetura Kappa
- A arquitetura Kappa é uma alternativa a Lambda.
- Todos os dados fluem por um único caminho, usando um sistema de processamento de fluxo.
- Os dados são ingeridos como um fluxo de eventos em um log unificado distribuído e tolerante a falhas.
- Esses eventos são ordenados e o estado atual de um evento é alterado somente por um novo evento.
- O processamento de eventos é feito no fluxo de entrada e persistido como uma exibição em tempo real.
Data Lake
- Data lakes não suportam transações ACID, não impõem a qualidade dos dados e sua falta de consistência/isolamento torna quase impossível unir escritas e leituras rodando processos batch e stream.
Data Lakehouse
- Uma solução convergente que combina Data Lake e Data Warehouse.
- Permite derivar inteligência de dados não estruturados (texto, imagens, vídeo, áudio).
- Vantagens: menos tempo e esforço administrativo, esquema simplificado e governança de dados, reduzida movimentação e redundância de dados, acesso direto aos dados para ferramentas de análise, armazenamento de dados econômico.
Snowflake
- Um dos melhores exemplos para abordarmos a plataforma de Lakehouse.
Delta Lake
- Garante que todas as alterações de dados gravadas no armazenamento sejam confirmadas para durabilidade e tornada visível para os leitores atomicamente.
- Escala de petabytes.
- Aproveita o Spark para dimensionar todo o processamento de metadados.
- Registra detalhes sobre todas as alterações feitas nos dados, fornecendo uma trilha de auditoria completa das mudanças.
- Permite acessar e reverter para versões anteriores de dados.
- Impede automaticamente a inserção de dados com um esquema incorreto.
- Permite que o esquema da tabela seja desenvolvido para acomodar dados em constante mudança.
- Suporta mesclagem, atualização e exclusão.
- Tem a capacidade de funcionar em lote e como uma fonte de streaming.
Studying That Suits You
Use AI to generate personalized quizzes and flashcards to suit your learning preferences.
Related Documents
Description
Teste seus conhecimentos sobre as arquiteturas Lambda e Kappa. Aprenda a diferença entre os dois modelos, como eles gerenciam dados e os benefícios de cada abordagem. Veja se você consegue identificar os principais conceitos e características de cada arquitetura.
