Amazon Kinesis Data Firehose

Amazon Kinesis Data Firehose

• Serviço gerenciado que captura, transforma e entrega dados em streaming para lagos de dados, armazenamentos e serviços de análise.
• Realiza todo o processo de ingestão, armazenamento, processamento e entrega de dados em tempo real.

Etapas do Processamento de Dados em Streaming

• Geração de Dados: Fontes como SDKs móveis, dispositivos IoT e logs de aplicativos produzem dados em alta velocidade.
• Ingestão: Coleta e ingestão de dados em tempo real de milhares de fontes, com processos como autenticação e filtragem.
• Armazenamento: Dados são armazenados na ordem em que foram recebidos por um período determinado.
• Processamento: Análise dos dados armazenados para obtenção de insights, lidos na sequência de recebimento.
• Entrega: Dados processados são enviados para destinos como lago de dados ou banco de dados para análise prolongada.

Processo ETL com Kinesis Data Firehose

• Fontes de dados incluem logs de serviços da AWS, dados de dispositivos IoT e aplicações empresariais.
• Opções de ingestão incluem AWS SDK e Amazon Kinesis Data Streams, além de agentes como Kinesis Agent.
• Tipo de transformações: funções Lambda para personalizações ou capacidades integradas como conversão de formato e particionamento dinâmico.
• Suporta funcionalidades como buffering, compressão e criptografia de dados.

Destinos Suportados

• Kinesis Data Firehose pode entregar dados a destinos como Amazon S3, Amazon Redshift, Amazon OpenSearch e Amazon API Gateway.

Casos de Uso

• Ampla variedade de aplicações, como análise de clickstream, logs, IoT, análise de eventos offline e monitoramento de segurança de rede.

Vantagens do Kinesis Data Firehose

• Criação de pipelines simplificada com poucos cliques para iniciar a transmissão de dados em tempo real.
• Escalabilidade automática para gerenciar gigabytes por segundo, mantendo a latência controlada.
• Replicação sincronizada de dados em três instalações dentro de uma região AWS para alta disponibilidade e durabilidade.
• Integração com mais de 30 serviços AWS, facilitando a ingestão e entrega de dados em streaming.
• Gerencia cenários de perda e corrupção de dados com tentativas automáticas e buffer sem necessidade de desenvolvimento de código.
• Pagamento baseado na quantidade de dados ingeridos, sem taxas mínimas ou compromissos iniciais.

Buffering e Transformações

• Dados em streaming são armazenados até atingir um período ou volume especificado antes da entrega.
• Conversão de formato de dados de JSON para Apache Parquet ou Apache ORC, formatos que economizam espaço e permitem consultas mais rápidas.
• Particionamento dinâmico para entregar dados agrupados por chaves, minimizando dados escaneados e reduzindo custos de consultas.

Monitoramento do Kinesis Data Firehose

• Registro de logs no Amazon CloudWatch e métricas personalizadas com monitoramento detalhado.
• Kinesis Agent publica métricas personalizadas no CloudWatch para avaliação de performance.
• Uso do AWS CloudTrail para logar chamadas de API e armazenar dados em um bucket do Amazon S3.

Amazon Kinesis Data Firehose

• Serviço gerenciado que facilita a ingestão, processamento e armazenamento de dados em tempo quase real.
• Permite a transformação e carga de dados em diferentes destinos, como bancos de dados e data lakes.

Funcionamento do Kinesis Firehose

• Recebe dados de mais de 20 fontes diferentes, incluindo AWS CDK e Open Source.
• Transformações de dados são opcionais, com opções integradas como conversão de JSON para Parquet e particionamento dinâmico.
• Integra-se com AWS Lambda para transformações mais complexas.

Características e Funcionalidades

• ETL: Executa funções de extração, transformação e carga (ETL) de forma automática, escalável e a baixo custo.
• Armazenamento: Os dados podem ser armazenados em S3, Redshift, OpenSearch e mais; pode também enviar dados para API Gateway.
• Buffer de dados: Permite configurar tamanho do buffer (1MB a 128MB) e intervalo (1 a 15 minutos) para controlar a velocidade de transferência de dados para S3.
• Conversão de formato: Suporta conversão de dados de JSON para formatos mais eficientes como Parquet e ORC, que são melhores para consultas.
• Backup e registro de falhas: Permite o backup de registros originais e regista falhas na transformação de dados.

Casos de Uso

• Análise de Clickstream: Coleta dados de cliques em tempo real para análise de comportamento do consumidor.
• Análise de IoT: Coleta e analisa dados de dispositivos conectados para insights em quase tempo real.
• Análise de eventos e log: Coleta logs para monitoração de aplicações, identificação de erros e detecção de causas raiz.
• Monitoramento de segurança: Envio de logs de segurança em tempo real para detectar ameaças e potenciais incidentes de segurança.

Particionamento Dinâmico

• Permite particionar dados de streaming usando chaves, facilitando consultas e localização de dados relevantes em S3.
• Os dados são armazenados em prefixos correspondentes às chaves, como ID de cliente, simplificando a organização dos dados.

Transformação de Dados

• Capability de invocar funções Lambda para transformar dados antes de enviá-los às destinções.
• Permite a integração com serviços de terceiros para enriquecer os dados, como geolocalização baseada em endereços IP.

Conclusão

• Kinesis Firehose oferece uma solução poderosa para manipulação de dados em tempo real, com aplicações em análise, monitoramento e transformação.
• A integração com outros serviços da AWS aumenta a versatilidade e eficácia em diversos cenários.

Neste quiz, você aprenderá sobre o Amazon Kinesis Data Firehose, um serviço gerenciado que captura, transforma e entrega dados em streaming de maneira confiável. Exploraremos as etapas do processamento de dados em fluxo, começando pelas fontes geradoras de dados como dispositivos móveis e produtos de click stream.