Amazon Athena

Amazon Athena

• Serviço analítico interativo e sem servidor da AWS que permite consultas de dados em escala petabyte diretamente no Amazon S3 usando SQL padrão.
• Baseado em frameworks de código aberto como Trino e Apache Spark, permitindo flexibilidade na análise de dados de diferentes formatos e fontes.

Integração com Ferramentas de BI

• Integra-se facilmente com ferramentas de Business Intelligence (BI), como Microsoft Power BI e Tableau.
• Power BI permite visualizar dados no formato familiar da interface de BI através do driver ODBC para Amazon Athena.
• Conexão com Power BI exige instalação do driver ODBC, configuração do Nome de Fonte de Dados ODBC e especificação do bucket S3 para resultados de consulta.
• No Power BI, os usuários podem optar por modos de Importação ou DirectQuery, dependendo do tamanho dos conjuntos de dados.
• Para cenários empresariais, é crucial configurar um gateway de dados local para conexões seguras.
• Outras ferramentas de BI, como Tableau e Looker, também possuem conectores que seguem princípios similares de conexão.

Gestão de Custos de Consulta no Athena

• Modelo de precificação baseado na quantidade de dados escaneados com custos a partir de $5 por terabyte.
• Estratégias para redução de custos incluem:
  • Compressão de dados para reduzir a quantidade escaneada.
  • Formatos colunares como Parquet ou ORC que permitem escaneamento de dados seletivo.
  • Particionamento de dados baseado em filtros comuns de consulta.
  • Otimização de consultas e uso de workgroups para controle de custos.
  • Reutilização de resultados de consultas para evitar verificações redundantes.

Análise Multicloud

• Permite consulta e análise de dados em diferentes plataformas de nuvem sem mover dados para o S3.
• Funcionalidade de consulta federada permite executar SQL em fontes externas, como Azure Data Lake e Google BigQuery.
• Conectores pré-construídos facilitam a consulta de dados em outras nuvens diretamente do Athena.
• Integração com ferramentas de visualização como Amazon QuickSight para criar dashboards unificados.

Conexão com Tableau

• Conectar Athena ao Tableau fortalece a análise visual, permitindo criar dashboards interativos.
• Requer a instalação do driver JDBC do Athena e configuração do endpoint no Tableau.
• Usar extrações de dados no Tableau pode melhorar o desempenho e reduzir custos de consultas.
• Particionamento de dados em S3 e uso de formatos colunares otimizam ainda mais a performance.

Visualização de Dados e Melhores Práticas

• Ferramentas como Amazon QuickSight, Tableau e Power BI integradas com Athena facilitam a visualização de dados.
• Boas práticas incluem escolha de formatos adequados, implementação de particionamento e uso de tipos de gráfico apropriados.

Otimização do Desempenho de Consultas

• Estratégias para melhorar o desempenho incluem uso de formatos de dados colunares, compressão, particionamento e otimização de tamanhos de arquivo.
• Escrita de consultas SQL eficientes através de cláusulas WHERE e seleção de colunas necessárias ajuda a limitar dados escaneados.
• Utilização de otimizador baseado em custos e análise regular dos planos de execução de consultas para identificar oportunidades de melhoria.
• Implementação de "predicate pushdown" reduz a quantidade de dados escaneados, melhorando a eficiência.### Estratégias de Economia de Custos para Data Scanning
• O modelo de preços do Amazon Athena é baseado na quantidade de dados escaneados por consulta, sendo essencial implementar estratégias para reduzir custos.
• Formatos de arquivo colunares como Apache Parquet ou ORC podem reduzir os dados escaneados em até 90%. Um exemplo: escaneando de 3 TB em formato texto para apenas 0,25 TB com Parquet.
• Utilizar compressão de dados (GZIP, LZO, SNAPPY, ZLIB) pode reduzir significativamente os dados escaneados. A compressão GZIP pode alcançar uma redução de 3:1, reduzindo custos em dois terços.
• Particionamento de dados com base em filtros comuns (ex: data, região) ajuda a escanear apenas partições relevantes, diminuindo o processamento.
• Tamanhos de arquivo ideais variam de 1 a 2 GB para balancear performance e eficiência de custo. Arquivos menores geram muitas solicitações S3, enquanto maiores podem escanear dados desnecessários.
• Consultas SQL eficientes limitam dados escaneados: usar cláusulas WHERE, selecionar colunas necessárias e utilizar JOINs apropriados minimizam o processamento.
• Reutilização de Resultados de Consultas permite economizar em consultas recorrentes, especialmente em conjuntos de dados menos alterados.
• Grupos de trabalho no Athena ajudam a controlar limites de uso de dados e rastrear despesas entre equipes.
• Implementar bucketing em grandes conjuntos de dados melhora a performance de joins e reduz a quantidade de dados escaneados.
• Limpeza regular de dados para excluir versões obsoletas diminui custos de armazenamento e consultas.
• Monitorar padrões de consulta com AWS Cost Explorer e CloudWatch para identificar consultas caras e otimizar.
• Para cargas de trabalho previsíveis, o modelo de Capacidade Provisionada pode oferecer economia para volumes de consultas consistentes.

Modelos de Preços do Athena

• Dois modelos principais: pagamento por consulta e capacidade provisionada.
• Modelo de Pagamento por Consulta: cobra $5 por terabyte (TB) escaneado, com um mínimo de 10 MB por consulta. Ideal para consultas ad-hoc.
• Modelo de Capacidade Provisionada: foca em cargas de trabalho previsíveis, cobrando com base em recursos computacionais utilizados. Preço inicial de $0.30 por hora de Unidade de Processamento de Dados (DPU).
• Uma DPU oferece 4 vCPUs e 16 GB de memória, com mínimo de 8 horas e possibilidade de escalar as DPUs a partir de 24.
• Custos adicionais incluem tarifas padrão do Amazon S3 para armazenamento e transferência de dados, e tarifas do AWS Glue Data Catalog se utilizado.

Configurando Fontes de Dados no Athena

• AWS Glue Data Catalog é a principal fonte de dados. Crie um banco de dados e utilize crawlers para mapear dados no S3.
• O Amazon S3 requer que os dados estejam em formatos suportados (ex: CSV, JSON, Parquet) e de preferência organizados de maneira lógica e particionada.
• Consultas federadas permitem acessar dados externos. Necessita da implantação de uma função Lambda e configuração de permissões adequadas.
• Conexões JDBC para bancos de dados relacionais exigem configuração de driver apropriado e função Lambda correspondente.
• Para fontes de dados personalizadas, implemente uma função Lambda que siga o SDK de Query Federation do Athena.
• Durante a configuração de fontes, especifique nome, descrição e detalhes de conexão, além de assegurar permissões IAM corretas.
• Utilize grupos de trabalho no Athena para gerenciar acessos e configurações específicas.
• Teste as configurações executando consultas para garantir conectividade e acessibilidade dos dados.
• Revise e otimize regularmente as configurações das fontes de dados para consultas eficientes e custo-efetivas.