Redes e Processadores em Computação

Processadores

Processadores são componentes fundamentais para processamento de dados.
A memória é outro componente crucial em computadores.

Elementos de Conexão

Conceitos Básicos de Conectividade:
- Grau, diâmetro e largura de bissecção são parâmetros para avaliar o desempenho de uma rede de interconexão.
- Grau: Número de conexões diretas que um nó possui.
- Diâmetro: Maior distância mínima em número de saltos entre quaisquer dois nós da rede.
- Largura de Bissecção: Mínimo de conexões que precisam ser cortadas para dividir a rede em duas metades iguais (ou o mais próximo possível).
- A importância destes parâmetros está no desempenho da rede. Grau maior permite maior concorrência, diâmetro menor reduz a latência e largura maior permite maior vazão de dados.
- Exemplos de redes estáticas pequenas podem ser desenhados e seus grau, diâmetro e largura de bissecção calculados.
Redes Estáticas vs. Dinâmicas:
- Redes estáticas têm conexões fixas entre nós (ex: anel, malha, árvore, hipercubo). Vantagens: Menor latência, mais fáceis de implementar. Desvantagens: Menos flexíveis e escalabilidade limitada.
- Redes dinâmicas têm conexões que podem mudar com o tempo (ex: redes crossbar, redes multiestágios). Vantagens: Maior flexibilidade e escalabilidade. Desvantagens: Maior latência e complexidade de gerenciamento.
- Exemplos de topologias podem ser fornecidos para cada tipo. As redes são adequadas para certas aplicações, dependendo da flexibilidade e velocidade necessárias.
Função de Roteamento:
- Função de roteamento determina o caminho que uma mensagem deve seguir na rede de interconexão para chegar ao destino.
- Tem papel fundamental em redes de interconexão, garantindo o tráfego correto de mensagens.
- Um exemplo de função simples de roteamento pode ser apresentado.
Redes de Alta Velocidade e Latência:
- Aspectos para alta velocidade: Baixa latência e alta vazão (bandwidth).
- Latência: Tempo necessário para uma mensagem viajar da origem ao destino. Latência alta prejudica o desempenho, principalmente em aplicações paralelas.
- RDMA (Remote Direct Memory Access) ajuda a reduzir a latência, permitindo que um processo acesse diretamente a memória de outro processo sem intervenção do sistema operacional.

RDMA e Protocolos

Vantagens do RDMA: Baixa latência, alta vazão, baixo uso de CPU.
Diferenças entre RoCE, iWARP e InfiniBand em relação ao RDMA.

Tecnologias de Interconexão

Comparação de desempenho, custo e aplicabilidade de diferentes tecnologias (Ethernet, Infiniband, Omni-Path, Myrinet).

Topologia Clos (Spine-Leaf)

Descrever a topologia Clos (spine-leaf)
Explicar como contribui para a redução do diâmetro da rede.
Vantagens desta topologia em relação a outras topologias de redes.

Tendências em Redes de Alta Velocidade

Tendências e desafios no desenvolvimento de redes de interconexão de alta velocidade para HPC.
Discutir o papel de tecnologias emergentes, como redes ópticas e chips de interconexão, no futuro da computação de alto desempenho.

Condições de Paralelismo

Classificação de dependências de dados (fluxo, antidependência, saída).
Aplicação das Condições de Bernstein.
Dependências de controle e paralelização de programas.
Granulação e comunicação, influenciando a escolha do tamanho do grão.
Balanceamento de paralelismo.
Identificação de dependências em laços e como impedirem ou facilitar paralelização de um programa.

Paralelizar Programas

Atuação do compilador e programador na paralelização.
Diferenças entre a paralelização realizada pelo compilador e pelo programador.
Arquiteturas de memória compartilhada e distribuída e seus relacionamentos com diferentes tipos de paralelização.
Exemplo de diretiva de compilador.
Comunicação, tamanho do grão e grau de paralelismo.
Particionamento de matrizes (por blocos) para otimização de computação paralela.
Modelos de particionamento para interação entre processos paralelos (exemplos incluídos).
"Embarrassingly Parallel": Conceito e o que significa.

Avaliação de Desempenho - Análise

Definição e fatores subjetivos em análise de desempenho.
Métricas relevantes além do tempo de execução.
Desempenho e paralelismo: fatores degradando o desempenho em sistemas paralelos (overhead de comunicação, sincronização e trechos não paralelizáveis).
Escalabilidade em sistemas paralelos.
Definição, importância e tipos de "speedup" (teórico, medido) e limites da "Lei de Amdahl" e "Lei de Gustafson".
Benchmarking e predição de desempenho (abordagens de benchmarks e quando a predição é necessária).
Avaliação do speedup.

Avaliação de Desempenho - Otimização

Otimização de código: Definição e objetivos, quem e como otimizar (pelo compilador ou programador)
Otimizações pelo compilador.
Técnicas de otimização pelo programador além das do compilador.
Gargalos de desempenho: Definição e exemplos (linguagem, funções, laços).
Gargalos de linguagem e como evitar problemas no código (ex: alocação dinâmica e estruturas dinâmicas).