Tema 9: Centros de Datos y Arquitecturas de Red de Altas Prestaciones PDF

Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Módulo 5: Redes de ordenadores - Fundamentos de Redes IP Tema 9: Centros de datos y arquitecturas de red de altas...

Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Módulo 5: Redes de ordenadores - Fundamentos de Redes IP Tema 9: Centros de datos y arquitecturas de red de altas prestaciones David Fernández Curso 2024/25 Tema 9: Centros de datos 1  Contenido Introducción a los Centros de Datos Componentes Normativas Ejemplos Arquitecturas de red en Centros de Datos Leaf & Spine VXLAN Tema 9: Centros de datos 2  Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Introducción Tema 9: Centros de datos 3  Aplicaciones telemáticas actuales Características: Gran complejidad Predominio de aplicaciones con tecnologías web Gran número de usuarios y de cantidad de información Las comunicaciones son básicas Los usuarios requieren alta calidad: Comportamiento eficiente, fiable y seguro Prestaciones suficientes Necesidad de grandes infraestructuras para darles soporte: Redes de comunicaciones Centros de datos Tema 9: Centros de datos 4  Centro de Datos (CdD) Definiciones: “A data center is a facility used to house computer systems and associated components, such as telecommunications and storage systems. It generally includes redundant or backup power supplies, redundant data communications connections, environmental controls (e.g., air conditioning, fire suppression) and security devices.” (Wikipedia) “A data center is a special facility conceived to house, manage and support computing resources that are considered critical for one or more organizations.” (Data Center Virt. Fundamentals, Cisco Press) También llamados Centros de Proceso de Datos (CPD) Tema 9: Centros de datos 5  Necesidad de Centros de Datos Múltiples razones: Las aplicaciones demandan cada vez mayor cantidad de recursos de computación, red y almacenamiento Creciente tendencia a mover aplicaciones y equipamiento desde centros de datos corporativos de tamaño pequeño/medio a grandes centros de datos Los centros de datos proporcionan: Mayor escalabilidad Economía de escala Mayor fiabilidad Mejor conectividad con proveedores Facilidad de gestión Tema 9: Centros de datos 6  Evolución TI LAN LAN Router Router WAN Centro de Datos Clientes Clientes Clientes Servidor Router Servidor Router Router Servidores WAN Clientes Servidor Router Router LAN Segmentación basada en grupos de trabajo Clientes Velocidad WAN limitada Clientes Servicios residen en servidores cercanos a los clientes Centralización de servidores Mejoras en la velocidad de la WAN permiten el acceso remoto a servidores centralizados Centros de datos privados de una organización o compartidos entre varias Tema 9: Centros de datos 7  Ventajas CdD compartidos Tema 9: Centros de datos 8  Computación en la nube (Cloud Computing) No existe consenso en su definición Según el NIST: “Cloud computing is a model for enabling ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction” La computación en nube proporciona las TI como un servicio más (computing as a utility) Tema 9: Centros de datos 9  Computación en la nube: Características Servicio bajo demanda (autoservicio) Servicios proporcionados automáticamente sin interacción humana con el proveedor Acceso a través de la red Desde múltiples tipos de dispositivos Recursos comunes (Resource pooling) Proporcionados para dar servicio a múltiples usuarios simultáneamente (multi- tenant) Elasticidad rápida Adaptación rápida a la demanda Servicio medido Uso de recursos monitorizado, controlado e informado, tanto al cliente como al proveedor. Permite el pago por uso (pay-per-use) Tema 9: Centros de datos 10  Modelos de Servicio Infraestructure as a Service (IaaS) Platform as a Service (PaaS) Software as a Service (SaaS) Fuente: Stallings, “Foundations of Modern Networking: SDN, NFV, QoE, IoT, and Cloud” Tema 9: Centros de datos 11  Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Componentes de un Centro de Datos Tema 9: Centros de datos 12  Componentes de un CdD Equipos: Servidores, almacenamiento, nodos de comunicaciones, etc. Infraestructuras básicas para el funcionamiento de los equipos: Electricidad, refrigeración, sistemas antiincendios, etc. El funcionamiento correcto de un CdD requiere una inversión equilibrada en ambos aspectos Tema 9: Centros de datos 13  Elementos de un CdD (I) Servidores, conmutadores y racks Servidor de 1U Conjunto de racks de servidores con sus conmutadores Ethernet conectados a un conmutador central Rack de 19” con múltiples servidores y dos conmutadores Ethernet Tema 9: Centros de datos 14  Elementos de un CdD (II) Servidores “blade”: Diseño modular: chasis + placas procesadoras (blade servers) Reducen espacio y consumo de energía Fuentes de alimentación y otros componentes compartidos (ej: switches Ethernet) Tema 9: Centros de datos 15  Uso extensivo de Virtualización Tema 9: Centros de datos 16  Virtualización de Servidores Ventajas principal: ahorro económico en equipos, energía, etc. Tema 9: Centros de datos 17  Elementos de un CdD (III) Equipos de comunicaciones: Nivel 2: Conmutadores (switches) Nivel 3: Encaminadores (routers) Nivel >= 4: Firewalls, Balanceadores de tráfico Costosos debido a las velocidades de proceso (10 Gbps) Fuente: Wikipedia Fuente: citrix.com Tema 9: Centros de datos 18  Balanceo de Tráfico Objetivo: distribuir el tráfico entre múltiples recursos de computación tales como ordenadores, clusters, enlaces, etc. para optimizar su uso, maximizar el throughput, minimizar el tiempo de respuesta y evitar congestión. Balanceamos entre: Internet Intra-CdD: recursos replicados dentro de un CdD Inter-CdD: servicios replicados en varios CdD Técnicas: Round-robin DNS LSNAT Data Túneles Center Direct routing Tema 9: Centros de datos 19  Servidores Virtuales Servidor virtual construido mediante balanceadores de tráfico y granjas de servidores heterogéneos Direcciones IP “reales” (ipX) Dirección IP “virtual” (vip) Servidores Reales (Server Farm) LB vip Internet Clientes Servidor Virtual Se oculta la complejidad a los clientes: servidor único desde su punto de vista Tema 9: Centros de datos 20  Balanceo de carga basado en DNS Caso de estudio: ¿A qué servidor accedo cuando voy a http://twitter.com? Desde UPM: Algoritmo Round-robin en orden de respuestas Primera consulta: El cliente debe utilizar la primera de # host -t A twitter.com las respuestas y, en caso de fallo, twitter.com has address 199.16.156.230 probar con las demás en el orden que twitter.com has address 199.16.156.6 le ha llegado: Distribución de carga twitter.com has address 199.16.156.102 Tolerancia a fallos Segunda consulta: # host -t A twitter.com twitter.com has address 199.16.156.102 LB1 twitter.com has address 199.16.156.6 twitter.com has address 199.16.156.38 199.16.156.230 Tercera consulta: LB2 Data # host -t A twitter.com 199.16.156.6 Center twitter.com has address 199.16.156.38 twitter.com has address 199.16.156.102 twitter.com has address 199.16.156.6 LB3 199.16.156.102 Tema 9: Centros de datos 21  Caso de estudio: Twitter ¿Y si consulto el DNS desde otras localizaciones? Looking glasses: permiten consultar información sobre la red (dns, rutas, ping, traceroutes, etc.) Ejemplo: servicio REST basado en JSON para consulta del DNS desde localizaciones remotas, http://www.dns-lg.com/ $ # curl www.dns-lg.com/cn02/twitter.com/a # curl www.dns-lg.com/ca01/twitter.com/a { "question": [ { "question": [ { "name": "twitter.com.",... "type": "A", ], "class": "IN" "answer": [ } { "name": "twitter.com.", ], "answer": [... Consulta desde { "name": "twitter.com.", "rdata": "199.59.149.230" un servidor en "type": "A", }, China (cn02) del "class": "IN", { "name": "twitter.com.", Consulta desde registro A "ttl": 27389,... un servidor en correspondiente "rdlength": 4, "rdata": "199.59.150.7" Canada (ca01) a twitter.com "rdata": "59.24.3.173" del registro A }, } { "name": "twitter.com.", correspondiente ] a twitter.com }... "rdata": "199.59.150.39" } Tema 9: Centros de datos 22  Caso de estudio: Twitter ¿Dónde está el servidor al que me conecto? Servicios de geolocalización de direcciones IP Ej: servicio REST gratuito freegeoip.net Formato consulta: freegeoip.net/{format}/{ip_or_hostname} Localización de servidores Twitter: Desde España (199.16.156.6): # curl freegeoip.net/csv/199.16.156.6 "199.16.156.6","US","United States","CA","California","San Francisco","94107","37.7697","-122.3933","807","415” Desde China (59.24.3.173): # curl freegeoip.net/csv/59.24.3.173 "59.24.3.173","KR","Korea, Republic of","","","","","37.5700","126.9800","",”” Desde Canada (199.59.150.7): # curl freegeoip.net/csv/199.59.150.7 "199.59.150.7","US","United States","CA","California","San Francisco","94107","37.7697","-122.3933","807","415" Tema 9: Centros de datos 23  Caso de estudio: Twitter Data Center 2 Data Center 1 Tema 9: Centros de datos 24  Consultas al DNS desde múltiples localizaciones https://www.whatsmydns.net/ Tema 9: Centros de datos 25  Elementos de un CdD (IV) Almacenamiento: Discos locales (Direct Attached Storage, DAS) Servidores de discos externos (Network Attached Storage, NAS) Storage Area Networks (SAN) Tema 9: Centros de datos 26  Estructura física de un CdD Tema 9: Centros de datos 27  Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Normativas sobre Centros de Datos Tema 9: Centros de datos 28  Normativa sobre Centros de Datos TIA 942, Telecommunications Infrastructure Standard for Data Centers estándar publicado por la Telecomunications Industry Association (TIA) en abril de 2005 serie de guías y pautas para el diseño y construcción de CPDs Trata sobre: Data center telecommunications spaces and related topologies Data center cabling systems Data center cabling pathways Data center redundancy Tema 9: Centros de datos 29  Tipos de Centros de Datos TIER I Data center, Basic: disponibilidad del 99.671 (máx. 28.82 horas/año sin servicio) dispone de climatización y una adecuada distribución de líneas de alimentación. No es necesario que disponga de suelo técnico, SAI o grupo electrógeno. El fallo o mantenimiento del servicio causa la detención del mismo. Tema 9: Centros de datos 30  Tipos de Centros de Datos TIER II Data center, Redundant Components: disponibilidad del 99.741 (máx. 22.68 horas/año sin servicio) Todos los componentes están redundados (duplicados). Se dispone de suelo técnico, SAI y grupos electrógeno, pero únicamente tiene una acometida de alimentación. El mantenimiento no requiere detención del servicio (salvo que implique la acometida eléctrica). Tema 9: Centros de datos 31  Tipos de Centros de Datos TIER III Data center, Concurrently Maintainable: disponibilidad del 99.982 (máx. 1:57 horas/año sin servicio) TIER II + línea de distribución de alimentación adicional, aunque únicamente una de ellas está activa. Cualquier mantenimiento no implica la detención del servicio. TIER IV Data center, Fault Tolerant: disponibilidad del 99.995% (máx. 52.56 minutos/año sin servicio TIER III + múltiples líneas de alimentación activas y ambas con componentes redundados para cada línea Tema 9: Centros de datos 32  Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Ejemplos de centros de datos Tema 9: Centros de datos 33  Ejemplos de Centros de Datos Centros de datos de Google: https://www.google.com/about/datacenters/ Fotografías: http://www.google.com/about/datacenters/gallery/ Vídeo y Street View: http://www.google.com/about/datacenters/inside/streetview/ Muchos ejemplos interesantes en: Douglas Alger, “The Art of the Data Center: A Look Inside the World's Most Innovative and Compelling Computing Environments”, Prentice Hall 2012. Disponible en Safari: http://www.etsit.upm.es/biblioteca/recursos- electronicos.html Tema 9: Centros de datos 34  CeSViMa Centro de Supercomputación y Visualización de Madrid (UPM) Aloja el superordenador Magerit-3 Clúster formado por 72 nodos de cómputo Lenovo ThinkSystem SD530, cada uno con 2 procesadores Intel Xeon Gold 6230 (20 cores, 2.1 GHz) y 192 GB de RAM Potencia: 370.49 TFLOPS Dos cabinas IBM DCS3700 con 60 discos de 2 TB cada una Sistema operativo CentOS Recursos totales Magerit-3: Situado en campus Montegancedo Procesadores: 136 Utilizado para cálculos masivos de proyectos Núcleos: 2.720 científicos: Memoria: 13,06 TB http://www.cesvima.upm.es/projects.html Almacenamiento: 240 TB Tema 9: Centros de datos 35  CeSViMa Consumo eléctrico vs Potencia de cómputo Tema 9: Centros de datos 36  Barcelona Supercomputing Center ▪ MareNostrum 3: 48,896 Intel Sandy Bridge processors in 3,056 nodes, including 84 Xeon Phi 5110P in 42 nodes, with more than 115 TB of main memory and 2 PB of GPFS disk storage. Número 29 en el TOP500 Tema 9: Centros de datos 37  Catedral Uspenski Centro de Datos bajo una catedral en Helsinki, Finlandia, en un antiguo refugio antiaéreo. Da calefacción a 500 hogares y empresas. Tema 9: Centros de datos 38  Centros de datos en contenedores CdD autocontenidos, modulares y transportables Ventaja: despliegue rápido de CdD, tanto temporales como permanentes Fuente: www.areadata.com.ar Tema 9: Centros de datos 39  Curiosidades Primeros servidores de Google (http://goo.gl/OuB28r) Tema 9: Centros de datos 40  Curiosidades https://singularityhub.com/2020/09/17/microsoft-had-a-crazy-idea-to-put-servers-under-water-and-it-totally-worked/ Tema 9: Centros de datos 41  Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Arquitecturas de red en centros de datos Tema 9: Centros de datos 42  Red típica de un CdD ISP Otros CdDs ISP CdDs Servidores conectados a Top of the Rack (ToR) Switches mediante uno o Red nivel 3 varios interfaces GE Tráfico Norte-Sur ToR switch típico: 48 puertos GE para Red servidores y 4 puertos 10 GE para Rack 1 ToR Switch Agregación conexión a red de agregación nivel 2 SN End of the Row (EoR) switches: primer … ToRSwitc h ToRSwitc h ToRSwitc h ToRSwitc h nivel de agregación al que se conectan S12 S11 SN S12 S11 … SN S12 S11 … SN S12 S11 … SN S12 S11 … los ToR S10 … S10 S10 S10 S10 Tecnología mayoritaria: Ethernet S9 S9 S9 S9 S8 S8 S9 S8 S8 S7 S7 S7 S7 S6 S6 S6 S6 S8 S5 S5 S5 S5 S4 S4 S4 S4 S3 S3 S3 S3 S7 Otras tecnologías: Infiniband S2 S2 S2 S2 S1 S1 S1 S1 S6 S5 S4 Racks Servidores S3 S2 S1 Tráfico Este-Oeste Tema 9: Centros de datos 43  Ejemplo de Red de un CdD Arquitectura clásica de tres niveles Fuente: Data Center Network Architectures. Juha Salo, Aalto University School of Science and Technology Tema 9: Centros de datos 44  Problemas Arquitecturas Clásicas Ratio de sobresubscripción (oversubscription) de una arquitectura jerárquica: razón entre el ancho de banda disponible en el acceso y en el núcleo. Ejemplo: En arquitecturas clásicas puede llegar a valores de 250:1 Cuello de botella en la comunicación entre servidores Diferencias de ancho de banda para comunicaciones entre servidores cercanos y lejanos en la jerarquía Equipos del núcleo muy costosos Tema 9: Centros de datos 45  Problemas Arquitecturas Clásicas (II) Escalabilidad: Tablas de encaminamiento switches -> Una entrada por dirección MAC Soluciones estándar de nivel 2: Limite switches actuales -> 32/64.000 entradas Problemas Ejemplo: Microsoft Datacenter Chicago Interfaces Ethernet 1G, 10G… 405.000 servidores, a 10 VM por servidor ->¡¡¡ 4M en CdD de direcciones MAC a gestionar !!! Switches Ethernet: autoconfiguración basada en aprendizaje hacia atrás Encaminamiento: Uso de caminos únicos: Spanning Tree (ST) elimina Encaminamiento basado en Spanning Tree los caminos redundantes Virtualización basada en VLANes Uso de caminos no óptimos: ST calcula los caminos óptimos desde el punto de vista de la raíz (root) VLANes: Límite del número de VLANes -> 4096 (12 bits) Insuficiente para grandes CdD y servicios multi- tenancy Tema 9: Centros de datos 46  Algunas mejoras propuestas Datacenter Fabrics Nuevas topologías de red Nuevas Extensiones: VXLAN Tema 9: Centros de datos 47  Datacenter Fabrics Idea: gestión integrada de todos los switches de un CdD El gestor solo ve un gran equipo con cientos o miles de puertos La interconexión entre equipos la gestiona un sistema operativo distribuido basado en protocolos de encaminamiento avanzados como SPF o TRILL Ofrecen encaminamiento óptimo, balanceo de carga o multicast Se abandona el Spanning Tree (por fin!) Por ahora, soluciones propietarias (CISCO FabricPath, Juniper Qfabric, etc.), aunque hay esfuerzos de estandarización Tema 9: Centros de datos 48  Datacenter Fabrics (II) Ejemplo: Juniper QFabric Switches en racks (ToR, EoR) Ej: QFX 3500, 1U 48 x 10GbE (servers) 4 x 40GbE (uplink) Sistema Operativo (routing engine) Switches centrales 21 U, 8 slots, 16 x 40GbE por slot Matriz de conmutación de Clos con 3 etapas Alta redundancia (hasta 10 Tbps) y ancho de banda en red de interconexión Tema 9: Centros de datos 49  Arquitectura Leaf & Spine Fuente: https://www.hpe.com/es/es/what-is/spine-leaf-architecture.html Tema 9: Centros de datos 50  Balanceo de tráfico IP Equal-cost multi-path routing (ECMP): Distribución del tráfico entre caminos de igual coste Típicamente utilizado en arquitecturas Leaf & Spine o similares Dos formas principales: Balanceo por paquete Los paquetes se distribuyen entre los distintos caminos mediante algoritmos como Round Robin Balanceo por flujo Los paquetes se clasifican en flujos en función de: Dirección origen, dirección destino, puerto origen, puerto destino, protocolo (TCP/UDP) Los flujos se distribuyen entre los distintos caminos Tema 9: Centros de datos 51  Topologías Leaf-Spine Spines Leafs Fuente: Introducing data center fabric, the next-generation Facebook data center network. https://goo.gl/zaJfri Ver vídeo: “Introduction to Facebook's data center fabric”. https://goo.gl/FDO6t1 Tema 9: Centros de datos 52  VXLAN Virtual eXtensible Local Area Network (VXLAN) es una propuesta del IEEE para: Extender el espacio de identificadores de VLAN (24 bits adicionales) Encapsulación de tramas de nivel 2 sobre UDP para interconectar VMs a través de redes IP Cabecera IP Cab. Cabecera Trama MAC Original UDP VXLAN Tema 9: Centros de datos 53  Escenario VXLAN Fuente: VXLAN Emulex White Paper. www.emulex.com Tema 9: Centros de datos 54  Máster de Formación Permanente en Ingeniería de Producción y Explotación de Contenidos Módulo 5: Redes de ordenadores - Fundamentos de Redes IP Tema 9: Centros de datos y arquitecturas de red de altas prestaciones David Fernández Curso 2024/25 Tema 9: Centros de datos 55