Gestion des bases de données dans le cloud

Présentation générale d'AWS

• Le sujet de la présentation est le dimensionnement sur AWS, jusqu'à 10 millions d'utilisateurs.
• Le conférencier est Giulio Lannazzo, architecte solution chez Amazon Web Services.

Dimensionnement à grande échelle

• Plusieurs aspects sont abordés pour gérer les utilisateurs à grande échelle :
  • Gestion des utilisateurs
  • Maintien des performances (y compris plusieurs zones géographiques)
  • Détection et gestion des incidents
  • Maintien de la continuité des activités
  • Gestion de la sécurité et de la conformité
  • Développement et tests
  • Gestion des changements
  • Suivi et gestion des coûts
  • Optimisation des coûts
  • Réduction de l'empreinte carbone

Infrastructure globale d'AWS

• 34 régions et 108 zones d'disponibilité (AZ)
• Réseau d'interconnexion privé
• Plus de 600 points de présence
• Ressources AWS pour l'infrastructure globale : https://www.infrastructure.aws

Zones de disponibilité (AZ)

• Une zone de disponibilité (AZ) est un groupe de centres de données localisés dans un emplacement géographiquement distinct.
• Il y a au moins 3 AZ par région.
• Protection contre les pannes techniques.

Points de présence

• Utilisés pour héberger les services de livraison de contenu (comme Amazon CloudFront).
• Ne peuvent pas être utilisés directement.

Zones locales AWS

• Extension des régions ; situées au cœur des grandes villes et des centres industriels.

AWS Wavelength

• Extension de l'infrastructure du cloud AWS dans les stades et les lieux.
• Permet de connecter les données des capteurs et autres données directement au cloud.

AWS Outposts

• Extension de l'infrastructure AWS dans votre centre de données sur site.
• Prise en charge des applications ultra-basse latence, traitement des données locales et stockage de données locales.

Éventails et profondeur des services AWS

• Plus de 200 services complets sont disponibles.
• Les services AWS sont regroupés par catégories, telles que les analyses, les bases de données, les applications métier, la chaîne de blocs, la sécurité, l'identité et la conformité, le stockage et la commodité.
• Les domaines techniques couverts incluent les bases de données relationnelles (Amazon RDS), les bases de données NoSQL (Amazon DynamoDB), les services de calcul (Amazon EC2), les outils de développement, les services multimédia et la gestion d'applications ou services hybride.

Considérations

• Beaucoup de décisions sont réversibles, les portes à double sens. — Jeff Bezos

Comment évaluer le niveau de contrôle nécessaire

• Identifier et éviter les tâches lourdes non différenciées.
• Serverless vs. géré vs. s'occuper soi-même.
• Contrôle vs. Responsabilité

Plusieurs utilisateurs (Développeur/PoC)

• Une seule instance : pas de redondance, pas de capacité de dimensionnement des composants indépendamment.
• Plus d'un utilisateur : redondance et indépendance nécessaires pour dimensionner indépendamment des composants.
• Options de bases de données : Options gérées par l'utilisateur ou complètement gérées pour les applications de base de données.

Amazon Relational Database Service (Amazon RDS)

• Fournit une base de données relationnelle gérées.
• Gère la maintenance quotidienne, les correctifs de sécurité et les mises à jour logicielles.
• Différents type de bases de données prise en charge.

Amazon Aurora

• Compatible avec MySQL ou PostgreSQL.
• Dimensionnement automatique du stockage (jusqu'à 64 To).
• Jusqu'à 15 réplicas de lecture.
• Sauvegardes continues (incrémentielles).
• Réplication à six voies dans trois zones.

Aurora serverless v2

• Base de données auto-paramétrable à la demande, pour les applications à des charges de travail variables.
• Démarre à la demande, s'arrête lorsqu'elle n'est pas utilisée.
• Dimensionne automatiquement les ressources, sans instances à gérer.
• Payeur par seconde pour la capacité de base de données utilisée.

NoSQL

• Options pour les applications sensibles à la latence, volumineuses et avec des ingestions rapides .
• Les bases de données NoSQL sont plus fréquemment utilisées avec des besoins de performances élevées, d'innombrables interactions avec une faible latence et plusieurs exigences de données complexes.
• Applications sensibles à la latence, volumes de téraoctets de données, ingestion rapide (millisecondes), données fortement non relationnelles (graphique).

Amazon Cognito

• Gère l'autorisation et l'identité pour les applications Web et mobiles.
• Permet aux développeurs de se concentrer sur les spécificités de leur application.

Dimensionnement horizontal

• Avec le dimensionnement horizontal, le nombre d'instances augmente pour augmenter la capacité de traitement.
• Cela peut entraîner une complexité supplémentaire, en particulier avec les charges ou les opérations très variables.
• Cette croissance est associée aux coûts et à la capacité de performance.

Dimensionnement vertical

• Le dimensionnement vertical consiste à augmenter les ressources d'une instance unique afin d'augmenter la capacité de traitement.
• Une seule instance peut atteindre une limite, entraînant une complexité, des coûts élevés et une absence de redondance et de tolérance aux pannes.

Equilibrage de charge

• Application Load Balancer : haute disponibilité, vérifications de santé, adhérence aux sessions, routage basé sur le contenu, applications basées sur les conteneurs, WebSockets, HTTP/2.
• Network Load Balancer : haute disponibilité, IP 1-65 535 vérifications de santé, routage basé sur le contenu.

Amélioration de la disponibilité de la base de données

• Placer les instances de la base de données et les réplicas dans plusieurs zones de disponibilité (multi-AZ) pour une haute disponibilité et une meilleure tolérance aux pannes.

Gestion de la cohérence des données

• Avec la réplication de données dans des régions différentes, il est primordial de garantir la cohérence des données et la capacité de récupérer après les pannes de réseau.

Déplacer la charge

• Redistribuer la charge de travail entre les zones ou les ressources pour optimiser les performances globales de l'infrastructure et atténuer les charges de travail.
• Utilisation d'Amazon CloudFront pour accélérer la livraison du contenu statique et pour réduire la charge de travail sur les serveurs d'origine.

Amazon S3

• Stockage objet haute durabilité, adapté aux contenus statiques, dimensionnable à l'infini, objets pouvant atteindre 5 To, chiffrement au repos et en transit.

Amazon CloudFront

• Mise en cache du contenu pour accélérer la livraison.
• Contenu dynamique et statique.
• Streaming vidéo.
• Certificats SSL personnalisés.
• Temps de vie court des contenus (TTL.)
• Optimisé pour AWS.

CDN

• Les CDN livrent le contenu aux utilisateurs de manière efficace et réduisent la charge sur les serveurs d'origine en utilisant la mise en cache.
• Les contenus statiques (images, vidéos, fichiers CSS et JS), comme les articles tendance, les pages produits et le contenu des articles, sont mis en cache.

Amazon ElastiCache

• Cache Memcached ou Redis géré.
• Scalabilité d'un à plusieurs nœuds.
• Auto-réparation (remplace les instances défectueuses).
• Débits millisecondes uniques (généralement).
• Déploiements multi-AZ pour la disponibilité.
• Fonctionnement de la mise en cache : lecture du cache, écriture dans le cache, lecture de la base de données.

Amazon DynamoDB

• Base de données NoSQL gérées.
• Options de tarification prévisionnelle et à la demande.
• Hautes performances et tolérance aux pannes.
• Flux et déclencheurs.
• Tables globales (multi-régions).

Optimisation de votre application

• Optimiser les couches web et app.
• Passer à l'architecture orientée service pour améliorer la mise à l'échelle, la disponibilité et la maintenance.
• Services séparés, traitement séparé et mise à l'échelle indépendante des composants.
• Contrats de service pour définir les interfaces.

Solutions de déploiement d'applications

• Amazon ECS, AWS Lambda et Amazon EKS prennent en charge des conteneurs et des environnements serveur sans serveur pour le dimensionnement des applications.

Couplage lâche

• Composants indépendants.
• Traitement decouplé.
• Intégration de la redondance et de la capacité de dimensionnement.

Architecture microservices

• Décomposer l'application monolithique en services individuels (SOA).
• L'intégration d'un cadre SOA améliore la modularité, la maintenabilité, la scalabilité et la reprise après sinistre.

AWS X-Ray

• Identifier les goulots d'étranglement et les erreurs de performances.
• Identifier les problèmes pour les services spécifiques de votre application.
• Visualiser le graphique d'appel de service.

Plus de 1 million d'utilisateurs

• Ajuster les paramètres finaux pour optimiser la solution.
• Passage multirégions pour la redondance.
• Optimiser les performances de la base de données.
• Utilisation d'outils internes pour améliorer les performances.

Bases de données personnalisées

• Utiliser des bases de données spécifiques à partir des besoins fondamentaux de fonctions et exigences de données pour optimiser la performances et l'efficacité.
• Types de bases de données avec fonction spécifiques.

Problèmes de base de données

• Fédérations : diviser en bases de données multiples par fonctions.
• Partitionnement : diviser les jeux de données sur plusieurs serveurs.
• Bases de données spécifiques : déplacer certaines fonctionnalités vers des bases de données NoSQL ou graphiques.
• Multirégions : réplication interrégions, éventuellement avec multi-masters.

Revue rapide

• Zones de disponibilité (Multi-AZ)
• Services de dimensionnement automatique
• Réplication et redondance à chaque niveau
• Débuter avec le SQL.
• Mettre en cache les données, à l'intérieur et à l'extérieur de votre infrastructure
• Outils d'automatisation pour l'infrastructure.
• Bonnes métriques, surveillance et journalisation.
• Diviser les niveaux en services individuels (SOA).
• Dimensionnement automatique (Auto Scaling) une fois qu'on est prêt.
• Ne pas réinventer la roue.
• Déplacer à NoSQL si cela a du sens.

Ressources pour les étudiants

• Services AWS gratuits.
• Expériences d'apprentissage en ligne innovantes.
• Cours gratuits.

Remerciements

• Remerciements au conférencier, Giulio Lannazzo.

Enquête sur la session

• Demande aux participants de remplir un sondage sur la session.