Parcours Consultants - Marché GenAI Conversationnel et RAG PDF

Économie et Marché de l'IA 1 Digital Services Introduction L'IA générative transforme les industries technologiques et l'économie globale Impact sur divers secteurs Perspectives du marché de l'IA générative Potentiel économique Tendances en matière d'investisseme...

Économie et Marché de l'IA 1 Digital Services Introduction L'IA générative transforme les industries technologiques et l'économie globale Impact sur divers secteurs Perspectives du marché de l'IA générative Potentiel économique Tendances en matière d'investissements et de financement Domaine en pleine expansion Orange Restricted  Perception de l’arrivée de l’IA générative Quelle est votre perception générale de l’arrivée de l’IA générative pour votre métier / vos processus internes ? Source: Observatoire de conjuncture 3 Orange Restricted PAC / NUMEUM S2 2023  Une maturité qu’il faut développer Quels types de projets sont aujourd’hui demandés auprès des ESN pour l’IA générative? Source: Observatoire de conjuncture 4 Orange Restricted PAC / NUMEUM S2 2023  Marché de l’IA générative en France EVOLUTION DE LA DEPENSE GEN AI RÉPARTITION DES DÉPENSES ENTRE 2023 ET 2028 (FRANCE) DANS L’IA EN FRANCE 2028 4 167 M€ 2024 546 M€ 23/24 2023 +300% 137M€ Source: PAC 2024 5 Orange Restricted  Premiers cas d’usage de l’IA générative Pour quels métiers/processus de votre entreprise utilisez-vous ou allez-vous utiliser de l’IA générative ? Source: Observatoire de conjuncture 6 Orange Restricted PAC / NUMEUM S2 2023 A retenir IA generative : croissance Un marché des services cloud en forte fulgurante et multiples cas croissance et tiré par l’innovation d’usages Moins de 30% des workloads applicatifs 83% des grandes entreprises ayant sont aujourd’hui dans le cloud déjà adopté des actions ou POC Marché des services cloud attendu en Les cas d’usages sont multiples tant hausse de 12.9% sur 23/27 pour les fonctions transverses que Cloud tire par l’innovation : solutions métiers SaaS, outils (IA..), solutions verticalisées Les problématiques de sécurité entrainent le succès des solutions “sur mesure” et sécurisées Le cloud résolument hybride avec un appétit pour les solutions “de Des entreprises qui ont besoin d’un confiance” accompagnement La croissance est tirée par le cloud public. Manque de compétences sur certains Néanmoins, 71% des entreprises ne sujets en forte croissance (data, IA, mettront jamais certaines données sur le sécurité…) cloud public Intérêt pour l’expérience acquise par Intérêt croissant pour les solutions les ESN souveraines ou “de confiance” pour Des métiers de plus en plus raisons réglementaires, sécuritaire et demandeurs et impliqués. Objectif de stratégique. La réglementation peut être briser les silos IT / métiers vue comme une opportunité 7 Orange Restricted Intelligence Artificielle Générative (IA générative) 8 Digital Services Capacités de l’IA générative Utilise des modèles de machine learning Des réseaux de neurones profonds complexes Des modèles de type Transformers Des encodeurs et des décodeurs Apprend à partir d'une grande quantité de données Génère des outputs inspirés par ces données Potentiel de révolutionner la création de contenu Automatisation de la production Personnalisation à une échelle inimaginable L’IA générative ne produit pas de raisonnement Orange Restricted Capacités de l’IA générative Entrée Espace vectoriel latent (de très grande dimension) Sortie Orange Restricted  Marketing Production automatique de descriptions de Utilisation produits, de contenus pour des sites web et de campagnes publicitaires personnalisées dans Adaptation en temps réel aux réactions des consommateurs Différents Développement logiciel Secteurs: Utilisation d'outils comme GitHub Copilot pour aider les développeurs à écrire du code Marketing plus rapidement Suggestion de lignes de code et de fonctions entières basées sur le contexte du projet Orange Restricted Utilisation dans Différents Secteurs: Création de contenu multimédia Création de contenu multimédia Outils capables de générer des images et des vidéos de haute qualité Santé et sciences de la vie Aide à la modélisation de nouvelles molécules pour les médicaments Accélère le processus de découverte de médicaments Orange Restricted Impact sur l'Innovation et la Transformation des Processus d'Affaires Transformation des processus opérationnels Automatisation des tâches répétitives Prise de décision plus rapide et plus précise grâce à l'analyse avancée des informations Concentration sur des tâches à plus forte valeur ajoutée Favorise l'innovation Améliore l'efficacité opérationnelle Orange Restricted Adoption et Implications Technologiques de l'IA Générative 14 Digital Services Introduction Croissance rapide de l'adoption de l'IA générative dans divers secteurs d'activité et transformation des flux de travail Augmentation de la productivité et de l'efficacité opérationnelle des entreprises : Augmentation de productivité faible sur un grand nombre de personnes (ex Copilot) Augmentation de productivité forte sur un petit nombre de personnes (ex Solutalk) Des défis à surmonter pour intégrer efficacement cette technologie Obstacles à surmonter pour intégrer l'IA générative dans les opérations quotidiennes Orange Restricted Intégration de l’IA générative dans les flux de travail d’entreprise Identification des processus pouvant bénéficier de l'automatisation ou de l'amélioration grâce à la génération de contenu Service client : automatisation des réponses aux questions fréquentes Services juridiques et RH : création d’annonces, de contrats, de fiches de postes Secteurs marketing et créatifs : génération de contenus créatifs initiaux Orange Restricted  Pour les DSI et services techniques, les outils d'IA générative tels que GitHub Copilot peuvent réduire le temps nécessaire à la rédaction de documents et à la programmation. Impact sur la Les entreprises observent une réduction productivité et significative du temps passé à coder grâce à des suggestions automatisées de code l’efficacité pertinent. opérationnelle Dans le domaine de la recherche et du développement, l'IA générative accélère la synthèse de recherches existantes et de l’état de l’art. Cela améliore la vitesse et la qualité de l'innovation. Orange Restricted Barrières à l’adoption et solutions proposées: Compréhension limitée de la technologie Compréhension limitée de la technologie parmi les non- spécialistes Peut engendrer une résistance au changement Peut engendrer une utilization inadéquate Solution: Investir dans des programmes de formation Éduquer le personnel sur les avantages et les utilisations de l'IA générative Orange Restricted Barrières à l’adoption et solutions proposées: Sécurité des données et confidentialité Questions de sécurité des données et de confidentialité L'IA générative nécessite un accès à de grandes quantités de données et de documents Mesures robustes pour protéger les données Conformité aux réglementations en vigueur, telles que le RGPD en Europe Orange Restricted Barrières à l’adoption et solutions proposées: Coûts initiaux d'implémentation et de maintenance Les coûts initiaux d'implémentation et de maintenance peuvent être prohibitifs pour certaines organisations Des modèles de service basés sur le cloud sont proposés par les fournisseurs, mais ils peuvent devenir couteux avec un grand nombre d’utilisateurs Permet aux entreprises de tous les secteurs et de toutes tailles d'accéder à cette technologie Pas besoin d'investissements initiaux élevés Orange Restricted Confiance et Éthique de l'IA 21 Digital Services  Importance de la Transparence, de l'Éthique et de la Régulation La transparence et l'éthique sont fondamentales pour bâtir la confiance entre les utilisateurs et les technologies d'IA générative Les entreprises et les développeurs doivent s'assurer que les IA sont utilisées de manière éthique Les opérations doivent être transparentes pour éviter les abus et garantir une acceptation publique Les réglementations jouent un rôle essentiel en définissant des normes claires pour l'utilisation éthique de l'IA Des cadres comme l'AI Act proposé par l'Union européenne visent à catégoriser les risques associés aux différentes utilisations de l'IA Imposer des exigences strictes pour les applications à haut risque Assurer que les technologies d'IA sont sécuritaires, équitables et non discriminatoires Orange Restricted Dilemmes Éthiques et Régulation de l’IA Générative Les dilemmes éthiques sont fréquents dans l'utilisation de l'IA générative Surveillance et vie privée Recrutement et biais discriminatoires Création de contenu et droits d'auteur Il est nécessaire de mettre en place une régulation Prendre en compte les implications sociales, éthiques et légales Développer des systèmes d'IA justes, équitables et respectueux de la diversité humaine Orange Restricted Acceptabilité Sociale de l'IA et Intégration dans la Société Respect des normes sociales et éthiques IA transparente et explicable Conception inclusive et non discriminatoire Prendre en compte la diversité des populations Orange Restricted  La gestion des données et de la confidentialité est un pilier de l'éthique en IA Les systèmes d'IA générative nécessitent l'accès à de vastes quantités de données et Gestion des de documents Données et de Il est crucial de mettre en place des politiques strictes de gestion de données et des la documents pour protéger les informations sensibles et personnelles Confidentialité Mesures de sécurité robustes, chiffrement des données et acquisition éthique des données Conforme aux lois sur la protection des données, telles que le RGPD Orange Restricted  Introduction L'IA Act de l'Union Européenne Définition et Objectifs Obligations et Gouvernance A revoir Systèmes Interdits et Sanctions Le Règlement Général sur la Protection des Données (RGPD) Principes et Objectifs Gouvernance et Conformité Protection et Transfert de Données Orange Restricted Risques de Sécurité et Mesures de Vérification continue des modèles Évaluer régulièrement les modèles d'IA pour Protection s'assurer qu'ils ne développent pas de Nécessaires: comportements indésirables ou de biais. S'assurer qu'ils n'ont pas été compromis par Vérification des manipulations extérieures. continue des modèles Orange Restricted Technologies et Infrastructures pour l'IA Générative 28 Digital Services  Infrastructure technologique robuste nécessaire pour exploiter pleinement le potentiel de l'IA générative Introduction Exigences en matière d'infrastructure pour supporter l'IA générative Avancements technologiques et plateformes facilitant son déploiement et son utilisation à grande échelle Orange Restricted Infrastructure Nécessaire pour Supporter l'IA Générative Capable de gérer des volumes énormes de données Cloud Computing Unités de traitement graphique (GPU ou TGPU) Fournir la puissance de calcul nécessaire Entraîner des modèles complexes Exécuter des modèles complexes Orange Restricted Hardware requis Les modèles de type LightOn nécessitent à minima deux cartes TGPU de type H100 pour fonctionner Le RAG fonctionne sur une carte TGPU à part Exemple de configuration pour l’inférence : Serveur Proliant, 3 cartes H100, 768 Go RAM, 12 Core CPU, stockage NVMe, Infiny Band Exemple de configuration pour le fine- tuning : 10 Supercalculateur Cray 8 cartes H100 infiny band par calculateur 768 Go RAM par calculateur Stockage NVMe certifié Consommation : 11 KW par serveur Orange Restricted Comparaisons Quelques remarques : GPT-4o a la meilleure qualité (100) et une bonne vitesse des LLMs sur le (123 tokens/s), mais son coût n'est pas précisé. 3. Claude 3.5 est le plus rapide avec 165 tokens/s, ce qui marché actuel en fait le choix optimal pour les applications nécessitant une haute vitesse. 4. ChatGPT-3.5 est le plus économique à 0.2 USD par million de tokens, mais avec une qualité et une vitesse plus faibles. 5. ChatGPT-4 est performant en qualité (83) mais relativement coûteux à 7.5 USD par million de tokens. Orange Restricted Tendances Technologiques des LLMs et Plateformes Supportant l'IA Séparation de la branche B2C de la branche B2B à partir de 2021, seule la branche B2C continue la course à la puissance Émergence de nouvelles plateformes et outils notamment pour faire du LLM embarqué ou à l’Edge. Orange Restricted Plateformes d'IA et de Machine Learning En complément, il faut prendre en compte les Plateformes utilisées pour développer et déployer des modèles d’IA traditionnelles et d'IA générative Ces frameworks offrent des bibliothèques riches Environnements de développement intégrés Outils de gestion pour aider les développeurs Orange Restricted Risques et Limitations de l'IA Générative 35 Digital Services  Les biais dans l'IA générative peuvent être Problématiques intégrés dans les modèles à travers les Liées aux Biais, données utilisées pour leur entraînement. Les données d'entraînement doivent être à l’Exactitude diversifiées et exemptes de préjugés et à la historiques pour éviter des résultats biaisés. Les implications peuvent être graves dans des Reproductibilité domaines sensibles comme le recrutement, des Résultats le crédit bancaire et la justice pénale. de l’IA L'exactitude et la reproductibilité des résultats sont également critiques. Orange Restricted Limitations Techniques et Défis dans le Développement de l’IA: Exigences de Ressources Les modèles d'IA générative nécessitent d'énormes quantités de puissance de calcul et de données Particulièrement les modèles de grande taille comme GPT-4 Cela peut limiter leur accessibilité pour les organisations avec des ressources limitées Pose des questions sur la durabilité environnementale de tels modèles Orange Restricted  La complexité croissante des modèles Limitations d'IA rend leur compréhension et leur gestion difficiles Techniques et Même pour les développeurs expérimentés Défis dans le Cette opacité peut conduire à des Développement difficultés de l’IA: Lorsqu'il s'agit de déboguer ou d'améliorer les Complexité des modèles Modèles Ainsi que de répondre rapidement à des problèmes éthiques ou de sécurité qui peuvent survenir Orange Restricted Limitations Les systèmes d'IA générative intègrent Techniques et souvent plusieurs technologies Défis dans le Reconnaissance de la parole Développement Compréhension du langage naturel de l’IA: Génération de texte Interdépendance Une faille dans un composant peut affecter toute la performance du système des Composants Orange Restricted  Gestion des documents et des données Limitations Protection et gestion des données utilisées et Techniques et générées par l'IA Défis dans le Défis en termes de confidentialité et de sécurité des données Développement Protocoles rigoureux pour prévenir les fuites de l’IA: Gestion de données des Données Conformité aux réglementations sur la protection de la vie privée Orange Restricted Spécificités du Marché de l'IA Générative B2B 41 Digital Services  Segmentation du marché de l'IA générative en contexte B2B Introduction Éditeurs de logiciel de LLM (Large Language Models) comme OpenAI Hébergeurs d'IA Intégrateurs d'IA Orange Restricted Le Marché des Éditeurs de Logiciel de LLM Investissements en R&D L'investissement dans la recherche et le développement est crucial pour rester compétitif sur ce marché Les fonds levés par des sociétés comme OpenAI témoignent de l'importance de la R&D Barrière à l’entrée de l’ordre de 500 M€ minimum Collaboration avec des institutions académiques Les entreprises collaborent souvent avec des universités et des centres de recherche pour avancer dans le développement de technologies de pointe Orange Restricted  Barrière à l’entrée de l’ordre de 50 M€ Infrastructures cloud et Edge computing La nécessité de traiter des volumes importants de données en temps réel pousse Le Marché à l'utilisation de solutions de cloud et d'edge computing. des Disponibilité des composants comme les TGPU de type H100 et B200 Hébergeurs Consommation électrique d'IA Sécurité et conformité réglementaire La gestion sécurisée des données et le respect des réglementations sont des aspects critiques, surtout lorsque les données manipulées sont sensibles ou soumises à des réglementations strictes. Orange Restricted Le Marché des Intégrateurs d'IA Services de consultation et personnalisation Les intégrateurs fournissent expertise et conseils pour adapter les solutions d'IA aux processus d'affaires spécifiques. Océan Rouge Une compétition déjà très forte Formation et support Une partie essentielle de leur offre inclut la formation des équipes client et la fourniture d'un support technique pour garantir le bon fonctionnement des solutions implantées. Orange Restricted Offres Spécifiques dans le Marché de l'IA Générative B2B 46 Digital Services  Expansion des offres de l'IA générative pour le secteur B2B Solutions adaptées aux besoins des entreprises Offres de Microsoft OpenAI Introduction Accélérateur Solutlak Offres de LightOn hébergées sur Cloud Avenue Particularités et réponse aux exigences des entreprises Orange Restricted  Azure OpenAI est l'une des offres les plus avancées pour les entreprises Utilise GPT-4 et plusieurs modèles open Microsoft source de Mistral Combinaison de l'expertise et des OpenAI avec ressources technologiques de Microsoft l'accélérateur et OpenAI Solutlak: Fournit des capacités de traitement du langage naturel hautement avancées Azure OpenAI notamment avec Azure AI search services Permet aux entreprises de développer des solutions personnalisées Répond à des cas d'usage complexes Orange Restricted  Outil Self Service Touche une large gamme d’utilisateurs Intégré dans Microsoft Office Microsoft Utilise la puissance de l'IA générative pour OpenAI avec assister les utilisateurs Améliore la création de contenu, le l'accélérateur développement de code, et d'autres Microsoft tâches bureautiques Copilot Rend les processus de travail moins répétitifs Gains en productivité faible Surtout si les utilisateurs n’ont pas été formés Orange Restricted  Améliore l'intégration et le déploiement des capacités IA d'Azure OpenAI Facilite l'adoption de cette technologie par Microsoft les entreprises OpenAI avec Minimise les barrières techniques et opérationnelles l'accélérateur Permet la définition de plusieurs use case Solutlak: et plusieurs bases documentaires bien contrôlées Accélérateur Nécessite une contextualisation et une Solutlak personnalisation Gain de productivité elevée Mais sur une cible qui peut être réduite Orange Restricted  LightOn offre des services d'IA générative sur Cloud Avenue LightOn Plateforme d'hébergement sécurisée et conforme aux normes européennes hébergé sur Certification SecNumCloud pour la sécurité Cloud des données et la conformité réglementaire Parfaite intégration de la partie RAG Avenue: (Paradigm) avec le LLM (Alfred V2) Infrastructure Efficacité redoutable en mode RAG de Confiance Ergonomie et efficacité supérieure à Solutalk en mode RAG pur Fonctionnalités plus limitées que Solutalk Orange Restricted  LightOn se distingue par sa capacité à développer des modèles de langage LightOn hébergé adaptés spécifiquement aux besoins des sur Cloud entreprises par le fine tuning. Ceci permet une personnalisation poussée Avenue: Modèles qui va au-delà des solutions génériques. LLM Offrant des performances optimisées pour Personnalisables des applications spécifiques. Attention le Fine Tuning demande un budget conséquent. Orange Restricted LightOn Solutions packagées incluant des ressources GPU à la demande hébergé sur Modèles GPU 'As a Service' Cloud Avenue: Services professionnels couvrant tout Solutions Formation, intégration et conseil Packagées et Approche bout-en-bout garantissant Services l'adoption de l'IA générative Intégration efficace dans les processus Professionnels existants Orange Restricted LightOn hébergé sur Cloud Avenue: Engagement envers l'Innovation et la Souveraineté des Données Choisir des plateformes comme Cloud Avenue Un environnement où l'innovation est constamment alimentée Les dernières avancées technologiques Contrôle strict sur la gestion des données Orange Restricted Offre Microsoft 55 Digital Services  Des positionnements différents entre les acteurs L’IA générative irrigue les sphères B2C et B2B En B2B, les outils du marché concernent les utilisateurs finaux (métiers) et la DSI B2B Microsoft Copilot * Bedrock Disponible pour Fourni en l’utilisateur final “Kit” 56 56 Digital Services B2C Orange Restricted  Des positionnements différents entre les acteurs B2B Bedrock Non souverains Open Source Souverains Microsof Disponible pour t Copilot * Fourni l’utilisateur en “Kit” final 57 57 Digital Services B2C Orange Restricted Quelle route pour l’IA Générative ? 0. ChatGPT 1. PrivateGPT 2. PersonalizedGPT 58 Digital Services Orange Restricted La solution Microsoft Azure Open AI Azure Open AI est l’offre la plus avancée actuellement (avec GPT4) à destination des entreprises 59 59 Digital Services Orange Restricted IA Générative : de la valeur dès le démarrage Private GPT Offres packagées Déploiement du modèle générique LLM, peut avec métriques aider à identifier des cas d’usage plus précis Réalisation privilégiée sur Azure (OpenAI) avec la Personalized GPT possibilité d’utilisation du tenant Bot conversationnel à qui on génère son Azure B&D (sécurisé) contexte, ses sources ponctuelles et disposant de son historique Valeur Contexte Historique du chat Agents Offres, projets En plus du contexte et des sources, on ajoute sur mesure des bases documentaires structurées (centre de service) et des actions (intégration SI) vi des Données indexées Interfaçage SI APIs En raison du caractère spécifique Training/Re-training Entrainement enrichissement du modèle pour le spécialiser 60 Digital Services Fine-Tuning Orange Restricted  Notre vision IA Générative De la valeur dès le démarrage Zéro-Shot Déploiement du modèle générique LLM, peut aider à identifier des cas d’usage plus précis Personalized GPT Offre pilote + + Bot conversationnel à qui on génère son contexte, ses sources ponctuelles, et disposant avec métriques VALEUR Contexte Historique du chat de son historique Agents Réalisation privilégiée sur Azure + + En plus du contexte et des sources on ajoute (OpenAI) sur tenant BDO des bases documentaires structurées (centre de service) et des actions (intégration SI) via Données indexées Interfaçage SI des APIs Training/Re-training + Fine-Tuning Entrainement enrichissement du modèle pour le spécialiser 61 61 DigitalOrange Business Services Orange Restricted Intelligences Artificielles Y aller avec méthode STRATÉGIE IA Data & AI Platform CDAIO Partner Gouvernance Data/IA Conformité AI Act Data & AI Strategy Booster Conduite du changement ACCULTURATION IDÉATION EXPÉRIMENTATION INDUSTRIALISATION AI Brief AI Thinking PersonalizedGPT Passage à l’échelle Conférences Atelier hyperactif POC et Projets Intégration Formations et ateliers AI Roadmap AI Platform MLOps/LLMOps Offre Packagée Orange Restricted Offre Live Intelligence 63 Digital Services Solution LightOn embarquée sur Cloud Avenue, pour des projets d’IA Générative de confiance Orange Restricted Sommaire 1. Solution Live Intelligence 2. Ouverture du service 3. Engagements de service 4. Proposition commerciale 5. Annexes 65 Orange Business 01 Présentation de la solution Live Intelligence Orange Restricted  Live Intelligence Une solution managée prête à l’emploi, accessible via UI Web ou API Générez des contenus tels que des emails, des rapports, des descriptifs produits, des FAQ etc. Exploitez le potentiel de vos bases documentaires Synthèses, explications, recherches d’information Automatisez vos traitements répétitifs Génération de tâches de traitements, partage et exécution semi-automatisée. 67  Live Intelligence Les points clés de la solution Performance et Tarification simple et Sécurité et Ethique et minimisant son simplicité sans surprise souveraineté empreinte environnementale d’utilisation grâce à une avec une tarification grâce à l’infrastructure Cloud avec une offre conforme à la interface utilisateur mensuelle par utilisateur Avenue, située en France, charte IA Ethique et Responsable ergonomique et un LLM permettant une prévision entièrement sécurisée, d’Orange et conçue pour minimiser entraîné en langue française. précise des coûts, pour un opérée et gérée par Orange son impact environnemental. budget IA maîtrisé. Business. 68  Live Intelligence Bénéfices pour vos utilisateurs et votre organisation Pour vos collaborateurs : ✓ Gains de temps significatifs pour accéder aux informations pertinentes. ✓ Synthèse, clarté et facilité d’accès aux informations les plus pertinentes par rapport aux besoins. ✓ Amélioration de la qualité des rédactions (emails, articles, analyses) ✓ Automatisation de tâches répétitives et chronophages, pour se concentrer sur des activités à plus forte valeur ajoutée. ✓ Simplicité d’utilisation, par l’interaction en langage naturel Pour votre organisation : ✓ Augmentation de l’efficacité opérationnelle de vos équipes. ✓ Amélioration de la qualité des productions de vos équipes. ✓ Valorisation de vos référentiels documentaires à leurs pleins potentiels. ✓ Sécurité et souveraineté de l’accès à vos données. Vos données ne sont pas partagées. ✓ Adaptabilité de l’IA générative aux cas d’usages métiers et transverses. 69  Live Intelligence Une solution co-construite avec notre partenaire LightOn Orange Business a choisi la startup française LightOn pour vous proposer Notre partenariat : une solution complète, clé-en-main et adaptable à de nombreux cas d’usages. Cette alliance unique sur le marché vous permet de bénéficier de la puissance de l’IA générative dans une solution accessible très simplement. French Tech Fondée en 2016 2030 + Services d’accompagnement Orange Business à Paris Son expertise Interface utilisateur (UI et API) Développement de modèles de langage Plateforme SaaS (LLM) sophistiqués, avec un historique de créations en français, allant de 1 milliard à Retrieval-Augmented Large Language Model plus de 100 milliards de paramètres. (LLM) LightOn excelle non seulement dans la Generation (RAG) création de nouveaux modèles, mais aussi dans la personnalisation de modèles Infrastructure cloud sécurisée existants pour répondre aux enjeux des d’Orange Business entreprises. 70  L’IA générative avec Orange Business Une gamme complète adaptable et évolutive selon vos besoins Conseil Stratégie IA Positive Impact -aaS Acculturation - Formation - Idéation (cas d’usage) - Change Intégration / Projet Personalized Hyperscalers Chatbot, Solution -aaS Live Intelligence GPT as a service Callbot Outils self- Platform -aaS service du marché (ex GPT Mistral, Llama, Claude, Gemini, LightOn, Dataiku, KNIME Copilot) Infra -aaS Hyperscalers On prem GPUaaS Trusted Cloud 71 Trust  Live Intelligence Une solution managée prête à l’emploi, accessible via UI (web) ou API Générez des contenus tels que des emails, des rapports, des descriptifs produits, des FAQ etc. Exploitez le potentiel de vos bases documentaires Synthèses, explications, recherches d’information. Automatisez vos traitements répétitifs Génération de tâches de traitements, partage et exécution semi-automatisée. 72  Live Intelligence Exemples de cas d’usage Relation Client Marketing Production Equipe de ▪ Entretien de la base ▪ Création de ▪ Support aux terrain de connaissances contenus processus ▪ Accès simplifié à la ▪ Assistance aux ▪ Analyses de ▪ IT : génération de base de agents de support marché code, analyse de connaissance ▪ Optimisation de bugs ▪ Génération de ▪ Robots conversationnels campagnes rapports d’intervention Finance RH Juridique Administratif ▪ Analyse de ▪ Génération ▪ Analyse de clauses ▪ E-mails, rédactions données d’offres d’emploi contractuelles de documents financières ▪ Onboarding ▪ Génération de ▪ Planification ▪ Génération de ▪ Formation conditions ▪ Gestion des taches rapports générales ▪ Informations salariées ▪ Veille règlementaire 73  Live Intelligence Démonstration 74 Orange Restricted  Live Intelligence Deux formules pour une tarification transparente et sans surprise Offre standard Offre standard sur plateforme mutualisée sur plateforme dédiée ▪ Plusieurs packages disponibles (Small, Medium, ▪ Deux packages disponibles (XL ou XXL) en Large) en fonction de vos besoins et la taille de vos fonction de vos besoins et projets IA. équipes, modulables dans le temps. ▪ Jusqu’à 750 utilisateurs en accès simultané. ▪ Des durées d’engagement flexibles adaptées à vos ▪ Jusqu’à 1 To d’espace pour l’exploitation de votre projets IA. volume documentaire. ▪ Une souscription avec tacite reconduction pour ▪ Des serveurs puissants équipés de GPU haute assurer la continuité de vos activités genAI. performance. Licence à partir de 440€ HT /mois Licence à partir 34 900€ HT /mois Tarification à la carte Tarification à la carte Accompagnement à partir de 2 000€ Accompagnement à partir de 8 000€ 5 jours-homme min dédiés à l’activation de votre 8 jours-homme min dédiés à l’activation de votre solution et sa prise en main solution et sa prise en main + Prestation de service 75 Pour assurer une adoption fluide et efficace de la solution.  Live Intelligence Fonctionnalités Profil : Utilisateurs Objectifs : Interrogation de l’assistant, génération de contenus. Fonctionnalités : interrogation (prompt) de l’assistant sur la base de la documentation de l’organisation du client (entreprise, collectivité) ou des connaissances propres de l’assistant (LLM), ajout de documents de travail dans son espace documentaire personnel, consultation de l’historique des conversations récentes (fils de prompts), apporter des feedbacks et/ou signalements sur la pertinence des réponses, accès au(x) référentiel(s) documentaires (liste, visualisation, téléchargement des documents), paramétrage personnel de l’assistant (« pré-prompt »), applicable à l’ensemble des prochaines discussions, gestion de formulaires personnels de traitement semi-automatisés, consultation de la documentation de la solution Live Intelligence, accès aux statistiques (analytiques). Le modèle (LLM) intégré dans Live Intelligence a la capacité de comprendre et générer des contenus textuels en 11 langues : Français, Anglais, Allemand, Italien, Espagnol, Portugais, Néerlandais, 76 Russe, Chinois, Japonais, Coréen.  Live Intelligence Fonctionnalités Profil : Gestionnaires de documentation(s) Objectifs : Constitution et maintien du(des) référentiel(s) documentaire(s) sur lesquels s’appuie l’assistant. Fonctionnalités : Chargement de documents dans le(les) référentiel(s) documentaire(s) pour l’amélioration en continue des réponses aux utilisateurs, NB : Les formats acceptés sont *.pdf, *.docx, *.md (fichiers texte) Gestion des documents déjà chargés (consultation, suppression). 77  Live Intelligence Fonctionnalités Profil : Administrateurs Objectifs : Gestion des utilisateurs, configuration de l’environnement suivi des statistiques et feedbacks. Fonctionnalités : gestion des utilisateurs (création, mise à jour, inactivation/réactivation), gestion des référentiels documentaires (création, accès par les utilisateurs), paramétrage du LLM (pré-prompt global), consultation des statistiques, consultation des feedbacks et signalement utilisateurs, traitement de demandes utilisateurs concernant leurs données personnelles. 78  Live Intelligence Fonctionnalités disponibles par API En option : Exposition d’une API directement accessible par les applications métier du client permettant : d’interroger l’assistant pour la recherche, la synthèse/explication d’information, d’interroger l’assistant pour la création de contenus enrichis, d’alimenter les référentiels documentaires (RAG). Appel d’API SI Client Live Intelligence 79 02 Ouverture du service et prise en main Orange Restricted  Live Intelligence Ouverture du service L’activation par Orange Business de votre environnement nécessite la fourniture au préalable, par le biais du bon de commande, des coordonnées (nom, prénom, email, tél, adresse) de vos interlocuteurs* suivants : Contact client principal Il est le responsable de la gestion globale de la solution (paramétrage, création des utilisateurs) et est garant vis -à-vis d’Orange Business du bon respect des Conditions Générales d’Utilisation (CGU) par ses utilisateurs. Il est le premier administrateur d u client. Contact Responsable de Traitement de Données Personnelles Il est le Responsable de Traitement au regard du RGPD vis-à-vis de ses utilisateurs, Orange Business étant son Sous-Traitant. Il est l’interlocuteur d’Orange Business pour toutes les questions/demandes liées à la gestion des données personnelles et à l’application des droits des utilisateurs sur leurs données. Contact client concernant le suivi contractuel et la facturation Il est le contact privilégié d’Orange Business concernant les aspects liés à la vie du contrat et de la facturation du servic e. * Selon votre organisation, une même personne peut porter une ou plusieurs de ces responsabilités. Le délai d’activation est généralement de 3 à 5 jours ouvrés après réception de la commande et de ces coordonnées Le Contact Client Principal reçoit 2 emails : un email de confirmation d’ouverture de service, comportant le guide de démarrage et les coordonnées du support client, et formalisant la date de début du service, un email d’accès à son compte utilisateur et création de son mot de passe. 81  Live Intelligence Démarrage Une fois l’activation du service effectuée : Votre administrateur prend en main l’environnement et créé ses premiers 1 utilisateurs. Lecture et acceptation des Conditions Générales d’Utilisation (CGU) du service. Création d’un ou plusieurs référentiels documentaires. Administrateur Cette étape est facultative, Live Intelligence comportant un espace commun. Création des utilisateurs par saisie manuelle ou par import de fichier (.csv) et affectation des rôles (Utilisateur, Gestionnaire de documentation ou Administrateur). Les utilisateurs reçoivent un email comportant un lien pour activer leur Utilisateurs et 2 compte et saisir leur mot de passe. Les utilisateurs doivent à leur tour accepter les Conditions Générales d’Utilisation (CGU) du service avant de pouvoir y accéder. La solution Live Intelligence leur est ensuite disponible ! gestionnaire de documents 82 03 Engagements de service d’Orange Business Orange Restricted  Live Intelligence Engagements de service Taux de disponibilité*: * Taux de disponibilité du service hors opérations de maintenance programmées, calculé par mois. 99,9% Délai de prise en charge des demandes de traitement d’incidents engendrant une interruption de service totale ou partielle de la plate-forme. Garantie de temps d’intervention GTI = Garantie de Temps d’Intervention. plate-forme les jours ouvrés : GTR = Garantie de Temps de Rétablissement. Ces engagements s’entendent durant les jours ouvrés et ne couvrent pas les GTI : 1 heure délais suivants : GTR : 4 heures correction des logiciels hébergés, traitement des demandes liées aux données personnelles pour lesquels les délais légaux s’appliquent, demandes liées aux packs d’accompagnement et autres demandes Le support client peut être contacté par email à l’adresse suivante : Support client (packs d’accompagnement) : [email protected]. Guichet par e-mail : 9h-12h, 14h-18h Les demandes s’inscrivant dans le cadre des packs d’accompagnement seront traitées durant les plages horaires ci-contre et une réponse sera apportée dans les meilleurs délais. Une réponse est généralement apportée dans les 2 jours ouvrés. 84 04 Notre proposition Orange Restricted Décomposition de notre offre (1/3) La licence d’utilisation de la solution Live Intelligence est proposée selon les modalités suivantes : Niveaux d’offre proposés : La souscription au service est définie sur selon 2 éléments principaux : Service Nb Volume Tarif Option Option Le nombre d’utilisateurs, utilisateurs documentaire mensuel HT +10 utilis. +100 docs Le nombre de documents pouvant être chargés dans le S 10 200 doc. de 25 Mo 440€ /mois +440€/mois +220€/mois référentiel documentaire. M 50 1000 doc. de 25 Mo 1950€ /mois +390€/mois +195€/mois L 200 4000 doc. de 25 Mo 6400€ /mois +320€/mois +160€/mois ➔ 3 packs prédéfinis vous sont proposés, avec la possibilité d’ajuster les volumes selon vos besoins. API Description Tarif Option Accès par API : mensuel HT Tarification par tranche de volume d’appels d’API, respectant les 2 limites ci- En option, vous pouvez souscrire à l’accès à Live Intelligence par API dessous : 1000 € afin d’intégrer les fonctionnalités de la plate-forme Live Intelligence au API Appels d’API de génération de contenu (chat/asynchronous endpoints) : /mois jusqu’à 10 000 appels / jour sein de vos applicatifs métiers. access / tranche Transferts de documents (embedding/file endpoints) cumulés : jusqu’à 3 fois le nombre total de documents souscrits /mois 86 Orange Business Orange Restricted Décomposition de notre offre (2/3) La licence d’utilisation de la solution Live Intelligence est proposée selon les modalités suivantes : Activation et durée d’engagement : Démarrage : L’ouverture du service sera réalisée dans un délai maximum de 10 jours ouvrés après réception de la commande client et des coordonnées des 3 contacts clients. Durée d’engagement : La souscription est conclue pour une durée d’engagement de douze (12) mois, avec la possibilité de résiliation au cours des trois (3) premiers mois selon les dispositions décrites ci-après dans les Conditions Générales et Particulières de Vente. 87 Orange Business Orange Restricted Décomposition de notre offre (3/3) Afin d’exploiter au mieux la puissance de notre solution et de vous placer dans les meilleures dispositions pour que vos projets soient des succès immédiats, Orange Business vous propose les prestations optionnelles ci-dessous : Pack Description Tarif HT Prestations optionnelles : d’accompagnement Pack d’accompagnement client à l’utilisation de la solution : Starter pack Formation utilisateurs : 2 000 € Administrateur : 1 session (1h30, max 3 pers.) Utilisateurs : 1 session (1h30, max 10 pers.) Gestionnaires de docs : 1 session (1h, max 5 pers) Support client : 8 tickets (UO*) de support client Starter Pack / Premium Pack Bilan à l’issue du 1 er mois d’utilisation (2h) Premium pack Starter pack 10 000 € + Prestation de 8 JH d’accompagnement personnalisé par un expert Data IA d’Orange Business. Les prestations correspondant à ce pack d’accompagnement Options Support client : devront être exécutées dans un délai maximum de trois (3) mois 8 tickets (UO*) supplémentaires de support client 600 € à partir de la date de confirmation d’ouverture du service. Elles seront facturées intégralement même en cas de non- utilisation par le client. * UO = Unité d’Œuvre correspondant à 1 demande et 1 heure de traitement maximum par l’équipe de support sur cette demande. Les sollicitations s’effectuent par email à l’adresse suivante : [email protected] 88 Orange Business Orange Restricted  Vos contacts Digital Services en région En complément, une équipe IA pour vous soutenir SPOC Business Dev National Lead Data Science en Région Rdv client découverte, offres Opérationnalisation Stéphanie Perrault Romain Bernard Erwan Josse GC : BA, SP DE : SPES Ile de France Ouest Maxime Mouquet Paul Ferré Thomas Denicourt GC : INDIT, Utilities, Retail, Transports Media et Services Sud Ouest Est Alexandre Gohin Pierre-Henri Mas Luc Thomas (Microsoft) Sud Est Lyon Sud Est Marseille DE : Marchand Taline ZGHEIB Sud Est Grenoble Conférencier IA – COMEX / CODIR Mick Lévy Didier Gaultier Responsable Stream Marketing Task force GenAI Head of AI 89 Orange Restricted  05 Annexes 90 Live Intelligence s’appuie sur l’infrastructure Cloud Avenue La confiance de vos données sur le cloud Orange Business, partenaire de confiance ▪ Interlocuteur unique Orange Business Datacenters ▪ Entièrement opérée et gérée par Orange Business 2 Orange Val de Reuil Chartres Un écosystème réglementaire Européen ▪ Souveraineté légale Européenne ▪ Conformité RGPD ▪ Orange membre fondateur de l’initiative ▪ Opérée depuis l’Union Européenne ▪ En cours de qualification SecNumCloud par l’ANSSI Une plateforme hautement certifiée Version 3.2 recherchée Demande de qualification acceptée par l’ANSSI le 20/03/23 91 Orange Restricted Formation et Compétences en IA 92 Digital Services Besoin de Compétences Spécialisées pour Développer et Gérer l’IA Compétences en science des données, ingénierie logicielle, traitement du langage naturel et apprentissage machine Comprendre les aspects techniques de la programmation des IA Comprendre les implications éthiques et sociales de leur déploiement Capacité à intégrer les solutions d'IA dans les processus d'affaires existants Compréhension approfondie des domaines d'application spécifiques de l'IA Orange Restricted Approches pour Programmes internes de formation Développer les continue pour les employés Mise à jour sur les dernières innovations en IA Compétences Ateliers, séminaires et cours en ligne en IA: Couverture des aspects techniques, légaux et Formations en éthiques Entreprise Orange Restricted Présentation de la Digital Services School Notre offre, au plus proche Scannez pour plus de visibilité sur de vos besoins avec Digital Services School nos formations ! Notre ambition est de vous proposer la meilleure expérience d’apprentissage, au plus près du terrain et des réalités opérationnelles. Nos formateurs sont des consultants et des professionnels de la Data, de l’IA et de l’IA Générative. Leur expertise, pratiquée au quotidien est mise à votre disposition. Au-delà du domaine technique, nous proposons une offre de formation complète pour répondre Stéphane Giudicelli à l’ensemble Directeur de Digital Services School de vos besoins : Acculturation, hard skills, soft skills & parcours sur-mesure. 96 Digital Services School Notre ambition 2025 Installer l’Ecole et son équipe comme un levier incontournable du commerce et un support essentiel aux besoins opérationnels de notre business line Digital Services France et de nos clients internes comme externes. Faire connaitre, nos savoir-faire, notre expertise, optimiser nos cursus Data - AI - Gen AI - Cloud - Digital et développer les opportunités d’accompagnement de nos clients. Aider à accélérer la montée en compétence de nos clients grâce à nos experts certifiés à notre savoir-faire en tant qu’organisme de formation notre expérience et notre professionnalisme. La Team Digital Services School Digital Services School Organisme de formation certifiée Les avantages L’organisme de formation Digital Services School est certifié Qualiopi. Cette certification garantie auprès de nos clients et partenaires la qualité de nos prestations de formation, Une pédagogie La garantie de la conformité aux exigences et critères définis par l'État. de qualité nos process Elle nous permet ainsi d'améliorer notre offre et de vous donner accès à des financements publics. Pour plus d’infos sur Qualiopi > L’accessibilité à L’accès un réseau à des financements de formateurs OPCO experts & fonds publics 98 Digital Services School En 2024, L’école de la data et de l’IA devient Digital Services School Bilan Volume d’heures Nombre CA – Million € de personnes formées 2023 2022 vs 2023 2022 vs 2023 2022 vs 2023 65510 3095 1M829 57243 2795 1M543 + 18% + 11% + 18,5% 99 Digital Services School Digital Services School des cursus 2024 prêts à l’emploi ! En synthèse Nos cursus « DATA » en format Upskilling ou Reskilling & sur mesure ▪ Des cursus propriétaires Digital Services School Devenir Devenir Devenir Data Data Orange Business Data Analyst Data Engineer Data Scientist Gouvernance Gouvernance Consulting Solutions ▪ Une Ecole certifiée Qualiopi 371h – 53 j 392h – 56 j 400h – 57 j 288h 240h et France compétences. Nos cursus « IA GENERATIVE » en format Reskilling & sur mesure ▪ Une école organisme de formation au cœur Devenir consultant Devenir consultant IA Générative de Orange Business en expert en IA Les fondamentaux de +5 ans d’expérience IA Générative Générative CP 168h – 23 j 287h – 42 j 70h – 10 jours ▪ De nombreux clients nous font confiance : Nos cursus « IA GENERATIVE » en format Upskilling & sur mesure IA Générative IA Générative IA Générative IA Générative IA Générative Consultant Expert les fondamentaux Le package Comex - Codir CP 105h – 12j 122h – 17,5 j 35h – 5 jours Max 35h – 3j 2à3h 100 Digital Services School Vos contacts pour la Digital Services School * * Pour toutes demandes de contenus sur mesure veuillez nous consulter Stéphane Giudicelli Laurence Guimart Directeur Coordinatrice de formation de la Digital Services School chargée de la qualité école & relations externes 0607986253 Didier Gaultier Directeur pédagogique Laurène Dauger IA- IA générative Coordinatrice de formation de la Digital Services & chargée des parcours / Cursus School ecoledeladataetia.com 101 Digital Services School [email protected] Approches pour Développer les Compétences en IA: Collaborations et Partenariats Collaborations entre entreprises technologiques, établissements académiques et organismes de réglementation Crucial pour développer des standards de formation en IA Partenariats pour créer des programmes répondant aux besoins du marché Préparer les étudiants et professionnels aux défis associés aux technologies d'IA Orange Restricted  Vos contacts Digital Services en région En complément, une équipe IA pour vous soutenir SPOC Business Dev National Lead Data Science en Région Rdv client découverte, offres Opérationnalisation Stéphanie Perrault Romain Bernard Erwan Josse GC : BA, SP DE : SPES Ile de France Ouest Maxime Mouquet Paul Ferré Thomas Denicourt GC : INDIT, Utilities, Retail, Transports Media et Services Sud Ouest Est Alexandre Gohin Pierre-Henri Mas Luc Thomas (Microsoft) Sud Est Lyon Sud Est Marseille DE : Marchand Taline ZGHEIB Sud Est Grenoble Conférencier IA – COMEX / CODIR Mick Lévy Didier Gaultier Responsable Stream Marketing Task force GenAI Head of AI 103 Orange Restricted Conclusion 104 Digital Services