Le point de vue d’Aidan Gomez, co-fondateur et PDG de Cohere
L’intelligence artificielle est en train de transformer le monde dans lequel nous vivons. D’ici une génération, la façon dont nous découvrons des médicaments, gérons les réseaux électriques et sécurisons nos infrastructures nationales aura complètement changé. De nombreuses personnes en sont déjà conscientes et travaillent à construire cet avenir de manière responsable. Beaucoup sous-estiment l’ampleur et le rythme des changements à venir. D’autres, cependant, prétendent prévoir ce changement et l’utiliser pour servir leurs propres intérêts.
Voici la question que personne ne pose clairement : une poignée d’entreprises d’IA dominantes sur le marché, issues de la Silicon Valley, devraient-elles définir les règles et les normes de sécurité d’une technologie générationnelle pour le monde entier ? Tout en déterminant simultanément la vitesse de progression de cette technologie ? Nous avons déjà essayé, avec de très mauvais résultats. Une fois de plus, en utilisant la peur sous prétexte de protéger le public, ces oligopoles demandent maintenant à ce qu’on plie les règles de la concurrence et à pouvoir dicter les termes pour tout le monde. Une histoire de loup déguisé en agneau, un cartel sous un autre nom.
Je crois au potentiel des technologies d’IA pour apporter des avantages à notre monde, et je ne minimise pas les risques. Je dirige une entreprise qui développe des systèmes d’IA déployés dans des banques, des réseaux de télécommunications et des ministères de la Défense. Ce sont des environnements parmi les plus critiques, car les défaillances dans ces secteurs peuvent avoir des conséquences bien au-delà d’un seul utilisateur – en perturbant les systèmes financiers, les infrastructures critiques, la sécurité nationale et les services essentiels à grande échelle. Les mêmes capacités qui trouvent des vulnérabilités dans votre code peuvent en trouver dans celui des autres, et l’offensive cybernétique devient moins chère plus rapidement que les défenses ne s’améliorent. Cet écart devrait vous inquiéter autant qu’il nous inquiète.
L’IA a besoin de garde-fous. Personne ne remet cela en question. Le débat porte sur le choix de celles et ceux qui les définissent, sur les intérêts qu’ils défendent et sur les personnes qui peuvent participer à leur élaboration. La question est de savoir si nous devons avoir la liberté de choisir en nous appuyant sur des preuves scientifiques ou si nous devons remettre les rênes de la technologie la plus importante de l’histoire de l’humanité à quelques dirigeants de la Silicon Valley.
Nous avons déjà vécu cela
Avant de déconstruire le cadre intéressé que les grands laboratoires promeuvent et de proposer des idées pour une alternative, tirons quelques leçons du passé récent et réfléchissons au mot cartel, car l’histoire est spécifique et c’est le terme exact.
En 1975, la Securities and Exchange Commission avait besoin de notations obligataires fiables pour ses règles de capital. Elle a désigné trois entreprises en tant qu'organismes de notation statistique reconnus à l'échelle nationale et n'a jamais publié de critères sur la manière dont d'autres pourraient obtenir cette désignation. Il s'agissait d'évaluateurs externes approuvés par le gouvernement, payés par les émetteurs mêmes dont ils notaient les titres, assis derrière une barrière construite par le régulateur lui-même. Vingt-cinq ans plus tard, il n'y avait toujours que trois de ces évaluateurs. Puis ils ont noté les titres hypothécaires subprimes triple A et ont failli entraîner l'économie mondiale dans leur chute.
L’Europe a renouvelé l’expérience en 1985. Les constructeurs automobiles ont fait pression pour obtenir une exemption antitrust généralisée, l’exemption par catégorie pour les véhicules automobiles, en faisant valoir que les véhicules modernes étaient des machines complexes et essentielles à la sécurité, et que les constructeurs devaient donc contrôler qui était qualifié pour les vendre et les entretenir. La réglementation qui a suivi a permis aux constructeurs de fixer les normes en matière de locaux, d’équipements et de formation du personnel, explicitement dans l’intérêt de véhicules sûrs et fiables. Mais ce qui a suivi n’a pas été des voitures plus sûres. Il a fallu environ vingt-cinq ans de réformes à la Commission européenne pour dénouer la situation et établir ce qui aurait dû être évident dès le départ : il est possible de maintenir des normes de sécurité strictes sans accorder aux acteurs en place un monopole sur leur respect.
Personne n’a cherché à créer un cartel dans aucun des deux cas. Dans les deux cas, l’objectif affiché était la sécurité. Mais le résultat a été une structure de marché qui protégeait les acteurs en place et limitait la concurrence, le tout sous le prétexte de servir l’intérêt public. Je ne doute pas de la sincérité des personnes impliquées : beaucoup étaient préoccupées par les risques et ont travaillé avec sérieux pour les résoudre. Mais les problèmes complexes ne sont pas toujours résolus du premier coup, et tout scientifique, ingénieur ou législateur responsable sait que pour résoudre de nouveaux problèmes, il faut tirer les leçons de l’histoire.
Ce qui est proposé
Cela nous amène à la feuille de route publiée cette semaine par Dario Amodei, PDG d’Anthropic, qui demande aux gouvernements des exemptions antitrust au nom de la sécurité. Cette feuille de route est la dernière en date d’une série d’initiatives récentes des acteurs de la Silicon Valley visant à façonner le paysage réglementaire entourant l’IA.
Je souhaite être clair sur ce que nous approuvons. L’examen indépendant des systèmes d’IA hautement performants est une bonne idée et nous l’approuvons. Cependant, de nombreux aspects de la proposition soulèvent des questions fondamentales : qui écrit la norme que ces examinateurs appliquent ? Qui mène ou supervise l’examen ? Qui participe à la conversation qui établit les règles ?
Sur ces questions, la proposition est claire. Une poignée de laboratoires parmi les plus puissants, basés dans un seul pays, s’entendraient sur des normes partagées et les limites à imposer à la vitesse de développement de la technologie. Et voici le point clé : comme il est normalement illégal pour des concurrents de s’entendre pour limiter leur production, le plan demande aux gouvernements une exemption antitrust limitée pour rendre cette coordination légale. Il demande également aux gouvernements d’exiger que tous les autres développeurs d’IA suivent aveuglément ce que les participants décident – malgré le fait que ces autres développeurs et la société en général n’ont pas eu l’opportunité d’exprimer l’impact ou de partager leur perspective sur la science.
Il ne s’agit pas d’ajouter une ou deux entreprises à la conversation. Ajouter une chaise supplémentaire ne résout pas le problème de fond. Le problème, c’est qu’il existe une liste, alors que les décisions prises concernent toutes les entreprises, tous les gouvernements et tous les citoyens, qui n’ont jamais été consultés. On ne peut pas avoir le beurre et l’argent du beurre. Si c’est la technologie la plus importante de l’histoire de l’humanité, alors les règles qui la régissent ne peuvent pas être écrites par un petit groupe d’entreprises alignées sur des intérêts commerciaux et bénéficiant d’une exemption antitrust. Il n’y a pas de période de consultation publique ici. Il n’y a pas de consultation, et il n’y a pas de vote. Le public sera contraint de vivre avec les conséquences, quoi qu’il arrive.
Un régime de sécurité conçu par quelques laboratoires ne sera rigoureux que pour les risques qu'ils ont déjà intégrés dans leurs systèmes de sécurité, et restera silencieux sur tout le reste, renforçant ainsi leur position sur le marché et limitant la concurrence. Dans ces cadres existants, le risque est défini en fonction de l'échelle, ce qui fait des entreprises dotées de systèmes énormes les seules qualifiées pour juger. Les types de risques jugés pertinents pour l'évaluation sont également prédéterminés, plutôt que soumis à un débat scientifique et à une harmonisation. Par exemple, il existe un réel désaccord dans le domaine sur la question de savoir si la capacité offensive provient davantage de la taille brute du modèle ou de l'harnais qui l'entoure. Des modèles plus petits, bien orchestrés, à l'aide d'outils et d'étapes de vérification, peuvent accomplir des choses que les grands modèles ne peuvent pas faire. Un essaim cybernétique présente une surface de risque complètement différente de celle d'un modèle unique. Rien de tout cela n'apparaît dans un régime construit exclusivement autour de seuils de calcul massifs.
Il y a une phrase dans l’essai qui devrait inquiéter toute autorité de la concurrence. Elle promet qu’une approche coordonnée donnerait aux développeuses et développeurs le temps de faire ce travail de sécurité sans sacrifier l’avantage commercial. Mais à l’avantage de qui ? Les entreprises qui rédigent le cadre sont celles qui sont au sommet du marché aujourd’hui. Un mécanisme qui ralentit tout le monde tout en préservant explicitement l’avantage commercial existant ne rend pas l’IA plus sûre. Il risque d’enraciner les entreprises d’IA dominantes d’aujourd’hui en transformant leurs avantages actuels en référence pour ce qu’il faut pour concourir en toute sécurité. Les règles de sécurité devraient réduire les risques sans tenir compte de qui mène le marché ou de qui a à y gagner.
Les exigences d’entrée énoncées dans la proposition vous disent le reste. Puissance de calcul considérable. Infrastructure de surveillance continue. Organisations de sécurité dédiées. Équipes d’évaluateurs résidents avec bureaux et badges. Architecture de fermeture. Relations gouvernementales suffisamment approfondies pour naviguer à travers tout cela. Un groupe d’évaluateurs « indépendants » déjà remarquablement petit, financé par la même poignée d’organisations sur lesquelles s’appuient régulièrement les mêmes laboratoires de pointe.
Convainquez un gouvernement que l’IA est une menace existentielle et vous pourrez le convaincre d’interdire votre concurrence. L’intention est claire et ne contribue pas à créer un monde plus sûr.
À quoi ressemblent de meilleures règles
Alors, qu’est-ce qui permettra un développement sûr et responsable de l’IA ? Pour être clair, je ne pense pas avoir toutes les réponses, ni que je devrais être celui qui établit les règles. Je vais plutôt essayer de proposer des idées pratiques et efficaces qui pourront être prises en compte, aux côtés de celles de beaucoup d’autres, par les gouvernements et les législateurs, alors qu’ils utilisent leurs pouvoirs démocratiques pour définir la direction à suivre.
Ces idées reposent sur quatre piliers :
- Un cadre de risque fondé sur des preuves. Commençons par le début, et avant que quiconque n’impose des tests ou des audits, nous devons nous entendre et publier un compte rendu des préjudices qui nous préoccupent, des capacités de l’IA qui causent ces préjudices, dans quelles conditions et dans quels contextes, et à quel moment un gouvernement doit intervenir. Ce compte rendu doit être élaboré par tous les pays qui développent cette technologie, et ce, de manière transparente plutôt qu’à huis clos sous la bannière de la sécurité nationale. Mettez en place une initiative coordonnée et internationale pour développer ce cadre, qui ne soit pas dirigée par une seule nation, mais par un groupe de nations. Faites en sorte que les technologues soient dans la même pièce que les experts en politiques publiques et les experts de secteurs critiques tels que la finance et les infrastructures essentielles. Incluez des chercheurs et des scientifiques qui ne sont pas d’accord entre eux et publiez les désaccords, car un processus honnête montre ses arguments au lieu d’annoncer ses conclusions. Financez la capacité de test elle-même par le biais d’organismes de recherche publics et de systèmes de gestion des risques sectoriels existants, afin que la science ne dépende pas des budgets des entreprises mesurées. Et écrivez des règles qui lient en fonction de ce qu’un système d’IA peut faire plutôt que de qui l’a construit, afin qu’une capacité dangereuse soit traitée de la même manière, qu’elle provienne d’un laboratoire d’une valeur de mille milliards de dollars ou d’un département universitaire. La science du risque lié à l’IA ne peut et ne doit pas être dissociée des décisions que les entreprises et les gouvernements prennent quant à la manière dont l’IA est utilisée et déployée, ni des systèmes de gestion des risques existants et robustes qui régissent aujourd’hui des secteurs critiques tels que les soins de santé, les systèmes financiers mondiaux, la défense et les infrastructures essentielles.
- Transparence obligatoire. Les développeurs d’IA doivent être transparents sur la façon dont leurs modèles et systèmes sont construits, leur objectif et leurs capacités, les risques qu’ils pourraient poser et les mesures d’atténuation des risques qui ont été mises en œuvre. Des fiches de modèle sont déjà largement publiées dans l’industrie pour les modèles d’IA générative déployés à grande échelle, couvrant les tests effectués et les performances du modèle. Mais on peut faire plus, notamment en ce qui concerne la manière dont les entreprises de la chaîne de développement et de déploiement signalent les incidents graves sur les couches où elles ont une visibilité et un contrôle, et les mécanismes pour établir une véritable responsabilité en cas de préjudice réel.
- Tests, ciblés selon les faits. Les modèles et systèmes d’IA les plus avancés doivent être soumis à des tests indépendants, mais uniquement pour les capacités et dans les contextes que le cadre de gestion des risques a identifiés comme véritablement dangereux, plutôt que de laisser cette définition à quelques entreprises sélectionnées. Dans la pratique, cela signifie probablement la capacité à générer des cyberattaques, des fraudes synthétiques et du clonage vocal, de la manipulation à grande échelle, des armes physiques ou biochimiques, et tout ce qui touche aux infrastructures critiques. Cela ne signifie pas tester chaque système pour chaque risque, et cela ne doit pas devenir un exercice de conformité qui s’étend pour absorber le budget que les plus grandes entreprises peuvent se permettre. Un cadre hiérarchisé et proportionné, où les modèles et systèmes plus capables, ou les modèles ou systèmes déployés dans des contextes spécifiques, sont soumis à des tests plus stricts – indépendamment des ressources investies dans leur développement – sera le plus bénéfique pour améliorer la sécurité. Testez ce qui peut nuire aux personnes et aux sociétés, et laissez les faits décider de ce qui nécessite des tests plutôt que ceux qui détiennent le pouvoir de décision. La certification doit être ouverte à toutes les entreprises plutôt que restreinte à un niveau désigné de développeurs d’IA, et la norme doit être convenue par des personnes autres que les entreprises mesurées par rapport à celle-ci. Ce qui ne doit pas être permis, c’est une bureaucratie coûteuse qui étouffe les petits laboratoires avant qu’ils ne livrent quoi que ce soit, ce qui arrive exactement lorsque la portée est illimitée et que les acteurs en place sont ceux qui la définissent.
- Des mécanismes d’assurance réels. Les paramètres qui déterminent la façon dont les modèles et systèmes d’IA sont testés et les mécanismes qui vérifient ces tests doivent être véritablement indépendants, à l’instar de la façon dont les institutions financières sont agréées, les compagnies aériennes maintiennent des normes de sécurité strictes et les installations nucléaires acceptent les inspections. Ces secteurs à haut risque reposent déjà sur une assurance multicouche : les développeurs testent leurs systèmes, les clients les valident en fonction de leurs propres exigences de risque, des tiers indépendants fournissent une assurance supplémentaire si nécessaire et les régulateurs supervisent le cadre. L’IA devrait s’appuyer sur ces approches éprouvées plutôt que de revendiquer un exceptionnalisme sans précédent et de supposer que la sécurité dépend d’une seule catégorie d’évaluateurs intégrés de manière permanente. L’assurance fonctionne lorsque trois conditions sont remplies : une, les tests et la vérification sont basés sur des critères développés et publiés collectivement ; deux, les tiers impliqués doivent avoir pour mandat d’inclure un éventail d’opinions et ne jamais être payés par la partie qu’ils examinent ; et trois, les conclusions doivent parvenir au public d’une manière qui n’est pas conflictuelle. Le plus important est la flexibilité autour des aspects du travail d’assurance qui sont les mieux réalisés en interne selon des normes strictes et ceux qui nécessitent un tiers, en fonction de la criticité de l’audit et de l’utilisation la plus efficace de l’expertise et des ressources. Cela contraste directement avec ce qui a été proposé : un système d’assurance basé sur des auditeurs qui non seulement ont des conflits d’intérêts financiers ou idéologiques avec ceux qu’ils auditent, mais qui sont choisis à la main par eux. Les suggestions visant à donner aux auditeurs préférés par une poignée de sociétés dominantes un accès continu dans l’ensemble du secteur sont une voie vers la capture réglementaire et idéologique, et non vers la sécurité ou la confiance.
Ce que la panique oublie
Ces piliers sont le fondement d’une approche pratique et axée sur les risques. Comparez-les maintenant aux scénarios de science-fiction actuellement exploités par les plus grands acteurs en place.
Je crois qu’il est extrêmement important de parler de science ici. Il y a beaucoup de conclusions et de raisonnements logiques qui sont faits par des gens intelligents. Mais plutôt que de faire des gestes vagues, il est important que nous discutions de ce qu’ils sont et de ce que cela signifie.
En début de semaine, un chercheur a quitté un grand laboratoire en mettant en garde contre le fait que des systèmes surintelligents allaient probablement anéantir l’humanité d’ici dix ans. Un collègue expérimenté a publiquement ajouté qu’il estimait ce risque à plus de 10 %. Je ne doute pas que leurs préoccupations soient bienveillantes et sincères. Mais souvenons-nous que ces chiffres ne viennent pas d’une réalité fondamentale. Ce sont des impressions, des intuitions, exprimées sous forme de décimales, amplifiées par des dirigeants ayant des intérêts personnels et relayées par les médias pendant une semaine comme s’il s’agissait d’analyses mathématiques.
Il est important de bien cerner le problème : à mesure que ces systèmes gagnent en capacité, l’écart entre ce que nous demandons et ce que nous obtenons devient de plus en plus difficile à repérer et de plus en plus coûteux lorsque nous le manquons. Un système qui est meilleur pour trouver des échappatoires est aussi meilleur pour trouver les échappatoires que nous n’avons jamais pensé à vérifier. Donnez-lui des outils qui agissent dans le monde, et un taux d’amélioration qui dépasse notre capacité à examiner son travail, et vous pouvez imaginer que les problèmes seront détectés longtemps après qu’ils auront eu de l’importance, plutôt que dès le départ.
Cependant, affirmer que ces problèmes signifient que ces outils échappent à notre contrôle relève d’un jugement, et non d’une conclusion.
Pourtant, cette distinction fait toute la différence entre la science et la science-fiction, et c’est elle qui détermine ce que nous devrions faire ensuite. Une question ouverte de ce type est exactement ce qu’un processus public, contesté et fondé sur des preuves existe pour résoudre. Ce qu’il ne faut jamais faire avec une question ouverte, c’est donner aux personnes qui défendent un point de vue particulier l’autorité d’en tirer des règles contraignantes et de les imposer à tout le monde.
Les échecs rapportés en juillet se sont produits dans les deux laboratoires les mieux dotés au monde, avec les équipes de sécurité les plus importantes, le plus grand nombre d’évaluations internes et, dans un cas, un dispositif d’évaluation externe était déjà en place via METR, avec des efforts importants déployés dès février. La solution proposée est plus ou moins celle qui était en place lorsque le problème est survenu. Un seuil de capacité n’aurait pas permis de le détecter, car ces systèmes étaient activement formés et évalués pour évaluer leurs capacités. Une limite de calcul aurait pu ralentir les agents, mais pas réduire leurs capacités. Ce qui a échoué, c’est la qualité des instructions, la solidité des barrières autour du test et la durée pendant laquelle les agents ont été autorisés à continuer de travailler sans surveillance. La proposition ne répond à aucun de ces problèmes.
Ce qui aiderait serait bien moins spectaculaire. Exiger que les incidents graves soient signalés, afin qu’une configuration de formation défaillante dans une entreprise devienne une leçon pour tout le secteur, plutôt qu’un simple paragraphe dans un article de blog. Tester les systèmes en fonction des lacunes spécifiques dont on sait qu’elles sont exploitées. S’assurer qu’il existe des normes d’observabilité en temps de test (ou au moins de journalisation) pour détecter plus tôt les comportements problématiques. Insister pour que tout ce qui est connecté à une infrastructure critique, d’un hôpital à une sous-station électrique, soit isolé, idéalement sur site, afin qu’un système poursuivant un score mal écrit ne puisse atteindre rien d’important. Et appliquer tout cela en fonction de l’endroit où un système est déployé et de ce qu’il peut toucher, plutôt que de la taille de l’entreprise qui l’a construit. Un petit modèle mal spécifié installé dans un hôpital représente un risque réel aujourd’hui, et dans un régime axé uniquement sur les avancées, personne ne s’y intéresse.
Lorsque des récits qui servent les intérêts des géants de la tech prennent des événements comme celui-ci et focalisent l’attention du public sur l’idée de technologies surpuissantes et incontrôlables pouvant mener à l’extinction de l’humanité, cela nous détourne opportunément des choix et des erreurs qu’ils commettent, ainsi que des dommages subis par de vraies personnes, ici et maintenant. Par exemple, des outils de clonage vocal moins chers qu’une facture de téléphone peuvent vider le compte d’un retraité en quelques minutes. De même, les systèmes de prise de décision automatisés peuvent avoir un impact réel sur l’accès à des services essentiels. Nous avons besoin d’un régime de sécurité adapté à ces réalités, des problèmes qui affectent directement les citoyens et les organisations aujourd’hui, et non d’un système conçu pour contenir une superintelligence hypothétique.
Qui écrit les règles ?
Nous sommes à un tournant, et les décisions prises dans les prochains mois façonneront l’économie mondiale pour une génération. Les risques sont réels et nécessitent des garde-fous sérieux et applicables. C’est exactement pour cette raison que les règles ne peuvent pas être rédigées derrière une renonciation par les entreprises qu’elles sont censées régir. L’idée que deux ou trois entreprises de la Silicon Valley devraient agir en tant que créateurs, gardiens et législateurs de l’IA pour tous les gouvernements de la planète ne résiste pas à l’épreuve de la parole.
Les infrastructures critiques ne peuvent pas être sécurisées en louant des capacités nationales à un monopole étranger derrière une interface fermée. Les hôpitaux, les réseaux de paiement et les ministères de la Défense ne peuvent pas, en toute bonne foi, transmettre leurs données opérationnelles les plus sensibles et leur savoir-faire exclusif aux serveurs de quelqu'un d'autre et faire aveuglément confiance à un contrat de fournisseur. Les failles permettant les fuites de données sont déjà exploitées aujourd'hui.
Nous avons créé Cohere précisément en raison de cette réalité. En tant qu’entreprise mondiale travaillant en étroite collaboration avec des gouvernements du monde entier, nous voyons ce dont les institutions qui font fonctionner ces économies ont réellement besoin. Elles veulent des systèmes hautement performants fonctionnant au sein de leurs propres murs, opérant sur une infrastructure qu’elles contrôlent, avec des fournisseurs qui leur rendent des comptes et peuvent être remplacés. La sécurité découle de la souveraineté, du déploiement local et de la diversité technologique. Un marché concurrentiel avec de nombreux fournisseurs compétents peut absorber l’échec de l’un d’eux. Un cartel sanctionné par l’État n’a nulle part où se cacher.
Les règles autour de l’IA sont en train de s’écrire, quoi qu’il arrive. Ce qui reste à déterminer, c’est si elles seront écrites par un groupe ouvert à toutes et tous, avec des preuves vérifiables par toutes et tous, ou par une poignée d’entreprises à huis clos. Plus il y a de voix, plus c’est lent. Plus c’est difficile. Certaines de ces voix diront des choses que le reste d’entre nous ne veut pas entendre. C’est le but. C’est la seule version qui produit un ensemble de règles dans lequel le public peut avoir confiance.
Un processus valable devrait inclure des personnes qui s’opposeraient même à des entreprises comme Cohere. Des universitaires sans intérêts commerciaux. Des groupes de la société civile qui pensent que tout le monde dans ce secteur va trop vite. Des laboratoires plus petits et des développeuses et développeurs open source. Des gouvernements qui ont leurs propres raisons de ne pas nous croire sur parole. Si nous convenons que cette technologie est en train de refaçonner le monde dans lequel nous vivons, une poignée de PDG et de groupes qu’ils rémunèrent ne peuvent pas prendre toutes les décisions sur la manière dont cette technologie évolue. Nous avons besoin de plus de voix à la table.
Vous pouvez parler de sécurité, ralentir le rythme pour vous assurer que le progrès est durable et que d’autres interviennent pour vous assurer d’agir de manière responsable. Ou vous pouvez simplement vous y mettre et le faire : construire de manière responsable et à un rythme durable pour la société, permettre à vos partenaires d’être autonomes, travailler avec les législateurs et les experts en sécurité et les écouter. Chez Cohere, nous choisissons de faire la seconde option.