Anthropic cherche à financer une nouvelle génération plus complète de benchmarks en intelligence artificielle

Anthropic lance un programme pour financer le développement de nouveaux types de benchmarks capables d'évaluer les performances et l'impact des modèles d'intelligence artificielle, y compris les modèles génératifs comme son propre Claude.

Dévoilé lundi, le programme d'Anthropic octroiera des subventions à des organisations tierces capables, comme l'explique la société dans un article de blog, de “mesurer efficacement les capacités avancées des modèles d'intelligence artificielle”. Les personnes intéressées peuvent soumettre des candidatures qui seront évaluées de manière continue.

“Notre investissement dans ces évaluations vise à élever l'ensemble du domaine de la sécurité en intelligence artificielle, en fournissant des outils précieux bénéfiques à tout l'écosystème”, a écrit Anthropic sur son blog officiel. “Le développement d'évaluations de qualité supérieure et pertinentes en termes de sécurité reste un défi et la demande dépasse l'offre.”

Comme nous l'avons souligné précédemment, l'intelligence artificielle a un problème de benchmarking. Les benchmarks les plus souvent cités pour l'intelligence artificielle aujourd'hui ne parviennent pas à capturer la manière dont la personne moyenne utilise effectivement les systèmes testés. Il y a aussi des questions sur le fait que certains benchmarks, particulièrement ceux publiés avant l'aube de l'intelligence artificielle générative moderne, mesurent réellement ce qu'ils prétendent mesurer, étant donné leur ancienneté.

La solution très complexe que propose Anthropic est de créer des benchmarks exigeants axés sur la sécurité en intelligence artificielle et les implications sociétales via de nouveaux outils, infrastructures et méthodes.

La société demande spécifiquement des tests évaluant la capacité d'un modèle à accomplir des tâches telles que mener des cyberattaques, “améliorer” des armes de destruction massive (par exemple, des armes nucléaires) et manipuler ou tromper les gens (par exemple, à travers de deepfakes ou de la désinformation). Pour les risques liés à la sécurité nationale et à la défense en intelligence artificielle, Anthropic affirme s'engager à développer une sorte de “système d'alerte précoce” pour identifier et évaluer les risques, bien qu'elle ne révèle pas dans l'article de blog en quoi consiste réellement ce système.

Anthropic affirme également que son nouveau programme vise à soutenir la recherche sur les benchmarks et les tâches “de bout en bout” qui sondent le potentiel de l'intelligence artificielle pour aider dans les études scientifiques, converser dans plusieurs langues et atténuer les biais profondément ancrés, ainsi que censurer la toxicité.

Pour parvenir à tout cela, Anthropic imagine de nouvelles plateformes permettant aux experts en la matière de développer leurs propres évaluations et des essais à grande échelle de modèles impliquant “des milliers” d'utilisateurs. La société indique qu'elle a embauché un coordinateur à temps plein pour le programme et qu'elle pourrait acheter ou développer des projets qu'elle estime avoir le potentiel de se développer.

“Nous offrons une gamme d'options de financement adaptées aux besoins et au stade de chaque projet”, écrit Anthropic dans le post, bien qu'un porte-parole d'Anthropic ait refusé de fournir d'autres détails sur ces options. “Les équipes auront l'opportunité d'interagir directement avec les experts en la matière d'Anthropic, de l'équipe de l'équipe rouge, d'amélioration, de confiance et de sécurité, ainsi que d'autres équipes pertinentes.”

Le projet d'Anthropic de soutenir de nouveaux benchmarks en intelligence artificielle est louable, à condition, bien sûr, qu'il y ait suffisamment de fonds et de ressources humaines derrière. Mais compte tenu des ambitions commerciales de la société dans la course à l'intelligence artificielle, il pourrait être difficile de lui faire entièrement confiance.

Dans l'article de blog, Anthropic est plutôt transparent sur le fait qu'elle veut que certaines évaluations financées soient en accord avec les classifications de sécurité en intelligence artificielle qu'elle a développées (avec quelques retours de tierces parties comme l'organisation de recherche en intelligence artificielle à but non lucratif METR). Cela relève bien sûr de la prérogative de la société. Mais cela pourrait aussi obliger les candidats au programme à accepter des définitions d'intelligence artificielle “sûre” ou “risquée” avec lesquelles ils pourraient ne pas être entièrement d'accord.

Une partie de la communauté de l'intelligence artificielle risque également d'avoir des objections aux références d'Anthropic aux risques d'intelligence artificielle “catastrophiques” et “trompeurs”, comme ceux des armes nucléaires. De nombreux experts affirment qu'il y a peu de preuves suggérant que l'intelligence artificielle telle que nous la connaissons acquerrait des capacités mettant fin au monde ou dépassant l'homme prochainement, voire jamais. Les allégations d'une “superintelligence” imminente ne servent qu'à détourner l'attention des questions réglementaires urgentes de l'intelligence artificielle, comme les tendances hallucinatoires de l'intelligence artificielle, ajoutent ces experts.

Dans son article, Anthropic écrit qu'elle espère que son programme servira de “catalyseur pour progresser vers un avenir où l'évaluation complète de l'intelligence artificielle sera une norme de l'industrie.” C'est une mission avec laquelle de nombreux efforts ouverts et non affiliés aux entreprises pour créer de meilleurs benchmarks en intelligence artificielle peuvent s'identifier. Mais il reste à voir si ces efforts seront prêts à s'unir avec un fournisseur d'intelligence artificielle dont la fidélité réside in fine envers les actionnaires.