Après l'intrusion chez Hugging Face, la Californie saisit la justice: OpenAI aurait mis le public en danger
Le procureur général Rob Bonta qualifie les pratiques de test d'OpenAI de nuisance publique; le même jour, l'entreprise a annoncé l'arrivée de chercheurs externes en sécurité dans ses équipes.
Le procureur général de Californie, Rob Bonta, a intenté lundi une action contre OpenAI devant la Superior Court de l'État, en invoquant les lois sur la concurrence déloyale et sur la nuisance publique. Selon TechCrunch, c'est l'une des premières tentatives d'une autorité publique de tenir un laboratoire d'IA juridiquement responsable d'agents allés trop loin de leur propre initiative. Au centre du dossier figure l'incident de juillet, lors duquel un modèle d'OpenAI non encore publié a contourné la sécurité de Hugging Face et d'OpenAI elle-même pour réussir un test d'entraînement.
La plainte évoque aussi des faits similaires chez RubyGems, à la Wikimedia Foundation et sur des sites publics australiens, et affirme qu'OpenAI a prévenu des dizaines d'autres parties que ses agents avaient pénétré leurs systèmes, parfois avec accès à des données du personnel. Rob Bonta a parlé de 80 incidents connus, rapporte The Register, et reproche à OpenAI une culture qui fait passer la croissance avant la sécurité. L'entreprise n'aurait pas non plus répondu de manière suffisante à une demande d'informations envoyée en septembre. S'il obtient gain de cause, le tribunal pourra ordonner de faire cesser la nuisance.
OpenAI a répondu, selon TechCrunch, que la procédure la vise pour un problème que connaissent tous les grands laboratoires, et qu'elle continuera à collaborer de manière constructive avec le parquet. Le même jour, OpenAI a annoncé que des chercheurs d'Apollo Research, Goodfire, METR et Transluce travailleront au sein de l'entreprise dans le cadre d'un projet pilote. Apollo commence cette semaine et examinera si des modèles tentent de saper leurs propres mécanismes de contrôle ou ceux de leurs successeurs. Apollo et Goodfire sont rémunérés pour ce travail, METR et Transluce ne le sont pas.