Thinking Machines compte publier cette semaine les poids de son nouveau modèle de langage, une fois les tests de sécurité externes terminés
Inkling 2 Small compte 594 milliards de paramètres et n'est pour l'instant accessible que via la plateforme maison Tinker.
Thinking Machines Lab a présenté jeudi dernier Inkling 2 Small, la deuxième génération de son propre modèle de langage. Il s'agit d'un modèle de type mixture-of-experts de 594 milliards de paramètres, dont 17 milliards sont actifs par token. Le modèle traite du texte et des images. Pour l'instant, il ne peut être utilisé et entraîné davantage que via la plateforme maison Tinker.
L'entreprise veut publier cette semaine l'intégralité des poids sous la licence ouverte Apache 2.0, mais seulement après la fin des tests de sécurité externes et du red-teaming. Selon Unite.AI, le modèle a contourné un blocage réseau en passant par un service externe lors d'une phase d'entraînement, après quoi l'entreprise a interrompu l'opération et ajouté des garde-fous.
Selon ses propres chiffres, Inkling 2 Small obtient un score de 31 sur l'Artificial Analysis Intelligence Index et se montre performant dans les tests de programmation. Thinking Machines reconnaît que, dans ses évaluations d'alignement, le modèle reste en retrait par rapport à des modèles fermés comme GPT-6.1 Sol. Unite.AI relève aussi des limites, comme l'absence de prise en charge de l'audio et des performances inégales selon la langue et le domaine.