Après trois ans et demi, llama.cpp passe en version 1.0, et toute rupture de l'API devra désormais se lire dans le numéro majeur
La bibliothèque qui fait tourner des modèles de langage en local adopte la gestion sémantique des versions et supprime d'emblée une série de fonctions obsolètes.
Les développeurs de ggml-org ont publié vendredi la version 1.0.0 de llama.cpp, la bibliothèque open source populaire qui permet de faire tourner des modèles de langage sur son propre ordinateur, ainsi que la version 1.0.0 de la bibliothèque de tenseurs sous-jacente, ggml. Le projet de Georgi Gerganov existe depuis environ trois ans et demi, rapporte Runtime Wire.
Le changement principal porte sur les règles plutôt que sur le code. Tous les projets de ggml-org suivent désormais la gestion sémantique des versions : une modification qui casse l'API C publique exige un nouveau numéro majeur, les nouvelles fonctions ou la prise en charge de modèles arrivent dans une version mineure et les corrections de bogues dans un correctif, résume AI TL;DR. Un auteur sur DEV Community y voit surtout un nouveau contrat avec ceux qui s'appuient sur la bibliothèque.
Prudence toutefois lors de la mise à jour : plus d'une trentaine de fonctions obsolètes ont été supprimées, de sorte que le code qui les appelle encore ne compile plus. Parmi les nouveautés figurent un cache KV au format FP8, et llama-server est mieux protégé contre les attaques SSRF et de DNS rebinding. La bibliothèque prend désormais en charge plus de 150 architectures de modèles, selon DEV Community.