ZML presenta LLMD: il server di inferenza che rivoluziona l’IA su chip eterogenei
La startup francese ZML lancia LLMD, un server di inferenza per modelli di linguaggio open source, promettendo di superare i vincoli dei fornitori di chip.
In Breve
- Che cos'è ZML LLMD?
- ZML LLMD è un server di inferenza progettato per eseguire modelli di linguaggio open source su vari chip.
- Qual è l'obiettivo di ZML LLMD?
- L'obiettivo è superare i vincoli software e architetturali, permettendo l'uso di chip diversi per migliorare l'efficienza.
- Chi ha fondato ZML?
- ZML è stata fondata da Steeve Morin, ex VP of Engineering di Zenly.
La startup francese ZML ha recentemente introdotto LLMD, un server di inferenza progettato per eseguire modelli di linguaggio open source su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, pur non essendo open source, è stato lanciato gratuitamente con l’intento di superare i vincoli software e architetturali che spesso portano a un lock-in verso singoli fornitori.
Il principale obiettivo di LLMD è quello di permettere a imprese e operatori cloud di utilizzare una combinazione di chip, anche quelli meno costosi o più efficienti dal punto di vista energetico, per ottenere guadagni di efficienza e facilitare la diffusione dell’intelligenza artificiale. Come affermato dal fondatore di ZML, Steeve Morin: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA».
ZML ha anche manifestato l’intenzione di collaborare con nuovi produttori di chip, molti dei quali europei, citando nomi come Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha aggiunto che l’azienda sta lavorando su soluzioni innovative che non sono ancora state sviluppate altrove, affermando: «Siamo arrivati al punto in cui stiamo co-progettando il silicio».
Il lancio di LLMD avviene in un contesto di mercato altamente competitivo, con operatori come Baseten, Inferact e RadixArk, oltre a progetti open source come vLLM e SGLang che offrono funzionalità simili. Nonostante ciò, ZML mantiene rapporti di collaborazione con Nvidia.
Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori di spicco, tra cui 20VC, commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che ha precedentemente ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha dichiarato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di stabilire eventuali politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio».
Tra i sostenitori del progetto figurano nomi noti come Solomon Hykes, Clément Delangue, Julien Chaumond e Yann LeCun, evidenziando l’interesse crescente verso l’ecosistema europeo dell’IA. Morin ha sottolineato che la realizzazione di ZML non sarebbe stata possibile senza il contesto innovativo di Parigi.
