ZML lancia LLMD: una nuova era per l’inferenza AI su chip eterogenei

Un’innovazione nel panorama dell’IA

La startup francese ZML ha recentemente lanciato LLMD, un server di inferenza progettato per eseguire modelli open source di linguaggio su una vasta gamma di chip, tra cui Nvidia, AMD, Google TPU, Apple Metal e Intel Arc. Questo prodotto, sebbene distribuito gratuitamente al lancio, non è open source e si propone di superare i vincoli software e architetturali che spesso portano a un lock-in verso singoli fornitori.

Obiettivi e vantaggi di LLMD

LLMD mira a massimizzare le prestazioni disponibili su hardware eterogeneo, consentendo a imprese e operatori cloud di utilizzare un mix di chip, anche quelli meno costosi o più efficienti dal punto di vista energetico. Steeve Morin, fondatore di ZML, ha dichiarato: «L’idea è restituire alle persone il potere di creare il proprio sistema e ottenere reali guadagni di efficienza che permettano la diffusione dell’IA».

Collaborazioni strategiche e sviluppo futuro

ZML ha in programma di collaborare con nuovi produttori di chip, molti dei quali europei. Tra i nomi citati ci sono Axelera, Fractile, Kalray, OLIX, Q.ANT, SiPearl, SpiNNcloud e VSORA. Morin ha aggiunto: «Siamo arrivati al punto in cui stiamo co-progettando il silicio», evidenziando un approccio innovativo nel settore.

Un mercato competitivo

Il lancio di LLMD avviene in un contesto di crescente competizione, con operatori come Baseten, Inferact e RadixArk, oltre a progetti open source come vLLM e SGLang che offrono funzionalità simili. Nonostante ciò, ZML mantiene rapporti strategici con Nvidia, evidenziando la sua volontà di rimanere competitiva nel settore.

Investimenti e crescita futura

Con sede a Parigi e un team di circa 20 persone, ZML ha raccolto 20 milioni di dollari da investitori come 20VC, >commit, AALVC, Drysdale Ventures, Kima Ventures, Kindred Capital, LocalGlobe e Puzzle Ventures. Morin, che in precedenza ha ricoperto il ruolo di VP of Engineering di Zenly, acquisita da Snapchat nel 2017, ha spiegato che il rilascio gratuito di LLMD serve a misurare l’utilizzo prima di decidere eventuali politiche commerciali: «Preferisco misurare e poi generare ricavi dove è più efficace, senza ostacolare stupidamente la crescita perché sono stato troppo avido fin dall’inizio».

Conclusioni

Il lancio di LLMD rappresenta un passo significativo verso una maggiore flessibilità e efficienza nell’uso dell’intelligenza artificiale, permettendo alle aziende di sfruttare al meglio le risorse hardware disponibili. Con un forte supporto da parte di investitori e la volontà di innovare, ZML si posiziona come un attore chiave nel panorama europeo dell’IA.