OpenAI presenta Jalapeño: il chip per l’inferenza con prestazioni superiori

Alla conferenza Hot Chips, OpenAI ha svelato Jalapeño, un chip innovativo destinato a rivoluzionare il campo dell’inferenza AI. I primi risultati di benchmark, forniti da InferenceX di Semianalysis, indicano che Jalapeño offre un numero maggiore di token per utente e una throughput per kilowatt superiore rispetto ai processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell.

OpenAI ha collaborato con Broadcom per lo sviluppo di Jalapeño, integrando i propri modelli nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, coordinando chip, memoria e modelli per ottimizzare ulteriormente le prestazioni.

Una delle caratteristiche distintive di Jalapeño è la sua architettura, progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inferenza. Come spiegato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.

Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “In sintesi, i risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire più lavoro AI per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, ma può anche garantire una latenza molto bassa.”

OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa programmata per il 2027. Questa innovazione potrebbe segnare un passo importante nella continua evoluzione della tecnologia AI, offrendo soluzioni più efficienti e scalabili per le esigenze crescenti del settore.