OpenAI presenta Jalapeño: il chip per l’inferenza che promette prestazioni superiori
OpenAI ha svelato Jalapeño, un chip progettato per ottimizzare l'inferenza con prestazioni superiori rispetto ai processori attuali.
In Breve
- Cosa è Jalapeño di OpenAI?
- Jalapeño è un chip progettato da OpenAI per ottimizzare le prestazioni di inferenza.
- Quali sono i vantaggi di Jalapeño?
- Offre un miglior rapporto prestazioni-per-potenza e una maggiore throughput rispetto ai chip attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha rivelato il suo nuovo chip, Jalapeño, accompagnato dai risultati di benchmark condotti su InferenceX di Semianalysis. Questi dati evidenziano un incremento sia nel numero di token gestiti per utente sia nella throughput per kilowatt, superando i processori di inferenza attualmente considerati all’avanguardia, come il sistema Nvidia Blackwell. Tuttavia, OpenAI avverte che la concorrenza nel settore potrebbe evolvere rapidamente prima della piena distribuzione del prodotto.
Jalapeño è stato sviluppato in collaborazione con Broadcom, utilizzando i modelli proprietari di OpenAI nel processo di progettazione. L’azienda prevede che questa piattaforma diventi multigenerazionale, con l’obiettivo di coordinare chip, memoria e modelli in modo più efficiente. L’architettura del chip è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che spesso rappresentano colli di bottiglia durante l’inferenza. Come dichiarato nel comunicato aziendale, “Abbiamo progettato Jalapeño per minimizzare il movimento dei dati e i ritardi di comunicazione”.
Una delle innovazioni chiave di Jalapeño è la capacità di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte. Questo approccio consente al sistema di attivare la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza, ottimizzando così le prestazioni complessive.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati ottenuti: “In sostanza, i risultati mostrano un avanzamento delle prestazioni molto significativo rispetto allo stato dell’arte. Jalapeño può gestire un numero maggiore di operazioni AI per unità di potenza, restituendo risposte più rapidamente. È molto efficiente nel servire un gran numero di clienti, mantenendo anche una bassa latenza”.
OpenAI prevede un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa programmata per il 2027. Questo sviluppo potrebbe segnare un passo importante nel settore dell’intelligenza artificiale, ponendo OpenAI in una posizione competitiva nel mercato dei chip per inferenza.
