In Breve
- Cosa è Jalapeño?
- Jalapeño è un chip progettato da OpenAI per migliorare le prestazioni nell'inferenza.
- Quali sono i vantaggi di Jalapeño?
- Offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori attuali.
- Quando sarà disponibile Jalapeño?
- Il primo dispiegamento è previsto entro la fine del 2026, con una distribuzione più ampia nel 2027.
Durante la conferenza Hot Chips, OpenAI ha presentato Jalapeño, un chip innovativo progettato per ottimizzare le prestazioni nell’inferenza. I primi risultati dei benchmark, condotti su InferenceX di Semianalysis, rivelano che Jalapeño offre un numero maggiore di token per utente e una maggiore throughput per kilowatt rispetto ai processori di inferenza attualmente considerati all’avanguardia.
Il confronto è stato effettuato utilizzando un sistema Nvidia Blackwell come riferimento, ma OpenAI avverte che la concorrenza potrebbe evolvere prima della piena distribuzione del prodotto. Questo nuovo chip è stato sviluppato in stretta collaborazione con Broadcom, integrando i modelli di OpenAI nel processo di progettazione.
OpenAI prevede che Jalapeño diventi una piattaforma multigenerazionale, in grado di coordinare chip, memoria e modelli. L’architettura del chip è stata progettata per ridurre i ritardi nelle fasi di prefill e comunicazione, che solitamente rappresentano colli di bottiglia durante l’inferenza. Come dichiarato nel comunicato aziendale: “We designed Jalapeño to minimize data movement and communication delays.” Questo approccio consente di allocare e mantenere localmente lo stato del modello, inclusa la KV cache utilizzata durante la generazione delle risposte, mentre il sistema attiva la combinazione adeguata di calcolo, memoria e rete per ogni fase di inferenza.
Richard Ho, responsabile hardware di OpenAI, ha commentato i risultati: “The bottom line is that the results show a very, very significant performance advance over state of the art. Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
OpenAI stima un primo dispiegamento di Jalapeño in volumi molto ridotti entro la fine del 2026, con una distribuzione più significativa prevista per il 2027. Questo sviluppo potrebbe segnare un importante passo avanti nel campo dell’intelligenza artificiale e dell’inferenza, offrendo nuove opportunità per le aziende e gli sviluppatori che cercano di migliorare le loro applicazioni AI.
