API GPT-OSS-120B

OpenAI di gpt-oss-120b segna la prima versione open-weight dell'organizzazione da GPT-2, offrendo agli sviluppatori trasparente, personalizzabilee Alte prestazioni Capacità di intelligenza artificiale nell'ambito del Licenza Apache 2.0Progettato per sofisticati ragionamento e al agentico applicazioni, questo modello democratizza l'accesso a tecnologie avanzate in linguaggi di grandi dimensioni, consentendo l'implementazione in sede e una messa a punto approfondita.

Caratteristiche principali e filosofia di progettazione

I modelli GPT-OSS sono progettati come LLM generici, solo testo. Supportano compiti cognitivi di alto livello, tra cui ragionamento matematico, analisi strutturata e comprensione del linguaggio. A differenza dei modelli commerciali chiusi come GPT-4, GPT-OSS consente il download e l'utilizzo completi dei pesi del modello, offrendo a ricercatori e sviluppatori un accesso senza precedenti per ispezionare, perfezionare e distribuire i modelli interamente sulla propria infrastruttura.

Informazioni di base

• Scheda Sintetica: 117 miliardi totali, 5.1 miliardi attivo via Mix di esperti (MoE)
• Licenza: Apache 2.0 per uso commerciale e accademico senza restrizioni
• Finestra di contesto: Fino a 128 K token, supportando input di formato lungo e ragionamento multi-documento
• Catena di pensiero: Pieno Culla output per verificabilità e controllo dettagliato
• Risultati strutturati: Supporto nativo per JSON, XML e schemi personalizzati.

Dettagli tecnici

GPT-OSS sfrutta un trasformatore spina dorsale aumentata con un Mix di esperti (MoE) architettura per ottenere un'attivazione sparsa e ridurre i costi di inferenza. L' gpt-oss-120b il modello contiene Esperti 128 distribuito su 36 piani, attivando 4 esperti per token (5.1 B parametri attivi), mentre gpt-oss-20b utilizza Esperti 32 ancora 24 piani, attivando 4 esperti per token (3.6 B parametri attivi). Impiega alternanza di attenzione densa e localmente a bande sparse, attenzione multi-query raggruppata (gruppo di 8 persone) e supportare un 128 k Finestra di contesto del token, senza pari finora nelle offerte open-weight. L'efficienza della memoria è ulteriormente migliorata tramite la **quantizzazione a precisione mista a 4 bit**, che consente contesti più ampi su hardware di base.

I modelli GPT-OSS sono stati sottoposti a rigorosi benchmarking rispetto a set di dati noti, rivelando prestazioni competitive, se non superiori, rispetto a modelli proprietari di dimensioni simili.

Benchmarking e valutazione delle prestazioni

Sui benchmark standard, gpt-oss-120b corrisponde o supera la proprietà di OpenAI o4-mini modello:

• MMLU (Comprensione linguistica multitasking di massa): ~88% di precisione
• Codeforces Elo (ragionamento di codifica): ~ 2205
• AIME (gara di matematica con strumenti): ~ 87.9%
• HealthBench: Supera significativamente o4-mini nelle attività di QA e diagnosi clinica
• Tau-Bench (attività di vendita al dettaglio + ragionamento): ~62% in media

Versione del modello

• Variante predefinita: gpt-oss-120b (V1.0)
• Parametri attivi: 5.1 B (selezione dinamica MoE)
• Versioni successive: Patch pianificate per migliorare filtri di sicurezza e al messa a punto di domini specializzati

Limiti

Nonostante la loro potenza, i modelli GPT-OSS presentano alcune limitazioni:

• Interfaccia solo testo: A differenza di GPT-4o o Gemini, GPT-OSS non supporta input multimodali (immagini, audio, video).
• Nessuna trasparenza del set di addestramento: OpenAI non ha rilasciato dettagli sui set di dati specifici utilizzati, il che potrebbe sollevare preoccupazioni in merito alla riproducibilità accademica o alla verifica dei pregiudizi.
• Incoerenza delle prestazioni: Alcuni benchmark della comunità (ad esempio, Simple-Bench) riportano risultati scarsi in test di ragionamento specifici (~22% su alcuni compiti per 120b), suggerendo le prestazioni possono variare significativamente tra i domini.
• Limitazioni hardware: Il modello 120B richiede una notevole quantità di elaborazione per l'inferenza locale, rendendolo inaccessibile agli sviluppatori occasionali senza accesso alla GPU.
• Compromessi sulla sicurezza: Sebbene testati in scenari di fine-tuning avversariali, la natura open-weight implica che questi modelli possano comunque essere utilizzati in modo improprio, ad esempio per spam, disinformazione o jailbreak del modello, se non gestiti correttamente.

Tuttavia, OpenAI segnala che i modelli gpt-oss non sollevano rischi per la sicurezza a livello di frontiera attuale, in particolare nei settori del biorischio o della sicurezza informatica.

Come chiamare gpt-oss-120b API di CometAPI

gpt-oss-120b Prezzi API in CometAPI: sconto del 20% sul prezzo ufficiale:

Passi richiesti

• Accedere cometapi.comSe non sei ancora un nostro utente, registrati prima
• Ottieni la chiave API delle credenziali di accesso dell'interfaccia. Fai clic su "Aggiungi token" nel token API nell'area personale, ottieni la chiave token: sk-xxxxx e invia.
• Ottieni l'URL di questo sito: https://api.cometapi.com/

Usa il metodo

1. Selezionare “gpt-oss-120b"endpoint" per inviare la richiesta API e impostarne il corpo. Il metodo e il corpo della richiesta sono reperibili nella documentazione API del nostro sito web. Il nostro sito web fornisce anche il test Apifox per vostra comodità.
2. Sostituire con la tua chiave CometAPI effettiva dal tuo account.
3. Inserisci la tua domanda o richiesta nel campo contenuto: il modello risponderà a questa domanda.
4. Elaborare la risposta API per ottenere la risposta generata.

CometAPI fornisce un'API REST completamente compatibile, per una migrazione senza interruzioni. Dettagli chiave per  Documento API:

• endpoint: https://api.cometapi.com/v1/chat/completions
• Parametro del modello: gpt-oss-120b
• Autenticazione: Bearer YOUR_CometAPI_API_KEY
• Tipo di contenuto: application/json .
• Parametri fondamentali: prompt, max_tokens_to_sample, temperature, stop_sequences

Sebbene GPT-OSS possa essere utilizzato completamente offline, supporta anche API di chat compatibili con OpenAI quando ospitato su servizi come Hugging Face o AWS Bedrock.

Ecco un esempio di integrazione tramite Python:

from openai import OpenAI
import os

client = OpenAI(
    base_url="https://api.cometapi.com/v1/chat/completions",  # or AWS/Azure provider

    api_key=cometapi_key
)

response = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[
        {"role": "user", "content": "Explain how quantum tunneling works."}
    ]
)

print(response.choices.message.content)

In alternativa, è possibile eseguire i modelli localmente utilizzando strumenti come LMDeploy, Inferenza sulla generazione di testo (TGI), o vLLM.

Vedere anche GPT-OSS-20B