Criteri di manutenzione dei modelli di intelligenza artificiale generativi

Questo articolo descrive i criteri di manutenzione del modello per le API del modello di base con pagamento in base al token, le API del modello di base con portata provisionata e l'ottimizzazione fine-tuning del modello di base.

Per continuare a supportare i modelli più all'avanguardia, Databricks potrebbe aggiornare i modelli supportati o ritirare i modelli meno recenti per queste offerte.

Politica di pensionamento del modello

I criteri di ritiro del modello spiegano in che modo Databricks notifica quando un modello supportato viene impostato per il ritiro, cosa accade durante il periodo di transizione e cosa aspettarsi alla data di ritiro. Le sequenze temporali differiscono per offerta e categoria di modelli, come riepilogato nelle sezioni seguenti.

Per i modelli attualmente ritirati e le date di ritiro pianificate, vedere Modelli ritirati. Per i modelli di partner, vedere Criteri di ritiro del modello di partner.

API del modello di base con pagamento in base al token

La tabella seguente riepiloga i criteri di ritiro per le API del modello foundation con pagamento in base al token.

API per modelli fondamentali con throughput allocato

La tabella seguente riepiloga la politica di dismissione per le API del modello di base con throughput provisionato.

Criteri di ritiro del modello di partner

I modelli partner sono modelli forniti da partner di terze parti, in particolare OpenAI, Anthropic e Google, disponibili tramite le API del modello di base. Per questi modelli partner, Databricks segue in genere le stesse sequenze temporali e criteri di deprecazione descritti per i modelli di velocità effettiva con provisioning e pagamento per token.

Tuttavia, le date di ritiro fornite dai partner potrebbero essere più brevi dei periodi di transizione pubblicati da Databricks. In questi casi, Databricks tenta di colmare il divario reindirizzando temporaneamente i modelli a una versione simile, in modo che i clienti ricevano il tempo di transizione completo.

Ad esempio, se una deprecazione di un modello con pagamento in base al token viene annunciata con lead time di un mese anziché tre, Databricks reindirizza il modello per altri due mesi per evitare interruzioni immediate e consentire il tempo per la migrazione. Le query hanno esito negativo alla fine del periodo di tre mesi completo.

Ottimizzazione del modello di base

La tabella seguente riepiloga la politica di pensionamento per l'ottimizzazione del modello di base.

Aggiornamenti del modello

Databricks potrebbe inviare aggiornamenti incrementali del modello per offrire ottimizzazioni. Quando un modello viene aggiornato, l'URL dell'endpoint rimane invariato, ma l'ID modello nell'oggetto risposta cambia in modo da riflettere la data dell'aggiornamento. Ad esempio, se un aggiornamento viene fornito a meta-llama/Meta-Llama-3.3-70B il 3/4/2024, il nome del modello nell'oggetto risposta viene aggiornato a meta-llama/Meta-Llama-3.3-70B-030424. Databricks gestisce una cronologia delle versioni degli aggiornamenti a cui è possibile fare riferimento.

modelli ritirati

Le sezioni seguenti riepilogano i ritiri dei modelli correnti e futuri per le offerte di funzionalità indicate.

Ritiri delle API del modello di base con pagamento in base al token

La tabella seguente illustra i ritiri dei modelli, le date di ritiro e i modelli di sostituzione consigliati da usare per le API modello di base che pagano per token i carichi di lavoro. Databricks consiglia di eseguire la migrazione delle applicazioni per l'uso di modelli sostitutivi prima della data di ritiro indicata.

Se hai bisogno di supporto a lungo termine per una versione specifica del modello, Databricks consiglia di utilizzare le API del modello di base per la velocità effettiva con provisioning per i carichi di lavoro di servizio.

Disattivazione della capacità di throughput fornita nelle API del Modello Fondamentale

La tabella seguente illustra le dismissioni della famiglia di modelli, le date di dismissione e i modelli di sostituzione consigliati da usare per le API del modello foundation con fornitura di throughput per gestire carichi di lavoro. Databricks consiglia di eseguire la migrazione delle applicazioni per l'uso di modelli sostitutivi prima della data di ritiro indicata.

Ritiri del modello di base

La tabella seguente illustra le famiglie di modelli ritirati, le date di ritiro e le famiglie di modelli di sostituzione consigliate da usare per i carichi di lavoro di ottimizzazione del modello foundation. Databricks consiglia di eseguire la migrazione delle applicazioni per l'uso di modelli sostitutivi prima della data di ritiro indicata.

Trovare carichi di lavoro che usano modelli ritirati

Usare la query seguente per trovare i carichi di lavoro che usano modelli deprecati e identificare i proprietari.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC