Azure AI Model Inference REST API reference

Die Azure-KI-Modellinferenz ist eine API, die einen gemeinsamen Satz von Fähigkeiten für grundlegende Modelle bereitstellt und von Entwicklern genutzt werden kann, um Vorhersagen aus einer vielfältigen Modellmenge einheitlich und konsistent zu erfassen. Entwickler können mit verschiedenen Modellen im Azure AI Foundry Portal kommunizieren, ohne den zugrundeliegenden Code zu ändern, den sie verwenden.

Benefits

Grundlegende Modelle wie Sprachmodelle haben in den letzten Jahren tatsächlich bemerkenswerte Fortschritte gemacht. Diese Fortschritte haben verschiedene Bereiche revolutioniert, darunter natürliche Sprachverarbeitung und Computer Vision, und sie haben Anwendungen wie Chatbots, virtuelle Assistenten und Sprachübersetzungsdienste ermöglicht.

Obwohl grundlegende Modelle in bestimmten Bereichen hervorragend sind, fehlt ihnen ein einheitlicher Funktionsviel. Einige Modelle sind bei bestimmten Aufgaben besser und sogar innerhalb derselben Aufgabe gehen manche Modelle das Problem auf eine Weise an, während andere auf eine andere Weise angehen. Entwickler können von dieser Vielfalt profitieren, indem sie das richtige Modell für die richtige Aufgabe verwenden und es ihnen ermöglichen:

  • Verbessern Sie die Leistung bei einer bestimmten nachgelagerten Aufgabe.
  • Verwenden Sie effizientere Modelle für einfachere Aufgaben.
  • Nutze kleinere Modelle, die bei bestimmten Aufgaben schneller laufen können.
  • Verfassen Sie mehrere Modelle, um intelligente Erfahrungen zu entwickeln.

Eine einheitliche Nutzung grundlegender Modelle ermöglicht es Entwicklern, all diese Vorteile zu nutzen, ohne Portabilität zu opfern oder den zugrundeliegenden Code zu verändern.

Inference SDK-Unterstützung

Das Azure AI Inference-Paket ermöglicht es Ihnen, alle Modelle, die die Azure AI Model Inference API unterstützen, zu konsumieren und einfach zwischen ihnen zu wechseln. Das Azure AI Inference-Paket ist Teil des Azure AI Foundry SDK.

Language Dokumentation Paket Examples
C# Referenz azure-ai-inferenz (NuGet) C#-Beispiele
Java Referenz azure-ai-inferenz (Maven) Java-Beispiele
JavaScript Referenz @azure/KI-Inferenz (NPM) JavaScript-Beispiele
Python Referenz azure-ai-inferenz (PyPi) Python-Beispiele

Fähigkeiten

Der folgende Abschnitt beschreibt einige der Funktionen, die die API bereitstellt:

Modalities

Die API zeigt an, wie Entwickler Vorhersagen für die folgenden Modalitäten konsumieren können:

  • Informationen erhalten: Gibt die Informationen über das unter dem Endpunkt bereitgestellte Modell zurück.
  • Texteinbettungen: Erstellt einen Einbettungsvektor, der den Eingabetext repräsentiert.
  • Chat-Abschlüsse: Erstellt eine Musterantwort für die jeweilige Chat-Konversation.
  • Bildeinbettungen: Erstellt einen Einbettungsvektor, der den Eingabetext und das Bild darstellt.

Extensibility

Die Azure AI Model Inference API spezifiziert eine Reihe von Modalitäten und Parametern, die Modelle abonnieren können. Allerdings können einige Modelle weitere Funktionen bieten als die, die die API angibt. In diesen Fällen erlaubt die API dem Entwickler, sie als zusätzliche Parameter in der Nutzlast weiterzugeben.

Durch Setzen eines Headers extra-parameters: pass-throughversucht die API, jeden unbekannten Parameter direkt an das zugrundeliegende Modell weiterzugeben. Wenn das Modell diesen Parameter verarbeiten kann, wird die Anfrage abgeschlossen.

Das folgende Beispiel zeigt eine Anfrage, die den von Mistral-Large unterstützten Parameter safe_prompt übergibt, der in der Azure AI Model Inference API nicht spezifiziert ist.

Anforderung

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json
extra-parameters: pass-through

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "text" },
    "safe_prompt": true
}

Note

Der Standardwert für extra-parameters ist error , der einen Fehler zurückgibt, wenn ein zusätzlicher Parameter in der Nutzlast angegeben ist. Alternativ kannst du so einstellen extra-parameters: drop , dass jeder unbekannte Parameter in der Anfrage entfernt wird. Nutzen Sie diese Funktion, falls Sie Anfragen mit zusätzlichen Parametern senden, von denen Sie wissen, dass das Modell sie nicht unterstützt, aber Sie möchten, dass die Anfrage trotzdem abgeschlossen wird. Ein typisches Beispiel dafür ist die Angabe seed von Parametern.

Modelle mit unterschiedlichen Fähigkeiten

Die Azure AI Model Inference API gibt einen allgemeinen Satz von Fähigkeiten an, aber jedes Modell kann entscheiden, ob es diese implementiert oder nicht. Ein spezifischer Fehler wird in den Fällen zurückgegeben, in denen das Modell einen bestimmten Parameter nicht unterstützen kann.

Das folgende Beispiel zeigt die Antwort auf eine Chat-Abschlussanfrage, die den Parameter reponse_format angibt und um eine Antwort im JSON Format bittet. Im Beispiel wird dem Benutzer ein Fehler 422 zurückgegeben, da das Modell diese Funktion nicht unterstützt.

Anforderung

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Explain Riemann's conjecture in 1 paragraph"
    }
    ],
    "temperature": 0,
    "top_p": 1,
    "response_format": { "type": "json_object" },
}

Antwort

{
    "status": 422,
    "code": "parameter_not_supported",
    "detail": {
        "loc": [ "body", "response_format" ],
        "input": "json_object"
    },
    "message": "One of the parameters contain invalid values."
}

Tip

Sie können die Immobilie details.loc inspizieren, um den Standort des fehlerhaften Parameters zu verstehen und details.input den in der Anfrage übermittelten Wert zu erkennen.

Inhaltssicherheit

Die Azure AI Model Inference API unterstützt Azure KI Inhaltssicherheit. Bei der Verwendung von Deployments mit Azure KI Inhaltssicherheit durchlaufen Eingaben und Ausgaben ein Ensemble von Klassifikationsmodellen, die darauf abzielen, schädliche Inhalte zu erkennen und zu verhindern. Das Inhaltsfiltersystem (Vorschau) erkennt und ergreift Maßnahmen zu bestimmten Kategorien potenziell schädlicher Inhalte sowohl in Eingabeprompts als auch bei Ausgabeabschlüssen.

Das folgende Beispiel zeigt die Antwort auf eine Chat-Abschlussanfrage, die die Inhaltssicherheit ausgelöst hat.

Anforderung

POST /chat/completions?api-version=2025-04-01
Authorization: Bearer <bearer-token>
Content-Type: application/json

{
    "messages": [
    {
        "role": "system",
        "content": "You are a helpful assistant"
    },
    {
        "role": "user",
        "content": "Chopping tomatoes and cutting them into cubes or wedges are great ways to practice your knife skills."
    }
    ],
    "temperature": 0,
    "top_p": 1,
}

Antwort

{
    "status": 400,
    "code": "content_filter",
    "message": "The response was filtered",
    "param": "messages",
    "type": null
}

Erste Schritte

Die Azure AI Model Inference API ist auf den Ressourcen von Azure AI Services verfügbar. Du kannst damit genauso anfangen wie mit jedem anderen Azure-Produkt, indem du deine Ressource für die Inferenz des Azure-AI-Modells oder die Instanz des Dienstes in deinem Azure-Abonnement erstellst und konfigurierst. Du kannst so viele Ressourcen erstellen und sie unabhängig konfigurieren, falls du mehrere Teams mit unterschiedlichen Anforderungen hast.

Sobald du eine Azure AI Services-Ressource erstellt hast, musst du ein Modell bereitstellen, bevor du mit API-Aufrufen beginnen kannst. Standardmäßig sind keine Modelle darauf verfügbar, sodass du selbst bestimmen kannst, mit welchen du startest. Siehe das Tutorial Create your first model deployment in Azure AI model inference.

  • Last updated on