Was ist der Agent-Optimierer? (Vorschau)

Important

Agent Optimizer ist derzeit als Vorschau verfügbar. Diese Vorschauversion wird ohne Vereinbarung zum Servicelevel bereitgestellt und sollte nicht für Produktionsworkloads verwendet werden. Manche Features werden möglicherweise nicht unterstützt oder sind nur eingeschränkt verwendbar. Weitere Informationen finden Sie unter Supplementale Nutzungsbedingungen für Microsoft Azure Previews.

Der Agent-Optimierer im Foundry Agent Service verbessert Ihre gehosteten Agents automatisch, indem sie ihr Verhalten auswerten und bessere Konfigurationen generieren. Diese Konfigurationen umfassen in erster Linie verbesserte Systemanweisungen und entdeckte Fähigkeiten.

Die Entwicklung effektiver KI-Agenten erfordert umfangreiches Prompt-Engineering. Sie stellen einen Agent mit handgemachten Anweisungen bereit, testen sie anhand realer Szenarien, identifizieren Schwachstellen, überarbeiten die Eingabeaufforderung und wiederholen. Diese Schleife ist langsam, subjektiv und skaliert nicht. Der Agent-Optimierer automatisiert diesen Zyklus, sodass Sie sich auf die Kernlogik Ihres Agents konzentrieren können.

Funktionsweise des Agent-Optimierrs

Der Agent-Optimierer führt einen Closed-Loop-Bewertungs- und Verbesserungszyklus aus:

  1. Bewerten Sie die Baseline. Der Optimierer ruft Ihren Agent anhand eines Datasets von Aufgaben auf und bewertet jede Antwort anhand von Kriterien, die Sie definieren oder einen integrierten Standardsatz festlegen. Der Ausgangswert ist der Wert Ihres Agenten vor jeglichen Änderungen.
  2. Generieren Sie Kandidaten. Der Optimierer erzeugt alternative Konfigurationen, die als Kandidaten bezeichnet werden – umgeschriebene Anweisungen oder ermittelte Fähigkeiten – zur Verbesserung der Bewertungen.
  3. Kandidaten auswerten. Der Optimierer testet jeden Kandidaten anhand desselben Datasets.
  4. Bewerten und empfehlen. Der Optimierer bewertet ergebnisse nach zusammengesetzter Bewertung, einem Wert zwischen 0,0 und 1,0, der die aggregierte Leistung darstellt, und markiert den besten Kandidaten mit ★ .
  5. Stellen Sie den Gewinner bereit. Ein einzelner Befehl fördert den Gewinnerkandidaten und speichert seine Konfiguration in der Umgebung Ihres Agents.

Der gesamte Prozess wird in der Cloud ausgeführt. Beginnen Sie es mit azd ai agent optimize (erfordert die azd CLI-Erweiterung). Die Ausführung dauert je nach Datasetgröße 5 bis 20 Minuten.

Warning

Während der Optimierung wertet der Optimierer Ihren Agenten aus, indem er ihn gegen jede Aufgabe in Ihrem Dataset aufruft. Wenn Ihr Agent externe Tools wie APIs, Datenbanken oder Dienste von Drittanbietern aufruft, werden diese Aufrufe während jeder Auswertungsausführung ausgeführt. Um unbeabsichtigte Nebenwirkungen (Gebühren, Zustandsänderungen oder Ratenbegrenzung) zu vermeiden, sollten Sie während der Optimierung die Verwendung von Testendpunkten oder das Simulieren von Toolimplementierungen in Betracht ziehen.

Tip

Um optimale Ergebnisse zu erzielen, generieren Sie vor dem Ausführen der Optimierung mit azd ai agent eval generate einen Datensatz, der auf Ihren Agenten zugeschnitten ist. Der Optimierer erkennt automatisch das generierte eval.yaml. Ausführliche Informationen finden Sie unter Erstellen eines Auswertungsdatensatzes.

Optimierungsziele

Ein Optimierungsziel ist ein bestimmter Aspekt der Konfiguration Ihres Agents, den der Optimierer verbessern kann. Der Agent-Optimierer bestimmt automatisch, welche Ziele basierend auf der Basiskonfiguration Ihres Agents und den eval.yaml Einstellungen aktiviert werden sollen.

Optimierung von Anweisungen

Der Optimierer schreibt den System-Prompt Ihres Agenten um und verfeinert ihn. Es analysiert die Ausgangsleistung und generiert Prompt-Varianten, die höhere Bewertungen erzielen.

Wenn sie aktiviert wird: Die Optimierung von Anweisungen wird ausgeführt, wenn Ihr Agent über eine instructions.md Datei im Basiskonfigurationsverzeichnis verfügt. Dies ist das am häufigsten verwendete Optimierungsziel. Es eignet sich gut zur Verbesserung der Antwortqualität, zur Einhaltung von Aufgabenanforderungen und zur Reduzierung ungenauer Ausgaben.

Qualifikationsverbesserung

Der Optimierer verbessert wiederverwendbare Fähigkeiten, die Ihr Agent verwendet. Es optimiert vorhandene Kompetenzgremien (den Implementierungsinhalt in jeder SKILL.md Datei), während die Beschreibungen der Fähigkeiten unverändert bleiben. Der Agent lädt diese Fähigkeiten durch load_config() und fügt sie an den Anweisungssatz an.

Wenn sie aktiviert wird: Die Verbesserung der Fähigkeiten wird ausgeführt, wenn Ihr Agent über ein skills/ Verzeichnis in der Basiskonfiguration verfügt. Verwenden Sie Fähigkeiten für Agents, die strukturierte, wiederholbare Verhaltensweisen benötigen. Zum Beispiel ein Supportmitarbeiter, der ein bestimmtes Eskalationsverfahren befolgt, oder ein Reiseberater, der Budgetvorgaben prüft.

Tooloptimierung

Der Optimierer verbessert Toolbeschreibungen und Parameterbeschreibungen, damit das Modell Tools präziser aufrufen kann. Parametertypen, Standardwerte oder erforderliche Felder werden nicht geändert– nur die Beschreibungen in natürlicher Sprache werden optimiert.

Wenn sie aktiviert wird: Die Tooloptimierung wird ausgeführt, wenn Ihr Agent über eine tools.json Datei in der Basiskonfiguration verfügt. Der Optimierer analysiert, welche Toolaufrufe erfolgreich oder fehlschlagen, und generiert klarere Beschreibungen und Parameterbeschreibungen.

Modellauswahl

Der Optimierer bewertet Ihren Agenten über mehrere Modellbereitstellungen hinweg in einem einzigen Durchlauf, um den besten Kompromiss zwischen Qualität und Kosten zu finden. Beispielsweise kann festgestellt werden, ob gpt-4.1-mini Ihre Workload zu geringeren Kosten bewältigt oder ob gpt-4.1 eine Qualitätsverbesserung bietet, die die zusätzlichen Tokenkosten rechtfertigt.

Bei Aktivierung: Die Modellauswahl erfolgt, wenn Sie optimization_config.model_search_space in Ihrem eval.yaml mit einer Liste der zu bewertenden Modellimplementierungen angeben. Der Optimierer bewertet jede Modelloption mit demselben Dataset und zeigt die Trade-Offs an.

Note

Wenn die Modellliste die aktuelle Modellimplementierung Ihres Agent enthält, wird diese automatisch aus den Kandidaten entfernt (da die Baseline dieses Modell bereits repräsentiert). Wenn nach dieser Entfernung keine Modelle verbleiben, erhalten Sie einen Überprüfungsfehler.

Konfigurieren von Modellkandidaten in Ihrem eval.yaml:

# eval.yaml
options:
  optimization_config:
    model_search_space:
      - gpt-4.1
      - gpt-4.1-mini
      - gpt-4o

Sie können die Modellauswahl mit der Unterrichts- und Qualifikationsoptimierung in derselben Ausführung kombinieren. Der Optimierer bestimmt automatisch, welche Ziele basierend auf Ihrer Basiskonfiguration und den optimization_config Einstellungen verbessert werden sollen.

Auflösung der Konfiguration

Wenn Ihr Agent gestartet wird, überprüft die load_config() Funktion mehrere Quellen in der Reihenfolge: inline JSON während der Kandidatenauswertung, die Resolver-API für einen abgerufenen Kandidaten, das lokale .agent_configs/ Verzeichnis, nachdem Sie einen Kandidaten angewendet haben, und schließlich None , wenn keine Konfigurationsquelle vorhanden ist.

Ihr Agent arbeitet immer mit oder ohne Optimierung. Sie benötigen keine Featurekennzeichnungen oder bedingte Logik. Rufen Sie load_config() auf, und verwenden Sie die Werte, die es zurückgibt. Die vollständigen Lösungsreihenfolgen und Implementierungsdetails finden Sie unter Machen Sie Ihren Agent bereit für den Optimierer.

Was optimiert wird

Feld Description Ziel
instructions Systemaufforderung und -anweisungen Unterricht, Fähigkeit
skills Entdeckter Qualifikationskatalog skill
model Modellbereitstellungsname model
tools Tooldefinitionen (Beschreibungen, Parameter) Werkzeug

Models

Der Agent-Optimierer verwendet während eines Optimierungslaufs zwei Modelle. Beide müssen in Ihrem Foundry-Projekt bereitgestellt werden.

Modell Konfigurationsschlüssel CLI-Kennzeichnung Rolle Unterstützte Modelle
Eval-Modell eval_model --eval-model Bewertet Agentenantworten anhand der im Datensatz enthaltenen Kriterien Ein beliebiges Chat-Abschlussmodell (z. B gpt-4.1-mini. )
Optimierungsmodell optimization_model --optimize-model Generiert Kandidatenkonfigurationen (Anweisungen, Fähigkeiten, Tools, Modellauswahl) gpt-5, gpt-5.1, gpt-5.2, gpt-5.4, gpt-5.5, , DeepSeek-V4-Pro, DeepSeek-V-3.2

Das Bewertungsmodell wird einmal pro Aufgabe und Kandidat ausgeführt. Er liest die Antwort des Agents und jedes Kriterium und gibt dann eine binäre Bewertung zurück. Das Optimierungsmodell analysiert die Basiswerte und generiert verbesserte Kandidaten über die konfigurierten Ziele hinweg (Anweisungen, Fähigkeiten, Tools und Modelle). Da es auf Basis des gesamten Datensatzes Schlussfolgerungen zieht, erzeugt ein leistungsfähigeres Optimierungsmodell in der Regel bessere Kandidaten.

# eval.yaml
options:
  eval_model: gpt-4.1-mini
  optimization_model: gpt-5.1

Important

Sie müssen angeben optimization_model, und das Optimierungsmodell muss aus der obigen unterstützten Liste stammen.

Grundlegendes zu Optimierungsergebnissen

In diesem Abschnitt werden die Tabellenstruktur der Ergebnisse, die Berechnung der Bewertungen, die Bedeutung von Bewertungsverbesserungen und die Diagnose häufiger Probleme beschrieben.

Tip

Sie können auch Optimierungsergebnisse im Foundry-Portal anzeigen. Navigieren Sie zu Ihrem Projekt, wählen Sie Agents aus, wählen Sie Ihren Agent aus, und wählen Sie dann die Registerkarte "Optimieren " aus, um Bewertungsvergleiche, Diagramme und Bereitstellungsoptionen anzuzeigen.

Nach Abschluss einer Optimierung wird eine Ergebnistabelle angezeigt:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Spalten der Ergebnistabelle

Column Description
Kandidat Name der Konfiguration. baseline ist Ihr aktueller Agent vor der Optimierung.
Ergebnis Zusammengesetzte Bewertung für alle Vorgänge und Kriterien, von 0,0 bis 1,0.
Eval Link zum Auswertungsauftrag im Foundry-Portal.
Strategie Mutationsziele, die im Kandidaten enthalten sind, wie skill_policy-reviewer, tools.

Das ★ kennzeichnet den Kandidaten mit der höchsten Gesamtpunktzahl. Dies ist der empfohlene Kandidat für die Bereitstellung.

Berechnung der Bewertungen

Jeder Evaluator in Ihrem Datensatz erzeugt einen Rohwert für die Antwort des Agenten. Der Optimierer verarbeitet diese Bewertungen, um die in den Ergebnissen dargestellte Zusammengesetztbewertung zu erzeugen:

  • Neuskalieren: Die Rohbewertung jedes Evaluators wird auf 0 bis 1 skaliert.
  • Bei Bedarf umkehren: Wenn ein Evaluator so konfiguriert ist, dass niedriger besser ist, wird der Wert umgekehrt, sodass alle Evaluatoren der Semantik „höher ist besser“ folgen.
  • Durchschnitt: Die neu skalierten Bewertungen werden für alle Auswertungen und Vorgänge durchschnittlich berechnet, um die zusammengesetzte Bewertung zu erzeugen.

Gesamtpunktzahl: Der Durchschnitt aller neu skalierten Punktzahlen der Bewertenden über alle Aufgaben hinweg.

Verbesserungen des Scores interpretieren

Verbesserung Auslegung
Kleiner als 0,03 Lärm. Keine sinnvolle Verbesserung.
0.03 bis 0.10 Moderate Verbesserung. Die Bereitstellung lohnt sich.
0.10 bis 0.20 Erhebliche Verbesserung.
Größer als 0,20 Wesentliche Verbesserung. Wahrscheinlich aufgrund einer schlechten Grundlage.

Abwägungen bei Tokens

Optimierte Anweisungen sind häufig länger und detaillierter, wodurch die Nutzung von Antworttoken erhöht werden kann. Beachten Sie folgende Faktoren:

  • Ob die Erhöhung der Tokenanzahl proportional zur Verbesserung der Bewertung ist
  • Ob die Kostenerhöhung ihrem Budget entspricht
  • Gibt an, ob Antworten unnötig ausführlich sind oder einen Mehrwert mit der zusätzlichen Länge hinzufügen

Einschränkungen und Verfügbarkeit

Verwandte Inhalte

  • Last updated on