Schnellstart: Ihren gehosteten Agent bewerten

Überprüfen Sie aus Ihrem azd-Projektverzeichnis, ob der Agent bereitgestellt und aufrufbar ist:

azd ai agent show

Senden sie eine Testaufforderung:

azd ai agent invoke "Write a haiku about deploying cloud applications."

Sie sollten innerhalb weniger Sekunden eine Antwort sehen.

1. Öffnen Sie das Foundry-Portal und wechseln Sie zu Ihrem Projekt.
2. Wählen Sie Ihren Agent und dann die Registerkarte " Playground " aus.
3. Senden einer Testaufforderung, z. B. Write a haiku about deploying cloud applications.

Sie sollten innerhalb weniger Sekunden eine Antwort sehen.

Installieren Sie das Foundry SDK:

pip install "azure-ai-projects>=2.0.0" azure-identity

Legen Sie zwei Umgebungsvariablen fest, und erstellen Sie dann den Projektclient. Setzen Sie AZURE_AI_PROJECT_ENDPOINT auf Ihren Projektendpunkt und AZURE_AI_MODEL_DEPLOYMENT_NAME auf eine Chat-Completion-Bereitstellung, die als Bewertungsmodell verwendet wird. In den folgenden Codebeispielen wird davon ausgegangen, dass Sie sie in diesem Kontext ausführen:

import os
from azure.identity import DefaultAzureCredential
from azure.ai.projects import AIProjectClient

endpoint = os.environ["AZURE_AI_PROJECT_ENDPOINT"]
model_deployment = os.environ["AZURE_AI_MODEL_DEPLOYMENT_NAME"]

credential = DefaultAzureCredential()
project_client = AIProjectClient(endpoint=endpoint, credential=credential)
client = project_client.get_openai_client()

Vergewissern Sie sich, dass Ihr bereitgestellter Agent registriert und verfügbar ist. Ersetzen Sie <your-agent-name> durch den Namen Ihres gehosteten Agenten:

agent = project_client.agents.get("<your-agent-name>")
print(f"Found agent: {agent.name}")

Der Aufruf gibt den Agent zurück, falls er vorhanden ist, oder löst einen Fehler aus, wenn der Name falsch ist oder der Agent nicht bereitgestellt wird.

Erstellen Sie zunächst eine JSONL-Datei mit Testabfragen für Ihren Agent. Jede Zeile ist ein JSON-Objekt mit einem query Feld. Speichern Sie sie im Quellordner Ihres Agents unter src/<your-agent-name>/tests/queries.jsonl:

{"query": "Write a haiku about deploying cloud applications."}

Erstellen Sie dann eine eval.yaml Datei im selben Agent-Quellordner wie src/<your-agent-name>/eval.yaml. Sie verweist auf Ihr Dataset und listet die integrierten Evaluatoren auf, die angewendet werden sollen. Der dataset.local_uri Pfad ist relativ zu diesem Ordner. Ersetzen Sie <your-agent-name> durch den Namen Ihres gehosteten Agenten und <your-chat-completion-deployment> durch die Bereitstellung des Judge-Modells:

name: agent-eval
agent:
  name: <your-agent-name>
  kind: hosted
dataset:
  local_uri: tests/queries.jsonl
evaluators:
  - builtin.intent_resolution
  - builtin.task_adherence
options:
  eval_model: <your-chat-completion-deployment>
max_samples: 15

Der Wert eval_model ist das Beurteilungsmodell, das die Antworten bewertet; Sie können das Deployment wiederverwenden, das Ihr Agent bereits verwendet.

1. Öffnen Sie im Foundry-Portal Ihren Agent, und wählen Sie die Registerkarte "Auswertung " und dann " Erstellen" aus.
2. Wählen Sie unter „Auswertungsziel auswählen“„Agent“ aus.
3. Wählen Sie für „Evaluierungsbereich auswählen“„Einzelne Gesprächswechsel“ aus.
4. Wählen Sie unter „Datenquelle auswählen“ die Option „Vorhandenes Dataset“ aus, und wählen Sie eine CSV- oder JSONL-Datei mit Testabfragen aus den Datenressourcen Ihres Projekts aus.
5. Wenn der Schritt "Agents konfigurieren" angezeigt wird, überprüfen Sie den Agent, und akzeptieren Sie die Standardbenutzeraufforderung. {{item.query}} Passen Sie sie nur an, wenn Ihr Agent ein anderes Eingabeformat erwartet.
6. Wählen Sie für „Testkriterien auswählen“ einen oder mehrere Agent-Bewerter aus, z. B. Aufgabeneinhaltung und Absichtserkennung.

Lassen Sie den Assistenten geöffnet. Sie übermitteln die Auswertung im nächsten Schritt.

Erstellen Sie zunächst eine JSONL-Datei mit Testabfragen für Ihren Agent. Jede Zeile ist ein JSON-Objekt mit einem query Feld. Speichern als queries.jsonl:

{"query": "Write a haiku about deploying cloud applications."}

Laden Sie die Datei als Dataset in Ihr Projekt hoch:

dataset = project_client.datasets.upload_file(
    name="agent-test-queries",
    version="1",
    file_path="./queries.jsonl",
)

Wählen Sie als Nächstes integrierte Bewerter aus, und ordnen Sie ihre Eingaben zu. Der data_mapping Wert teilt jedem Evaluator mit, wo die Abfrage und die Agentantwort gefunden werden sollen. KI-unterstützte Bewerter benötigen ein Bewertungsmodell in initialization_parameters; der Wert muss eine Chat-Vervollständigungsbereitstellung in Ihrem Projekt sein.

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="Intent Resolution",
        evaluator_name="builtin.intent_resolution",
        initialization_parameters={"model": model_deployment},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_items}}",
        },
    ),
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="Task Adherence",
        evaluator_name="builtin.task_adherence",
        initialization_parameters={"model": model_deployment},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{sample.output_items}}",
        },
    ),
]

Erstellen Sie die Auswertung. Es definiert das Testdatenschema und Testkriterien und dient als Container für eine oder mehrere Ausführungen:

from openai.types.eval_create_params import DataSourceConfigCustom

data_source_config = DataSourceConfigCustom(
    type="custom",
    item_schema={
        "type": "object",
        "properties": {"query": {"type": "string"}},
        "required": ["query"],
    },
    include_sample_schema=True,
)

evaluation = client.evals.create(
    name="Agent Quality Evaluation",
    data_source_config=data_source_config,
    testing_criteria=testing_criteria,
)
print(f"Evaluation created: {evaluation.id}")

Führen Sie die Auswertung aus dem Azd-Arbeitsbereichsstamm aus:

azd ai agent eval run --config eval.yaml

Der Befehl liest eval.yaml, sendet jede Abfrage an Ihren Agent, bewertet die Antworten und druckt eine Zusammenfassung, wenn sie abgeschlossen ist:

Eval run started
   Eval: eval_b36748dede424e4ba3f8e6c99ca2cf27
   Run:  evalrun_5f72ef189ad24790a32128e6f230b131
   (✓) Done  Eval run

Results:    1 total, 1 passed, 0 failed, 0 errored

Per-criteria results:
  intent_resolution: 1 passed, 0 failed, 0 errored
  task_adherence: 1 passed, 0 failed, 0 errored

1. Geben Sie im Schritt "Überprüfen und Übermitteln " einen Namen für die Auswertung ein.
2. Überprüfen Sie das Ziel, den Bereich, die Datenquelle und die ausgewählten Auswertungen.
3. Wählen Sie "Absenden" aus, um die Ausführung zu starten.

Erstellen Sie eine Ausführung, die jede Testabfrage an Ihren Agent sendet und die Auswertungen anwendet. Ersetzen Sie <your-agent-name> durch den Namen Ihres gehosteten Agenten:

eval_run = client.evals.runs.create(
    eval_id=evaluation.id,
    name="Agent Evaluation Run",
    data_source={
        "type": "azure_ai_target_completions",
        "source": {"type": "file_id", "id": dataset.id},
        "input_messages": {
            "type": "template",
            "template": [
                {
                    "type": "message",
                    "role": "user",
                    "content": {"type": "input_text", "text": "{{item.query}}"},
                }
            ],
        },
        "target": {
            "type": "azure_ai_agent",
            "name": "<your-agent-name>",
            # "version": "1",  # Optional; omit to use the latest version
        },
    },
)

print(f"Evaluation run started: {eval_run.id}")

Aktuelle Auswertungen auflisten:

azd ai agent eval list

    Eval ID                                Name        Status of last run  Runs
    -------                                ----        ------------------  ----
*   eval_b36748dede424e4ba3f8e6c99ca2cf27  agent-eval  Completed           1

* = active eval in current environment

Zeigen Sie die letzte Auswertung und deren Ausführung an:

azd ai agent eval show

Eval:   eval_b36748dede424e4ba3f8e6c99ca2cf27
Name:   agent-eval
Agent:  <your-agent-name>
Runs:   1

Recent runs:
  Run ID                                    Status     Passed  Failed  Created
  ------                                    ------     ------  ------  -------
  evalrun_5f72ef189ad24790a32128e6f230b131  Completed  1/1     0       2026-06-17 14:52 UTC

Verwenden Sie die Ergebnisse, um zu überprüfen, welche Version des Agenten ausgewertet wurde und welche Bewertungen des Evaluators erzeugt wurden. Um Details zu jedem Evaluator sowie einen Link zum Bericht im Foundry-Portal anzuzeigen, führen Sie azd ai agent eval show <eval-id> --eval-run-id <run-id> aus.

1. Auf der Detailseite werden das Ziel, das Dataset, der Status, die Tokenverwendung und ein Aggregatergebnis für jeden Evaluator angezeigt.
2. Wählen Sie den Durchlaufnamen aus, um Ergebnisse auf Zeilenebene anzuzeigen: jede Abfrage, die Antwort des Agenten, die Bewertung des Evaluators und die Erläuterung der Bewertung.

Den Abschlussstatus abfragen und anschließend den Status sowie die URL des Berichts ausgeben, über die sich die Ergebnisse im Foundry-Portal öffnen lassen:

import time

while True:
    run = client.evals.runs.retrieve(run_id=eval_run.id, eval_id=evaluation.id)
    if run.status in ["completed", "failed"]:
        break
    time.sleep(5)

print(f"Status: {run.status}")
print(f"Report URL: {run.report_url}")

Auf Run-Ebene können Sie für jeden Evaluator die aggregierte Anzahl erfolgreicher und fehlgeschlagener Bewertungen sehen:

print(run.result_counts)
for criteria in run.per_testing_criteria_results:
    print(criteria.testing_criteria, "passed:", criteria.passed, "failed:", criteria.failed)

ResultCounts(errored=0, failed=0, passed=1, total=1, skipped=0)
Intent Resolution passed: 1 failed: 0
Task Adherence passed: 1 failed: 0

Listen Sie für Details auf Zeilenebene die Ausgabeelemente auf. Jedes Ergebnis enthält den Namen des Evaluators, bestanden oder nicht bestanden und eine Punktzahl:

for item in client.evals.runs.output_items.list(run_id=eval_run.id, eval_id=evaluation.id):
    for result in item.results:
        print(item.id, result.name, "passed:", result.passed, "score:", result.score)