ToolCallAccuracyEvaluator Klasse

Definition

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Vererbung

Object

ToolCallAccuracyEvaluator

Attribute

ExperimentalAttribute

Implementiert

IEvaluator

Hinweise

ToolCallAccuracyEvaluator misst, wie genau ein KI-System Tools verwendet, indem Toolaufrufe (d. h. s) untersucht werden, FunctionCallContentdie in der bereitgestellten Antwort vorhanden sind, um die Relevanz dieser Toolaufrufe für die Unterhaltung zu bewerten, die Parameterkorrektur für diese Toolaufrufe in Bezug auf die über diese Tools bereitgestellten ToolDefinitionsDefinitionen und die Genauigkeit der Parameterwertextraktion aus der angegebenen Unterhaltung.

Beachten Sie, dass derzeit nur die Auswertung von Aufrufen von Tools unterstützt wird, ToolCallAccuracyEvaluator die als AIFunctionDeclarations definiert sind. Alle anderen AITool Definitionen, die über ToolDefinitions sie bereitgestellt werden, werden ignoriert.

ToolCallAccuracyEvaluator gibt einen BooleanMetric Wert zurück, der eine Bewertung für "Toolaufrufgenauigkeit" enthält. Die Bewertung ist false , wenn der Toolaufruf irrelevant ist oder Informationen enthält, die nicht in der Unterhaltung vorhanden sind und true ob der Toolaufruf mit ordnungsgemäß extrahierten Parametern aus der Unterhaltung relevant ist.

Hinweis:ToolCallAccuracyEvaluator ist ein KI-basierter Evaluator, der ein KI-Modell verwendet, um seine Auswertung durchzuführen. Während die Aufforderung, dass dieser Evaluierungsauswerter verwendet, modellagnostisch ist, kann die Leistung dieser Eingabeaufforderung (und der resultierenden Auswertung) je nach verwendetem Modell variieren und kann besonders schlecht sein, wenn ein kleineres/lokales Modell verwendet wird.

Die Eingabeaufforderung, die verwendet wird, ToolCallAccuracyEvaluator wurde auf die folgenden Modelle getestet (und darauf abgestimmt), dass sie gut funktionieren. Daher ist die Verwendung dieses Evaluators mit einem Modell aus der folgenden Liste wahrscheinlich die besten Ergebnisse. (Das zu verwendende Modell kann über ChatClient.)

GPT-4o