Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Questo articolo risponde alle domande frequenti sulle funzionalità di intelligenza artificiale usate nelle funzionalità di analisi in Copilot Studio.
Come viene usata l'intelligenza artificiale generativa per l'analisi?
Copilot Studio usa l'intelligenza artificiale per valutare la qualità delle risposte generative e identificare i modelli nelle query utente tramite il clustering. Questi cluster forniscono informazioni dettagliate sulle prestazioni dell'agente.
Le risposte generative utilizzano le fonti di conoscenza che scegli per generare una risposta. La funzionalità raccoglie anche eventuali commenti e suggerimenti forniti. Analisi usa modelli di linguaggio di grandi dimensioni per classificare i messaggi di chat tra utenti e agenti in livelli che indicano la qualità delle risposte generative. Queste classificazioni vengono aggregate per fornire un riepilogo delle prestazioni dell'agente.
Il clustering utilizza i LLM per suddividere i messaggi degli utenti in gruppi basati su argomenti condivisi e fornire a ciascun gruppo un nome descrittivo. Copilot Studio usa i nomi di questi cluster per fornire diversi tipi di informazioni dettagliate che è possibile usare per migliorare l'agente.
Qualità delle risposte generative
Qual è l'uso previsto della qualità della risposta?
Usare l'analisi della qualità delle risposte per comprendere le prestazioni dell'agente e identificare i miglioramenti. Attualmente, è possibile usare l'analisi per capire se la qualità delle risposte generative di un agente soddisfa le aspettative.
Oltre alla qualità complessiva, la qualità dell'analisi delle risposte identifica le aree in cui un agente ha prestazioni scarse o non riesce a raggiungere gli obiettivi previsti. Identificare dove le risposte generative hanno prestazioni scarse e adottare misure per migliorare la loro qualità.
Quando si identificano prestazioni scarse, seguire le procedure consigliate che consentono di migliorare la qualità. Ad esempio, dopo aver identificato le origini delle conoscenze con prestazioni scarse, è possibile modificare l'origine delle informazioni o suddividere l'origine delle informazioni in più origini più incentrate per migliorare la qualità.
Quali dati vengono usati per creare analisi per la qualità della risposta?
La qualità dell'analisi delle risposte si basa su un campione di interazioni di risposte generative . Richiede la query dell'utente, la risposta dell'agente e le fonti di conoscenza pertinenti usate dal modello generativo per la risposta generativa. L'analisi della qualità della risposta usa tali informazioni per valutare se la qualità della risposta generativa è buona e, in caso contrario, perché la qualità è scarsa. Ad esempio, la qualità della risposta può identificare risposte incomplete, irrilevanti o non completamente fondate.
Quali sono le limitazioni della qualità dell'analisi delle risposte e come gli utenti possono ridurre al minimo gli effetti di queste limitazioni?
La qualità dell'analisi delle risposte non si avvale di tutte le risposte generate. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti con meno del numero minimo di risposte generative riuscite non possono ricevere una qualità di riepilogo analitico della risposta.
Esistono casi in cui l'analisi non valuta accuratamente una singola risposta. In un livello aggregato, deve essere accurato per la maggior parte dei casi.
L'analisi della qualità delle risposte non fornisce una suddivisione delle query specifiche che hanno portato a prestazioni di bassa qualità. Non forniscono inoltre una suddivisione delle fonti di conoscenza comuni o degli argomenti usati quando si verificano risposte di bassa qualità.
Le analisi dei dati non vengono calcolate per le risposte che usano conoscenze generative.
La completezza delle risposte è una delle metriche utilizzate per valutare la qualità delle risposte. Questa metrica misura quanto la risposta affronta completamente il contenuto del documento recuperato.
Se il sistema non recupera un documento rilevante con informazioni aggiuntive per la domanda, non valuta la metrica di completezza di quel documento.
Quali protezioni sono disponibili per la qualità dell'analisi delle risposte all'interno di Copilot Studio per l'IA responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi. I risultati sono disponibili solo per i creatori di agenti e gli amministratori.
Gli autori e gli amministratori possono usare solo la qualità dell'analisi delle risposte per visualizzare la percentuale di risposte di buona qualità e qualsiasi motivo predefinito per prestazioni scarse. I risultati vengono aggregati e presentati come percentuali e categorie predefinite.
L'analisi è stata testata per la qualità delle risposte accuratamente durante lo sviluppo per garantire prestazioni ottimali. Tuttavia, in casi rari, la qualità delle valutazioni della risposta potrebbe risultare imprecisa.
Analisi del sentimento per le sessioni di conversazione
Qual è l'uso previsto dell'analisi del sentiment?
Usare l'analisi del sentiment per comprendere il livello di soddisfazione degli utenti nelle sessioni di conversazione in base a un'analisi di intelligenza artificiale dei messaggi utente all'agente. È possibile comprendere il sentiment complessivo della sessione (positivo, negativo o neutro), esaminare i motivi e adottare misure per risolverlo.
Quali dati vengono usati per l'analisi del sentiment?
L'analisi del sentiment utilizza i messaggi degli utenti inviati all'agente per un campione di sessioni di conversazione.
L'analisi del sentiment utilizza queste informazioni per valutare se la soddisfazione dell'utente durante la sessione è positiva, negativa o neutra. Ad esempio, un utente può usare parole e un tono di voce che indicano frustrazione o insoddisfazione in base all'interazione con l'agente. In questo caso, la sessione è classificata come valutazione negativa.
Quali sono i limiti dell'analisi del sentiment e come possono gli utenti mitigare questi limiti?
Le analisi dei sentimenti non vengono calcolate usando tutte le sessioni conversazionali. L'analisi misura invece un esempio di sessioni dell'agente utente. Gli agenti al di sotto di un numero minimo di risposte generative giornaliere di successo non possono ricevere un punteggio di valutazione.
L'analisi del sentiment attualmente dipende dalle risposte generative e richiede un numero minimo di risposte giornaliere di successo per calcolare il punteggio di sentiment dell'agente.
Per calcolare il sentiment di una sessione, devono esserci almeno due messaggi utente. Inoltre, a causa delle attuali limitazioni tecniche, l'analisi del sentiment non viene eseguita su sessioni che superano un totale di 26 messaggi (inclusi sia i messaggi dell'utente che degli agenti)
L'analisi del sentiment non fornisce una suddivisione dei messaggi specifici degli utenti che hanno portato al punteggio di sentiment.
Quali protezioni sono disponibili per l'analisi del sentiment all'interno di Copilot Studio per l'intelligenza artificiale responsabile?
Gli utenti degli agenti non visualizzano i risultati dell'analisi. I risultati sono disponibili solo per i creatori di agenti e gli amministratori.
È possibile usare l'analisi del sentiment solo per visualizzare la suddivisione del sentiment in tutte le sessioni.
Abbiamo testato accuratamente l'analisi del sentiment durante lo sviluppo per garantire buone prestazioni. Tuttavia, in casi rari, le valutazioni del sentiment potrebbero essere imprecise.
Temi delle domande dell'utente
Qual è l'uso previsto dei temi?
Il clustering in base ai temi e all'analisi a livello di tema consente di comprendere rapidamente cosa chiedono gli utenti su larga scala. Questa funzionalità analizza grandi volumi di query utente e presenta argomenti di alto livello ("temi") che rappresentano gli argomenti principali a cui gli utenti si preoccupano. Questa analisi consente di passare dall'analisi delle singole conversazioni all'identificazione di modelli più ampi, esigenze emergenti e aree di interesse.
Fornendo una panoramica strutturata basata sui dati dell'attività utente, l'analisi a livello di tema consente di:
Identificare gli argomenti più comuni con cui gli utenti interagiscono.
Rilevare lacune nella copertura o in esperienze poco chiare.
Monitorare l'evoluzione degli interessi degli utenti nel tempo.
Classificare in ordine di priorità i miglioramenti in base alla domanda reale degli utenti.
Come funziona l'analisi dei temi a livello generale?
Questa funzionalità opera come processo a più fasi che organizza continuamente le query utente in gruppi significativi. A livello generale, questo processo include due fasi chiave:
Generazione dei candidati dei temi
Il sistema analizza un set recente di query utente e identifica i temi candidati che rappresentano argomenti di alto livello distinti. Il sistema rileva modelli, analogie e soggetti ricorrenti tra le query per derivare questi candidati.
Attribuzione di query ai temi
Dopo che il sistema genera i temi candidati, associa le singole query al tema più rilevante. Ogni tema rappresenta una raccolta di domande utente correlate e si evolve man mano che il sistema elabora nuove query. Il sistema affina questi temi nel tempo usando segnali come la somiglianza semantica e il feedback degli utenti. Questo processo di perfezionamento consente alla rappresentazione di adattarsi man mano che cambia il comportamento dell'utente.
Quali dati vengono usati per creare temi?
Gli utenti generano temi dalle query che generano risposte generative. Il processo è incentrato su una finestra recente di attività per garantire che i temi riflettano gli interessi degli utenti correnti e le tendenze in continua evoluzione. Man mano che i nuovi dati diventano disponibili, il sistema aggiorna i temi per mantenerli rilevanti.
Poiché i temi si basano su modelli nelle query utente, la funzionalità dipende dalla presenza di una quantità significativa di attività da analizzare. In situazioni in cui sono presenti dati limitati o query altamente frammentate, il sistema potrebbe non generare temi o fornire informazioni dettagliate limitate.
Quali sono le limitazioni dell'analisi del tema e come posso attenuarle?
L'analisi dei temi è un sistema di clustering basato sui dati e la sua efficacia dipende dalla natura e dal volume delle query utente. Alcune potenziali limitazioni includono:
I dati insufficienti o altamente diversificati potrebbero causare temi troppo ampi o limitati.
Gli argomenti strettamente correlati possono talvolta essere suddivisi in temi separati.
Le query non correlate possono essere raggruppate occasionalmente.
Le modifiche apportate alla lingua dell'utente nel tempo potrebbero influire sulla coerenza dei temi.
Per ottenere il massimo valore dai temi:
Esaminare regolarmente i temi generati.
Fornire feedback (ad esempio: pollici su o giù) per migliorare la qualità.
Interpretare i temi come informazioni dettagliate direzionali anziché categorizzazioni esatte.
Quali protezioni di intelligenza artificiale responsabili sono disponibili?
Il clustering e l'analisi dei temi sono progettati tenendo presente i principi di IA responsabili.
I creatori autorizzati e gli amministratori sono gli unici che possono vedere i temi.
Solo quelli autorizzati a visualizzare le query utente possono visualizzare la suddivisione dei temi.
I temi riflettono il contenuto delle query utente, quindi forniscono un riepilogo onesto per i creatori e gli amministratori da visualizzare.
Queste misure di sicurezza consentono di garantire che i temi forniscano informazioni dettagliate utili mantenendo un'esperienza sicura e controllata.
Analisi delle metriche personalizzate
Qual è l'uso previsto delle metriche personalizzate?
Usare l'analisi delle metriche personalizzate per comprendere quanto gli agenti conversazionali influiscono sui risultati aziendali. Queste metriche integrano l'analisi dei risparmi. Esempi di metriche personalizzate includono la frequenza di risoluzione, la classificazione delle finalità dei clienti e altri risultati specifici del dominio.
Le metriche personalizzate possono mostrare dove gli agenti non riescono a raggiungere gli obiettivi previsti. Definire le metriche da misurare, testare le metriche rispetto ai dati di sessione reali e perfezionare le definizioni in base ai risultati.
Quali dati vengono usati per calcolare le metriche personalizzate?
Calcolare le metriche personalizzate usando un esempio di sessioni dell'agente precedenti. Il calcolo usa i messaggi di conversazione scambiati durante una sessione.
Il modello di intelligenza artificiale classifica i dati della sessione in base alla definizione della metrica. L'agente aggrega i risultati nell'esempio per visualizzare le prestazioni complessive delle metriche per il periodo di tempo selezionato.
Quali sono le limitazioni delle metriche personalizzate e come gli utenti possono ridurre al minimo gli effetti delle limitazioni?
Le metriche personalizzate non usano tutte le sessioni dell'agente. Misurano invece un campione di sessioni dal periodo di tempo selezionato. Poiché i risultati sono basati su un campione, considerarli come indicatori direzionali anziché cifre esatte.
Si consideri che il calcolo della metrica si basa sulla trascrizione dei messaggi durante l'interpretazione delle metriche. Evitare di trarre conclusioni sui comportamenti che si verificano principalmente all'esterno dei messaggi, ad esempio argomenti e strumenti.
Il modello di intelligenza artificiale potrebbe indicare erroneamente le sessioni. I risultati aggregati sono in genere accurati. Le sessioni che non corrispondono a una categoria definita vengono inserite nella categoria di fallback (Altro). Se i risultati dei test non corrispondono ai risultati previsti, è possibile aggiornare la descrizione della metrica e le definizioni di categoria.
Se si modificano significativamente le istruzioni o la configurazione di un agente dopo aver definito una metrica, la metrica potrebbe non riflettere più accuratamente il comportamento aggiornato dell'agente. Controllare le metriche personalizzate dopo aver apportato modifiche significative all'agente.
Quali protezioni sono disponibili per le metriche personalizzate all'interno di Copilot Studio per l'IA responsabile?
I creatori di agenti e gli amministratori sono gli unici che possono accedere ai risultati delle metriche personalizzate. Gli utenti dell'agente non hanno accesso ai risultati dell'analisi.
Prima di salvare, esaminare e approvare tutte le metriche personalizzate. Durante la definizione della metrica, si testano le metriche rispetto ai dati di sessione di esempio e si esaminano i singoli risultati e il ragionamento del modello. Se i risultati non soddisfano le aspettative, è possibile aggiornare o eliminare la metrica. Le metriche non vengono applicate senza la conferma esplicita.
Il prompt generato dall'intelligenza artificiale usato per classificare le sessioni è visibile all'utente nell'interfaccia utente, in modo da comprendere come il modello interpreta la definizione della metrica. È possibile modificare o rimuovere metriche personalizzate in qualsiasi momento.
In rari casi, le classificazioni delle singole sessioni potrebbero non essere accurate. I risultati devono essere interpretati in modo aggregato anziché a livello di singola sessione.