スタンドアロン コンピューター使用ツールをエージェントとエージェント フローに追加する (プレビュー)

[この記事はプレリリース ドキュメントであり、変更されることがあります。]

スタンドアロン コンピューター使用ツールは、 ローカルのエージェント内コンピューター使用ツール (エージェント によってホストされ、エージェントに関連付けられている) のモジュール版です。 ローカル ツールとしてエージェントにコピーすることも、ノードとしてエージェント フローに追加することもできます。 このスタンドアロン ツールを使用すると、デジタル インターフェイスと対話する AI 主導の自動化を作成、テスト、および管理できます。 スタンドアロン コンピューター使用ツールを発行した後は、複数のエージェントとエージェント フローで再利用できるため、複雑な UI ベースのタスクを一元的に管理できます。

スタンドアロン コンピューター使用ツールを使用すると、次のことができます。

  • モジュール式で再利用可能な自動化の構成要素を作成します。
  • 自然言語命令に基づいてインテリジェントな UI 操作を実行します。
  • 許可されたアプリケーションと Web サイトを定義して、ガバナンスを一元化します。
  • 忠実度の高いセッション再生と詳細なアクティビティ ログを使用して実行を監視します。
  • 機密性の高いタスクや複雑なタスクに対する人間のループ内監督を組み込みます。

重要

この記事には、Microsoft Copilot Studio のプレビュー ドキュメントが含まれており、変更される可能性があります。

プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。

運用対応エージェントを構築する場合は、 Microsoft Copilot Studio の概要を参照してください。

スタンドアロン コンピューター使用ツールを作成する

Note

スタンドアロン ツールとしてのコンピューターの使用は現在、サポートされているリージョン間でロールアウト中であり、お使いのリージョンではまだ使用できない可能性があります。

  1. Copilot Studioで、サイド バーの Tools を選択します。 [ ツール] ページが表示されます。 詳細については、「 ツール」ページの「共有ツールを使用する」を参照してください。

  2. [新しいツール] を選択します。 [新しいツール] パネルが表示されます。

  3. [ コンピューターの使用] を選択します。 構成ページが表示され、 その [デザイナー ] タブにフォーカスが置かれます。

  4. [ 概要 ] タブに切り替えます。

    1. [詳細] タイルで [編集] を選択します。 [ コンピューターの使用の詳細の編集] パネルが表示されます。

    2. ツールの名前と説明を入力します。 これらの詳細は、他の作成者がフローでこのツールを使用するタイミングを理解するのに役立ちます。

    3. 保存を選びます。

  5. [ デザイナー ] タブに切り替えます。

    1. このツールに使用するモデルを選択します。

    2. 命令を入力し、パラメーターを定義します。

  6. 構成が完了したら、[発行] を選択 します。 または、このツールを発行する準備ができていない場合は、[ 下書きの保存] を選択します。

スタンドアロン コンピューター使用ツールを構成する

スタンドアロン コンピューター使用ツールを構成するためのインターフェイスは、自動化のライフサイクルと可観測性を管理するのに役立つ 3 つのタブに編成されています。

Overview

[ 概要 ] タブは、ツールの ID カードとして機能します。 このタブを使用して、次の操作を行います。

  • 名前や説明など、ツールのメタデータを管理します。
  • 現在のパブリケーションの状態を表示します。
  • 最近の実行を監視して、ツールが最新の実行でどのように実行したかをすばやく確認します。

デザイナー

[ デザイナー ] タブでは、ツールのロジックを作成できます。

  • モデル: 自動化を行うモデルを選択します。
  • 手順: UI タスクを実行するために、AI が従う自然言語ガイダンスを記述します。
  • テスト: 組み込みのサンドボックスを使用して手順を実行し、AI がどのようにリアルタイムで反応するかを確認します。
  • パラメーター: 入力パラメーターと出力パラメーターを定義して、データをツールに渡すか、フロー内のダウンストリーム ステップの結果を抽出します。
  • 保存された資格情報: ツールがアクセスする必要がある Web サイトまたはアプリの認証を安全に構成します。
  • 許可される Web サイトとデスクトップ アプリ: ツールが操作できる特定のサイトとアプリケーションの許可リストを定義します。
  • 人間の監督: 手動検証またはより多くの情報を必要とする手順に対して、人間のループ内通知をトリガーします。

Activity

[ アクティビティ ] タブには、デバッグと最適化のための詳細な監視機能が用意されています。 過去 28 日間のすべての実行が一覧表示されます。 実行ごとに、次の内容を確認できます。

  • セッション再生: AI とインターフェイスの相互作用の記録を視聴します。
  • スクリーンショット: 実行中にキャプチャされたすべての画面を確認します。
  • ステップ ログ: ツールによって実行されたアクションの正確なシーケンスを確認します。
  • メトリック: 実行時間と成功率を分析します。

統合の動作

コンピューター使用ツールは、プラットフォームのさまざまな部分で使用できます。 ツールの動作は、ツールの追加方法によって異なります。

統合方法 Behavior ライフサイクル
エージェントに追加する (ローカル ツールとして) ツールがエージェントのローカル ツールに複製されている 独立: 元のスタンドアロン ツールに対する変更は、エージェントのバージョンには影響しません。
エージェント フローに追加する (ノードとして) このツールはモジュール ノードとして 参照されます 。 リンク: フローでは、常に最新の発行済みバージョンのスタンドアロン ツールが使用されます。

スタンドアロン コンピューター使用ツールをエージェント フローに追加する

重要

  • スタンドアロン コンピューターの使用ツールを エージェント フローにのみ追加できます。 まだワークフローに追加することはできません。
  • エージェント フローは、 発行された スタンドアロン コンピューター使用ツールにのみアクセスできます。 エージェント フローは、常に最新の公開バージョンをトリガーします。

  1. Copilot Studioで、サイド バーの Flows を選択します。

  2. 目的のエージェント フローを選択します。 選択したエージェント フローの [概要 ] タブが表示されます。

  3. [ デザイナー ] タブに切り替えます。

  4. スタンドアロン コンピューター使用ツールを呼び出すエージェント フローのポイントにある [ 新しいアクションの挿入 ] アイコンを選択します。 [ アクションの追加] パネルが表示されます。

  5. [ AI 機能] で、[ コンピューター使用ツールの実行] を選択します。 [ Run a computer use tool action]\(コンピューター使用ツールの実行\) アクション ノードがフローに表示されます。

  6. まだコンピューターで接続を使用していない場合は、[ 新しい接続の作成] カードが表示されます。

    1. [接続] で、目的の接続の種類 (コンピューターまたはホストされたブラウザー) を選択します。
    2. 必要な情報を入力し、[ 新規作成] を選択します。

  7. 目的のコンピューター使用ツールを選択します。

  8. 選択したコンピューター使用ツールに入力がある場合は、静的または動的な値を指定します。

Tip

コンピューター使用ツールを実行 アクション ノードでは、次のことができます。

  • [コンピューター使用ツール] の一覧で [ 作成 ] を選択して、新しい コンピューター使用ツールを作成 します。
  • [編集] を選択して、選択したコンピューター使用ツールを 編集します。
  • [最新の情報に更新]アイコンを選択して、コンピューターの使用ツールの一覧更新します。

スタンドアロン コンピューター使用ツールをエージェントに追加する

Note

スタンドアロン コンピューター使用ツールをエージェントに追加すると、そのエージェント内に埋め込まれた独立したコピーが作成されます。 スタンドアロン ツールの更新はエージェントのコピーには影響しません。また、その逆も同様です。

  • [ツール] ページから:

    1. Copilot Studioで、サイド バーの Tools を選択します。 [ ツール] ページが表示されます。

    2. 目的のコンピューター使用ツールの横にある 3 つのドット (...) を選択し、[ エージェントに追加] を選択します。 [ エージェントに追加] パネルが表示されます。

    3. 目的の エージェント を選択し、[ 追加] を選択します。 ツールの追加パネルが表示されます。

    4. [追加と構成] を選択します。 ツールのローカル コピーの構成ページが表示されます。

    5. 必要に応じて、構成を変更し、[ 保存] を選択します。

    6. エージェントの [ツール] ページに戻り、追加したコンピューター使用ツールが一覧に表示されます。

  • [エージェント] ページから次の 手順を実行 します。

    1. Copilot Studioで、サイド バーの Agents を選択します。 [エージェント] ページが表示されます。

    2. 目的のエージェントを選択します。

    3. エージェントの [ツール] ページに移動します。

    4. ツールの追加を選択します。 ツールの追加パネルが表示されます。

    5. コンピューター操作ツール フィルターを選択します。

    6. 目的のコンピューター使用ツールを選択し、[ 追加と構成] を選択します。 ツールのローカル コピーの構成ページが表示されます。

    7. 必要に応じて、構成を変更し、[ 保存] を選択します。

    8. エージェントの [ツール] ページに戻り、追加したコンピューター使用ツールが一覧に表示されます。

よく寄せられる質問

スタンドアロン ツールとローカル エージェント ツールを使用する必要がある場合

スタンドアロン コンピューター使用ツール は、複数のフローで使用する必要がある特定のエージェント フローの自動化に対して信頼できる単一のソースを構築する場合に使用します。 たとえば、 経費明細書を送信します。 エージェント自体によって管理される非決定的オーケストレーションが自動化に必要な場合は、 ローカルのエージェント内コンピューター使用ツール (複製) を使用します。

ツールはセキュリティとアクセスをどのように処理しますか?

スタンドアロン ツールでは、次の 2 つの保護レイヤーが使用されます。

  • 資格情報: サインイン データ用に暗号化されたストレージ。
  • ガバナンス: 指定された手順に関係なく、AI が承認されていない URL またはアプリケーションに移動できないようにするハード制限 (許可リスト)。

フローの実行中に AI が何をしたかを確認できますか?

Yes. スタンドアロン ツールの [ アクティビティ ] タブには、過去 28 日間のセッション記録が一覧表示されます。 これらの記録では、AI が実行したすべてのクリックとキーストロークが表示され、完全な透明性とデバッグが容易になります。

自分のリージョンでモデルを使用できないのはなぜですか?

Anthropic のモデルは現在、中国では利用できません。 中国のユーザーは OpenAI モデルを使用する必要があります。

関連するコンテンツ

  • Last updated on