画面を操作するエージェント
ほとんどのソフトウェアには、AI が入るための入口がありません。あるのは画面です。エージェントは、人と同じやり方で画面を使えます。見て、操作を一つ決め、実行して、また見ます。
図の読み方
指示は、普通の言葉で一度だけ与えます。そこからエージェントは輪を回ります。スクリーンショットを撮る。画像と文章を読めるモデルがそれを見て、操作を一つ選ぶ。ここをクリックする、これを入力する、下へスクロールする。操作が実行され、画面が変わります。
緑の線が要点です。操作のたびに、エージェントはもう一度見ます。ボタンが動いたかもしれないし、ダイアログが開いたかもしれないし、クリックが外れたかもしれません。
することがないとモデルが判断したら、止まります。作業が成功したかどうかはモデルの学習に使われ、次の実行ではより良く決められるようになります。
間違いが起きる場所
- 1見るモデルが画面を読み違えます。小さなアイコンと、詰まった表がよくある原因です。
- 2決めるモデルが、もっともらしく見えて間違っている操作を選びます。たとえば、別のフォームの保存ボタンです。
- 3繰り返し小さな誤りが積み重なります。1 回の操作で 100 回中 95 回正しいエージェントでも、20 手の作業を最後まで終えられるのは 100 回中 36 回ほどです。
作ったもの
2025 年 3 月から 5 月まで、プロジェクトマネージャー兼エンジニアとして、初期版の開発を率いました。見ることと決めることには、画像と言語を扱うモデル（VLM）を使い、強化学習で追加の学習をしました。デモでは、Playwright を通してブラウザーで操作を実行しました。
普通の事務作業で動きましたが、まだ初期の段階でした。こうしたエージェントが役に立つかどうかを決めるのは、上の三つ目の問題です。