機能・仕様

Computer Use

別名: コンピュータ操作

Claudeが画面を見てマウス・キーボードを動かし、人間のようにPCを操作する機能。

一言で

Computer Useとは、Claudeがパソコンの画面を見てマウスやキーボードを動かし、人間と同じようにアプリケーションを操作できるAnthropicの機能のことです。

もう少し詳しく

通常のAIはAPI経由でしかツールを使えませんが、Computer Useではモデルがスクリーンショットを読み、「ここのボタンをクリック」「この欄に入力」と指示を出します。APIを公開していない古いシステムや、Webアプリ・社内ツールでも自動操作できる点が画期的です。

2024年10月22日にClaude 3.5 Sonnetのベータ機能として登場し、Claude 3.7、Claude 4と世代が進むごとに精度と速度が向上。2026年3月にはClaude.ai上で正式版(一般提供)となりました。

ただし「画面を見て操作する」性質上、誤クリックやプロンプトインジェクション(騙されて意図しない操作をする)リスクがあり、Anthropicは隔離されたVMでの利用や、決済・破壊的操作を避けるガードレールを推奨しています。

主な特徴

  • GUIを直接操作: APIがないアプリやレガシーシステムも自動化できる
  • 視覚理解: スクリーンショットからUI要素を識別する
  • エージェント基盤: Claude Codeなど自律タスクの中核機能

使われ方の例

  • データ入力・経費精算など定型のPC作業の自動化
  • Webサイトのテスト・スクリーンショット撮影
  • 社内ツールでの一括操作(API未整備のシステム)

関連する話題

Computer UseはAIエージェントの代表的な実装例です。同じくPC操作を行うOpenAIのOperatorや、各社のRPA系AIと比較されることが多いですが、機能としてはClaudeのAPI/Claude Desktopから直接呼び出せる点が特徴です。

参考ソース