AIに画面操作を任せる時代へ｜Codex録画機能の実力と限界

OpenAIがCodexに「Record & Replay」を追加。一度やって見せた操作をAIが録画し、次から自動で代行します。経費精算もAI任せの時代に。3社の画面操作AIの違いと、見落としがちな限界・リスクまで正直に解説します。

「この作業、毎月やってるけど面倒だな……」——経費精算、勤怠申請、定型のレポート提出。こういう“地味だけど必ず発生する作業”、ありますよね。

そこにOpenAIが面白い一手を打ってきました。一度だけ自分でやって見せれば、次からはAIが画面を操作して同じ作業を代行してくれる——そんな機能が登場したんです。

「AIにPCを操作させる」という話、少し前まではデモ動画の中の未来でした。でも2026年、これが日常ツールに降りてきています。今回はその最前線を、限界も含めて正直に見ていきます。

まず結論

名前のとおり、Record（録画）して Replay（再生）するシンプルな仕組みです。

流れはこうです。

ポイントは、プログラミングもプロンプト（細かい指示文）も書かなくていいこと。「やって見せるだけ」で自動化できる、というのが新しさです。

しかも、できあがった「スキル」は中身を確認したり編集したりできるとされています。AIが何をするのか分からないまま丸投げ、ではなく、人間が点検できる作りになっているわけですね。

つまり日本では使える見込みですが、欧州・英国などは対象外。AIの自動操作は規制との兼ね合いが強いので、地域差が出やすい分野です。

今回のCodexの機能は単独の動きではありません。「AIにコンピュータを操作させる」という分野そのものが、2026年に本格的な競争領域になっています。

主要3社のアプローチを並べると、思想の違いが見えてきます。

企業	名称	得意な舞台	特徴
OpenAI	Operator / Codex の Computer Use	PC全体・ブラウザ	自分専用のデスクトップ画面でAIが作業。今回の録画機能もここ
Anthropic	Claude Computer Use	Mac全体	画面のスクショを見て、クリックや入力を返す汎用的な方式
Google	Gemini Computer Use（Project Mariner）	主にブラウザ	画面の“見た目”より、Webページの構造（DOM）を理解して操作

ざっくり言うと、

という棲み分けです。今回のCodexの録画機能は、この中でOpenAIが**「専門知識がない人でも使えるようにする」**方向に踏み込んだ、と位置づけられます。

ここは正直に書いておきます。「AIにPC操作を任せる」はまだ発展途上で、過信は禁物です。

Anthropic自身も、コンピュータ操作について「コードやテキストの扱いに比べると、まだ初期段階」と認めています。具体的には、スクロール・ドラッグ・ズームといった操作が苦手とされます（CNBC報道）。

つまり、画面の見た目が少し変わったり、想定外のポップアップが出たりすると、AIが迷子になる可能性があります。「毎回まったく同じ画面」が前提の作業ほど安定し、「状況がコロコロ変わる作業」は失敗しやすい、と考えておくのが現実的です。

⚠️ ここは気をつけて：セキュリティと誤操作 画面操作AIには、便利さの裏にリスクもあります。

だからこそ、Codexが「スキルの中身を人間が点検・編集できる」設計にしているのは理にかなっています。最初は影響の小さい作業で試し、いきなり重要システムを丸投げしない——これが安全な入り方です。

定型の事務作業が多い人 → 影響大。経費精算・申請・データ転記のような「毎回同じ手順」の作業は、近い将来AIに任せられる可能性が高いです。今のうちに「自分の作業のどれが定型か」を棚卸ししておくと、来たるべき自動化の波に乗りやすくなります。
エンジニア・情シスの人 → 影響大。「社員がAIに何を操作させているか」の管理が新しい課題になります。権限設計とログ監視は早めに検討する価値あり。
「AIにPCを触らせるのは怖い」人 → その感覚は正常です。今は無理に使う必要はありません。ただ「こういう機能が普通になりつつある」という事実だけは押さえておくと、半年後に慌てずに済みます。