【画面クリックまで丸投げ】Claude CodeのComputer useで非エンジニアがPC操作を自動化してみた実例5選
「Claude CodeのComputer useって何ができるの？」「コードを書けない自分でも画面操作の自動化ができる？」――2026年3月末にCLIへ登場したComputer useは、Claude CodeがPCの画面を見ながらマウスクリック・キーボード入力まで自動でやってくれる研究プレビュー機能です。本記事では、非エンジニアの日常業務でComputer useを5パターン試した実体験を、Playwrightプラグインとの違いや安全運用のコツとセットで丸ごとレポートします。マクロやRPAを諦めてきた方ほど刺さる内容です。
Claude CodeのComputer useとは？2026年3月にCLIへやってきた「画面操作AI」
Computer useは、Claude Codeにv2.1.86（2026年3月30日のWeek 14リリース）から追加された新機能です。Anthropic公式のリリースノートでは「Claude can open native apps, click through UI, and verify changes from your terminal」と表現されており、つまりターミナルからPCの画面操作までを一気通貫で任せられる仕組みです。
動作は3ステップでシンプル。
・スクリーンショットを撮って画面の現状を把握する
・画面に何が表示されているかをClaudeが解析する
・マウスクリック・キーボード入力で目的の操作を行い、再びスクショで結果を検証する
このサイクルを目的達成まで自動で回し続けるのがComputer useの本体です。「GUI専用アプリでないと完結しない作業」を、コードを書かずにAIへ丸投げできるようになりました。
Desktop App版とCLI版の違い
実はComputer useはClaude Desktop App（Macアプリ）にも搭載されています。両者の使い分けはシンプルで、Desktop App版は「対話しながらその場で操作してもらう」用途、CLI版は「スケジュールや`/loop`での無人運用」に向きます。本記事ではCLI版を中心に扱います。
ChatGPTとの違い・Playwrightとの違い｜Computer useの位置づけ
Computer useを試す前に、よく混同される他機能との違いを整理しておきます。先に結論を書くと、Computer useはOS全体を触れる唯一のClaude機能で、コード生成も不要なので非エンジニア寄りです。
Playwrightプラグインは「ブラウザ自動化に特化した安定運用向けツール」です。CSSセレクタやテストコードを介してブラウザを操作するため速度は速いものの、ブラウザの外（Excel、Outlook、業務システムのデスクトップアプリ等）には触れません。一方Computer useはブラウザもデスクトップアプリもターミナルも横断できる代わりに、スクショ＋解析というワンクッションが入るため動作はゆっくりです。
ChatGPTのadvanced data analysis機能も「PCを動かしているように見える」ことがありますが、実態はSandbox内のPython実行であって、ユーザーのPCそのものを操作することはできません。Computer useは本当のローカル画面を触ります。
筆者の感覚としては、Playwrightプラグインを既にプラグイン101本記事で紹介しましたが、Computer useはその上位レイヤー、より自由度が高くハードルも低い選択肢です。MCPの設定ファイルやAPIキー取得も基本不要で、最も非エンジニア寄りの自動化機能と言えます。
試す前の準備｜CLIアレルギーがある人のための3つの初期設定
Computer useをいきなり全業務に使うのは怖い、というのが正直なところだと思います。事故を避けるために、最低限の3つの準備をしておきましょう。
最初にClaude Codeをv2.1.86以上に更新します。ターミナルで`claude --version`を叩いて確認し、低ければ`claude self-update`または`npm install -g @anthropic-ai/claude-code`で最新化します。Computer useは研究プレビューなので、より新しいバージョンの方がバグ修正が入っています。
次にAuto modeを併用するならhard deny rulesを設定します。`/auto deny`で「ブラウザを閉じる」「ファイルを削除する」「電源を切る」などの危険操作を不許可リストに追加しておけば、暴走時の被害を最小化できます。詳しい設定方法はAuto mode解説記事でも紹介しています。
最後にQuickTime PlayerやOBS Studioなどの録画ツールで画面を録っておくと、何か事故が起きたときに「どの操作が引き金になったか」をフレーム単位で追跡できます。無人運用に進む前の数回は、必ず録画しながら横で見守るのがおすすめです。
【実例5選】Computer useを非エンジニアの業務で試した結果
ここからが本記事の本丸。実際に試した5つのシーンを、難易度・時短効果とともに紹介します。
実例1｜競合5社のLP巡回と差分抽出（毎週月曜の朝に自動実行）
マーケ職や事業企画でよくある「競合5社のLPを毎週見比べる」業務。これをComputer useに任せました。指示は「Chrome を開いて、競合5社のLPを順番に表示。各サイトのファーストビューをスクショして、前週のスクショと差分を比較。変更があったら箇条書きで報告」だけ。毎週月曜の朝9時に`/loop`で自動実行する設定にしたところ、月曜出社時にはSlackに要約が届いている状態を作れました。所要時間は1サイクル15分ほど。手作業なら1時間かかる工程です。
実例2｜Googleフォーム回答の自動集計とPDF出力
イベント運営でよく使うGoogleフォームの集計。Computer useに「Googleフォームの回答ページを開いて、CSV出力をダウンロード。Excelで開いて、職種別の集計表を作って、PDFに書き出して」と頼んだだけで、コードを1行も書かずにレポートまで完成。Googleアカウントのログイン状態が維持されていれば、認証画面も自動で乗り越えてくれます。
実例3｜Excelの行コピー&転記の自動化（マクロ書けない人向け）
「マクロを覚えるほどでもないけど手作業はきつい」業務の代表格、Excelの行コピー＆転記。例えば「請求書テンプレートに、得意先マスタの各行のデータを順番に流し込んで保存」をComputer useに任せたら、20社分の請求書作成が5分で終わりました。マクロやVBAを書く必要はゼロ。ExcelのGUIをそのままClaudeが操作してくれます。
実例4｜勤怠打刻システムの自動入力（業務用WebシステムへのSSO含む）
中小企業でよくある「クラウド勤怠システムへの月次データ入力」。SSO（シングルサインオン）で社内ポータル経由のログインが必要なケースでも、Computer useは画面遷移を見て対応します。「ジョブカンを開いて、今月の有給取得日にチェックを入れて承認申請を出して」と指示すれば、社内ポータル→ジョブカンログイン→該当日選択→申請ボタン押下までを全部代行してくれました。
実例5｜Slack／Teamsの定型返信を仕分けて投稿
カスタマーサポートの定型返信もComputer useの得意領域。「Slackの#supportチャンネルを開いて、未返信メッセージを上から確認。FAQに該当する内容なら定型文で返信、判断が難しいものは私にメンションして」というワークフローを組んだら、サポート担当者の負荷が体感3割減りました。返信文面はCLAUDE.mdに事前定義しておくと、トーン&マナーも統一できます。
動かしてみて分かったComputer useの強み・弱み
5シーンを試した上での、率直な評価を書きます。
強みは3つ。GUI専用アプリでも動く（マクロが書けないExcel、デスクトップ版Outlookなどでも操作可）、コード生成が不要（自然言語の指示だけでOK）、画面で進捗を目視できる（暴走しても気付ける）。特に「目視できる」という安心感は、コードベースの自動化にはない大きなメリットです。
弱みも正直に書いておきます。1ステップあたり数秒かかるので速度は遅め、文字認識のズレで意図しない場所をクリックすることがある、画面解像度やテーマ（ダーク／ライト）に挙動が依存する。「夜間バッチで100件処理する」のようなユースケースには向きますが、リアルタイムでの大量処理には向きません。
時間帯としては、「夜間・早朝・離席中の無人運用」と相性が抜群です。寝ている間にAIが処理してくれて、朝起きたら結果がSlackに届いている、というワークフローが現実的に組めます。
安全に使うための3つのルール｜Auto modeのhard deny rulesと併用しよう
Computer useは画面を直接触るぶん、誤操作のリスクもゼロではありません。本格運用する前に、次の3つのルールを必ず守ってください。
第1にAuto modeのhard deny rulesで危険操作をブロックします。`/auto deny "rm -rf"` `/auto deny "ブラウザ閉鎖"` `/auto deny "電源オフ"`のように、絶対にやってほしくない操作をリストアップしておきます。Auto modeは2026年5月時点で安定運用フェーズに入っており、Computer useと組み合わせれば「暴走しない自動化」が実現できます。
第2に録画ツールでスクショ履歴を残します。OBS Studioで画面録画しておけば、事故発生時に「どの瞬間にどの判断ミスがあったか」をフレーム単位で追えます。これは非エンジニアにとって最大の安心材料です。
第3に初回は人間の隣で見守りつつ動かします。Computer useは1回成功すれば次回以降は安心ですが、初回はどんなUIで詰まるか分かりません。最初の3回は必ず横で見ながら、必要に応じて介入する運用がおすすめです。
Computer use vs Playwrightプラグイン｜どちらを選ぶべきか
Playwrightプラグインを既に入れている方からよく聞かれる質問にも答えておきます。
Playwrightプラグインは「ブラウザ自動化に特化した安定運用向けツール」。CSSセレクタを使うので速度は速く、CI/CDとの連携も得意です。一方Computer useは「OS全体を触れる研究プレビュー」で、汎用性は高いが速度は遅い。
結論：ブラウザ操作だけならPlaywright、PCアプリ全般を触りたいならComputer use
明確な棲み分けがあります。ブラウザの中で完結する作業（フォーム入力、スクレイピング、CMS操作など）はPlaywrightが最速・最安定。一方、Excelのマクロを書きたくない、デスクトップ版Outlookを触りたい、業務システムのSSO付きログインを自動化したい、といった「ブラウザ外」の作業はComputer use一択です。
両方インストールして使い分けるのが最強解
実は両方インストールするのがおすすめです。「速度重視の定型業務」はPlaywright、「ブラウザ外も含む複雑業務」はComputer use、と使い分ければ、Claude Codeで触れる業務範囲が一気に広がります。具体的なスケジューリングはRoutines解説記事を参考にしてください。
まとめ｜Computer useは「諦めてきた自動化」を解禁する研究プレビュー
最後に、本記事の要点を振り返ります。
・Computer useはv2.1.86（2026年3月）でCLIへ登場した画面操作AI
・スクショ→解析→操作→検証のサイクルで、GUIアプリもブラウザも横断して動かせる
・コード生成不要・自然言語指示OKで、最も非エンジニア寄りの自動化機能
・速度は遅めだが、夜間・離席中の無人運用に最適
・Auto modeのhard deny rules、録画、見守りの3点セットで安全運用が可能
・ブラウザ専用ならPlaywrightプラグイン、PCアプリ全般ならComputer useの使い分けが最強
「マクロを書けないからRPAも導入できない」「画面操作の自動化は諦めていた」――そんな非エンジニアの方こそ、Computer useを試す価値があります。まずは実例1の競合LP巡回あたりから始めて、徐々に範囲を広げていくのがおすすめです。
Computer use自体はまだ研究プレビューですが、Anthropicの公式ロードマップでは2026年下半期に正式版としてリリース予定とのこと。今のうちに使い方を覚えておけば、正式リリース後にすぐ社内展開できます。
あわせて読みたい関連記事：
Claude Codeの最新情報をリアルタイムでキャッチ
Claude Codeは毎週のように新機能が追加され、Computer useも日々精度が上がっています。新機能のリリース、非エンジニア向け活用Tips、最新アップデートの解説は、X（旧Twitter）の @ai_hack_dx で毎日配信中です。
「Computer useを実際に試したい」「業務に組み込む具体的なワークフローを知りたい」という方は、ぜひフォローして最新情報をチェックしてください。
