GitHub Copilot、デスクトップアプリを操作する「computer use」を公開

何が発表されたか

GitHubは2026年10月1日、GitHub Copilotがデスクトップアプリケーションを操作できる「computer use」機能を発表した。

• Copilotが「アクセシビリティ経由でアプリの内容と視覚的なコンテキストを読み取り、コントロールをクリックし、テキストを入力・編集する」といった操作を行える
• 提供状態はパブリックプレビュー。対象はGitHub Copilot CLIと、macOS／Windows版のGitHub Copilotアプリ
• 有効化方法はCLIでは /computer on、アプリでは 設定 → Computer Use → Enable Computer Use

開発者への影響

ブラウザ内に限られていたエージェント操作が、ローカルのGUIアプリにまで広がる。発表では以下の制約・前提が示されている。

• Copilotがアプリを操作する前にユーザーの承認が必要。常に許可に設定したアプリは、後から確認・リセットできる
• macOSではアクセシビリティと画面収録の権限付与が必要
• 組織で管理している設定から、この機能を無効化できる
• 望む結果と制約を明確に伝えたほうが安定して動作する、と案内されている

実務では、GUIしか操作手段がないツール（デザインツール、検証用アプリ、管理画面のデスクトップ版など）を含む手順の自動化が射程に入る。一方で、画面を読み取って操作する性質上、権限を渡す範囲は絞り込んでおきたい。プレビュー段階であり、本番の作業端末で常時許可にする前に、対象アプリを限定して挙動を確かめるのが無難だ。