エンジニアとして口座残高を取得しようとして、ChatGPTエージェントを初めて使ってみることができた

以前書いた以下の二つの記事

googleスプレッドシートに口座残高をスクレイピングしたい（今回は出来なかった）

AIエージェント「web UI」

の続きを行う

どちらがいいか

目的は、SMBCにログインして、口座残高を取得するということ

今回は、大AI時代なので、web UIを使用してみよう

ここでもAIを使う

大AI時代なので、チャッピーの力を借りる

銀行という敏感なサイトでは、ログインは自分で行う必要がある

はい、その“Web UI のAIエージェント”が ChatGPT agent のことなら、
仕組み上はログインが必要なサイトを操作すること自体は可能です。
ただし、銀行のような敏感なサイトでは制約があります。
OpenAIの公式ヘルプでは、ログインが必要な場合はエージェントが一時停止し、
あなたがブラウザを引き取ってログインする流れになり、
その間はスクリーンショットを取らない仕様です。
また、銀行口座のような敏感な文脈では**“watch mode”でユーザー監督が必要**
とされています。

チャッピーは、WEB UIをChatGPT agentと置き換えて考えてくれている

SMBC × ChatGPTのエージェントモード

まず前提として：

• ID / パスワードは絶対にエージェントに入力させない
• ワンタイムパスワードも自分で入力
• 画面を「見ながら使う（放置しない）」

👉 銀行は“完全に手動ログイン”が鉄則です

エージェント起動

ChatGPTでエージェントモードをONにして、こんな感じで指示します：

• 「SMBCの残高確認ページまでナビしてください」
• 「ログイン画面まで進んでください」

👉 ここまでは自動でOK

エージェントモードをONにする方法

+ ボタンを押す → さらに表示にカーソルを当てる

エージェントモードをクリックすると、以下に切り替わる

「SMBCのログインページを開いて」と語りかけた

チャット上の擬似ブラウザで操作が行われていて、感動した

SMBCのログイン画面まで到達したら、チャッピーから以下の返答があった

ログインは“手動介入”

ログイン画面に来たら：

• ブラウザ操作を自分で引き取る
• ID・パスワード入力
• OTP（ワンタイムパスワード）入力

👉 この間はエージェントは触らせない

先ほどのチャッピーからの回答の「引き継ぐ」をクリックして、同意するを押すと、制御が切り替わった

ログイン後に再開

ログインが終わったら：

• 「残高ページを表示して」
• 「普通預金の残高を確認して」

👉 この部分だけエージェントに任せる

ログインできたので、チャッピーに制御を引き渡した

入出金の履歴が表示されている画面に移動してもらった

ChatGPTエージェントで出来ること

自然言語で指示をすれば、ブラウザの操作を行うことができる

銀行口座のログインの場合は、自分が制御することができる（向こうが提案してくれる）

画面自体は向こうが保持しているから、画面を見たかったら「画面を見せて」というと、スクリーンショットを取ってくれる