AIへの質問を長くする前に、画像や音声を渡してみる——仕事で使うマルチモーダル生成AI

画面にエラーが出た。AIに相談しようとして、「右上に青いボタンがあって、その下に……」と入力しているうちに、説明だけで長文になってしまう。

そんなときは、質問を書き足す前に、判断に必要な画面を渡せないか考えてみてください。画像に対応したAIなら、スクリーンショットと「何をしたいか」を組み合わせて相談できます。

仕事で扱う情報は、文章だけではありません。説明図、操作画面、会議の声。そうした素材を相談の入口にできるのが、マルチモーダル生成AIの使いどころです。

ただし、素材を渡せば仕事が完了するわけではありません。何を作ってほしいのか、何を根拠にするのか、どこを人が確認するのか。この三つまで決めると、試す作業が具体的になります。

「生成AI」と「マルチモーダル」は、何が違うのか

生成AIは、学習したデータの特徴やパターンをもとに、文章や画像などのコンテンツを生成するAIです。米国立標準技術研究所（NIST）の定義も、生成されるものとして画像、動画、音声、テキストなどを挙げています。「生成AIは文章だけ」「単一形式しか扱えない」という意味ではありません。出典1：NIST用語集

一方、モダリティとは、テキスト、画像、音声などの情報の種類を指します。マルチモーダルは、複数の種類を扱う性質です。生成AIのうち、その性質を持つものがマルチモーダル生成AIです。生成AIと対立する別ジャンルではありません。

また、入力と出力の対応は別々に考える必要があります。画像と文章を入力し、文章だけを返すモデルもマルチモーダルです。実際、GPT-4の原著論文は、画像とテキストを受け取り、テキストを出力するモデルとして説明しています。出典2：GPT-4 Technical Report

したがって、「マルチモーダルなら画像・音声・動画を必ず生成できる」「どのモデルでも自由に組み合わせられる」とは限りません。

仕様を見るときは、製品名だけでなく、使う場所にも注目してください。普段操作するアプリと、開発者がプログラムから利用するAPIでは、提供される機能が異なります。例えばOpenAI APIのGPT-4.1仕様表は、テキストを入出力、画像を入力のみ、音声と動画を非対応としています。これは当該APIモデルの仕様であり、ChatGPTアプリ全体の機能表ではありません。出典3：GPT-4.1モデル仕様

例1：図を渡し、検証から記事の下書きまで頼む

まず詳しく見ていくのは、説明図をもとに記事を作る仕事です。

困っているのは、「図の内容を紹介したいが、用語や分類が正しいか判断できない」という状況。図を文章に置き換えるだけでは、元の誤りまで引き継いでしまいます。

渡す素材は、文字が読める図、想定読者、記事の目的、参照してほしい公式資料です。ChatGPTアプリには、画像を会話に追加して内容を分析する機能があります。ただし、日本語の文字や図表を読み違える可能性も公式ヘルプに記されています。出典4：ChatGPT画像入力FAQ

画像の入力欄から図を添付し、次のように依頼します。

期待する出力は、図の説明文だけではありません。どの主張を残し、どこを直すかが分かる一覧と、その判断を反映した原稿です。画像を読む機能とは別に、出典を調べるには検索・閲覧機能、または自分で渡す資料が必要になります。

この記事の出発点となった図には、「生成AI＝1種類の入力→1種類の出力」「マルチモーダル生成AI＝複数の入力形式→複数の出力形式」という整理がありました。しかし、先ほどの定義と照合すると、前者は生成AI全体を狭く捉え、後者は複数形式の出力を必要条件にしてしまっています。

そこで、図は「生成AIの二つの利用例」に改め、文章で質問する例と、画像と文章を渡して文章を得る例を並べる形に修正します。本文で説明を補うだけでなく、図そのものの分類と矢印を直す必要があります。

人が照合するのは、まず元画像の文字とAIが抜き出した主張です。次に、リンク先の公式資料に本当に根拠があるかを確認します。「画像を理解できる」という説明を、「画像を生成できる」という根拠に使っていないかにも注意してください。

最後に、原稿だけでなく修正後の図も読み直します。図だけを見た人にも同じ意味が伝われば、掲載に向けた確認が一歩進みます。

例2：スクリーンショットから、次に試す操作を整理する

次は、業務アプリで操作につまずいた場面です。「ボタンが見つからない」「警告が出た」という状況を、画面から相談します。前の例と同じく、画像入力に対応したChatGPTアプリなどで試せます。出典4：画像入力の機能と制限

渡す素材は、問題が見えるスクリーンショットと、アプリ名、分かる範囲のバージョン、目的、直前にした操作です。パスワードや顧客名、通知欄の個人情報は、投入前に取り除きます。

期待する出力は、次の一手と、その成否を判断する目印です。一度に長い手順を受け取るより、実際の画面と照合しながら進めやすくなります。

人は、案内されたボタン名や警告文が画面と一致するか、操作後に目的の状態になったかを確認します。違っていたら操作を止め、新しい画面を渡します。

なお、スクリーンショットを読めることは、アプリを自動操作できることを意味しません。操作には別の機能や権限が必要です。この例では、AIが案内し、人が操作します。

例3：会議音声と議題メモから、確認用の議事録を作る

会議後に困るのは、発言を短くまとめることだけではありません。「何が決まり、何が保留で、誰に確認すべきか」を分ける必要があります。

Geminiアプリの公式ヘルプには、音声ファイルのアップロード対応と長さの上限が記載されています。これはGeminiアプリの機能であり、すべてのGemini APIモデルに同じ条件が当てはまるという意味ではありません。出典5：Geminiのファイル分析

最初は、前後関係を保った短い議題の録音と、その議題メモを使います。録音の対象範囲も明記し、会議全体の記録と誤解させないようにします。

期待する出力は、参加者が修正できる議事録案です。整った文章になっていても、会議で合意された証拠にはなりません。

人は、決定事項、担当者、期限、金額などを元音声に戻って確認します。AIが示した時刻も照合の対象です。発言者が不明なら、声だけから氏名を決めず、参加者に確かめます。

投入前には、録音と外部サービス利用について参加者への説明や必要な同意、社内規程を確認してください。取引先情報を含む会議を、個人用アカウントへそのまま渡してよいとは限りません。

素材は、たくさん渡すより「確認できる範囲」を選ぶ

三つの例に共通するのは、素材、仕事の目的、成果物、確認条件をセットにすることです。

図が手元にあり、根拠資料までたどれるなら記事制作。操作画面と成功した状態を比べられるなら操作相談。録音の利用条件が整い、発言を聞き直せるなら議事録作り。最初は、自分が正誤を確認できる作業を一つ選びましょう。

素材を選ぶ段階では、社内で利用が認められたサービスとアカウントか、保存や学習利用の扱いはどうなっているかも確認します。例えばGoogleのGemini向けプライバシー説明には、一部のデータを人間がレビューする場合があると記されています。自分に適用される契約や設定を確認することが大切です。出典6：Geminiプライバシーハブ

名前だけ隠しても、案件名や声、画面の周辺から情報が伝わる場合があります。必要な範囲に絞り、最初は公開資料や検証用の素材を使う方法もあります。

依頼を送った後は、回答が流暢かどうかより、原資料に戻って確かめられるかを見てください。不明点が残ったら、説明を長く書き直す前に、不足している画面や資料を追加できないか考えます。

今日試すなら、まず「手元の素材」と「欲しい成果物」を一つずつ書いてみてください。そして、「出力のどこを、何と照合するか」を一行添えます。

AIに渡すものを増やす目的は、情報量を競うことではありません。判断に必要な材料を共有し、次の仕事に使える形へ近づけることです。

参照資料

確認日：2026年10月21日（日本時間）。以下は公式資料・原著論文の閲覧に基づきます。掲載した依頼文は実践用の提案であり、各アプリでの再現試験や効果測定を行った事例ではありません。

1．NIST — generative artificial intelligence
生成AIの定義と、生成対象の範囲。

2．OpenAI — GPT-4 Technical Report
画像・文章入力、文章出力という原著の記述。要旨を確認。

3．OpenAI API — GPT-4.1 Model
当該APIモデルの入出力対応。参照ページには非推奨の表示があり、本文では仕様の例として紹介しています。

4．OpenAI — ChatGPT Image Inputs FAQ
アプリの画像入力方法と、読み取りの制約。

5．Google — Geminiアプリでファイルをアップロードして分析する
アプリへのファイル・音声入力、利用条件と上限。

6．Google — Geminiアプリのプライバシーハブ
提供データの扱い、人によるレビュー、設定に関する説明。
#生成AI #マルチモーダルAI #AI活用 #仕事術 #プロンプト