マルチモーダルAI、実はもう使っていました｜Google Skills「Generative AI Leader」【総務のAI学習記録 #3】
前回は、Googleが個人向け、組織向け（Google Workspace）、開発者向け（Google Cloud）に様々な生成AIのツールや技術を提供していること、そして総務ではGemini Notebookが使えそうだ、という話を書きました。（Gemini Notebookについては、別の記事で改めて書きます！）
今回は【マルチモーダル生成AI（Multimodal gen AI）】について、かみ砕いてみます。
マルチモーダル生成AIとは
コースでは、こう説明されています。
“Gen AI can process and integrate information from diverse formats like plain text, images, videos, audio, and PDFs. This capability–known as multimodal gen AI–means that models can process various input types individually or combine multiple kinds of data simultaneously.”
日本語にすると、「生成AIは、テキスト・画像・動画・音声・PDFなど、さまざまな形式（モーダル）の情報を処理し、組み合わせることができる。これをマルチモーダル生成AIと呼び、一つの形式だけを処理することも、複数の形式を同時に組み合わせて処理することもできる」という意味です。
この説明を読んだだけでは、なんだか分かったような分からないような…
例のごとく、今回もGeminiに丸投げしてみました！
" 従来のAIは「テキスト専用（チャットボットなど）」や「画像認識専用」のように、一つのデータ形式に特化しているものが主流でした。
これに対してマルチモーダルAIは、人間の五感（視覚・聴覚・言語など）のように、異なる種類の情報をシームレスにつなぎ合わせて理解・生成します。"
とても分かりやすいですね！つまり、私たちが「見た情報」「聞いた情報」「読んだ情報」を頭の中でまとめて理解するのと同じように、マルチモーダルAIも、いろいろな形式の情報を一度に扱えるということです。
ChatGPTも、リリース当初は文字で指示を打ち込むだけでしたが、今では画像を添付して「これは何？」と聞けますよね。これもマルチモーダルです。
ちなみに、Geminiの回答をよく見ると「五感（視覚・聴覚・言語など）」とありますが、言語は五感ではありませんね。分かりやすい説明の中にも、こういう小さな間違いが紛れ込みます。前回も書いたとおり、最後は自分の目で確認するのが大事だと、改めて実感しました。
実は、日常ですでに使っている
「マルチモーダル」という言葉はあまり聞きませんが、私たちは日常的に、その恩恵を当たり前のように受けています。たとえば、カメラ翻訳。英語のメニューを撮影するだけで、すぐに日本語にしてくれます。音声をテキストにしてくれる文字起こし機能も、その一つです。
総務の私も、実はもう使っていました
私の職場ではGoogle Workspaceを使っているので、マルチモーダル生成AIである「Gemini」を業務で使っています。
たとえば、AppSheetでアプリを作っているとき。設計画面のスクリーンショットをGeminiに貼って質問すると、エラーの原因を突き止めてくれたり、もっと見やすいレイアウトをアドバイスしてくれたりします。以前は、エラーの状況を文章で長々と説明していましたが、今はスクリーンショット1枚で伝わります。振り返ってみると、これがまさにマルチモーダルの使い方でした。
ビジネスでは、もっと大きな使い方も
講座では、ビジネスでのもっと本格的な活用例も紹介されていました。どれも、これまで別々のツールや人の手でやっていた作業を、一つのAIでまとめてこなす例です。
マーケティング（テキスト＋画像）：ブランドのイメージに合わせて、SNSの投稿文と画像をセットで作り、見られやすい投稿時間まで提案する
法務（テキスト＋PDF）：分厚い契約書を読み込んで要約し、質問に答えたり、トラブルになりそうな箇所を指摘したりする
市場調査（テキスト＋動画＋データ）：回答者の表情の動画、話した内容、アンケート結果を組み合わせて、本音や感情を分析する
業務にAIを取り入れようとするとき、この「マルチモーダル」という考え方を知っておくだけで、「AIで何ができるか」の解像度がぐっと上がります。「文字で説明しなきゃ」と思っていたものが、実は画像や音声のまま渡せるかもしれないからです。総務なら、紙の申請書や領収書の写真、会議の録音などがそうですね。
会社でAIを使うときは「設定」に注意
AIには「入力した情報が学習に使われて、情報が漏れるのでは」という心配がつきものです。そのため、セキュリティがしっかりしている企業ほど、AIの使い方に制限をかけていることが多いと思います。
個人向けの無料サービスでは、入力した内容が学習に使われる設定のものもあります。一方で、Google Workspaceのような企業向けの契約では、入力したデータを学習に使わないとしているサービスが多いです。
とはいえ、学習されない設定だから何を入れてもいい、というわけではありません。機密情報や個人情報は、そもそも入力しないのが基本です。
また、会社のアカウントでは、個人のアカウントなら使える機能が制限されていることもあります。設定は会社によって違いますが、私の会社の場合はこんな感じです。
過去の会話を参照できない：個人のアカウントでは、AIが過去の会話の内容をふまえて、「前にこう言っていましたよね」とアドバイスしてくれます。一方で会社のアカウントでは別の会話の内容を読めないので、毎回一から説明し直す必要があります。「AIを育てる（会話を重ねることで、自分の思考に合わせてパーソナライズする）」という言葉を耳にしますが、会社のアカウントではそれができないわけです。
無料版のAPIは使用禁止：無料版は入力した内容がサービスの改善に使われる可能性があるため、使えないことになっています。
総務は、社外秘の情報や従業員の個人情報を多く扱う部署です。会社と自分を守るためにも、AIについて正しい知識を身につけていきたいですね。
