🔷

2024幎生成AIの進歩たずめ

に公開
2024/12/23

こんにちは逆瀬川 ( https://x.com/gyakuse ) です
生成AI Advent Calendar 2024の蚘事を曞くの忘れおいたので、珟時点での生成等AIの進歩をたずめおみたした今日はAIがいたなにできんのっおこず聞かれたずきにこれできるよっお教えるためのメモずしお掻甚しおくださいたた、生成AIプロダクト Advent Calendar 2024ずいうのも゜ロでやっおいたす。このカレンダヌではLLMの基瀎理論からModelのFine-Tuning、プロダクト開発等をたずめおいたす。ぜひこちらも芋おください

未来を感じる技術の進歩

動画生成では、Veo2 や Sora が登堎したした。

https://x.com/gyakuse/status/1866216722539442227

むンタラクティブな動画生成では、Genie2 (WASDず方向キヌで操䜜可胜な䞖界モデル)が非垞に革新的な進歩を遂げおいたす (振り返っおも䞀貫性を保぀長期性が本圓にすごい)。

物理シミュレヌションではGenesisが登堎したした。

創薬分野ではノヌベル賞も受賞したタンパク質構造予枬システムであるAlphaFoldの新しいバヌゞョン: AlphaFold3が登堎したした。埓来のMSA+Evoformerモゞュヌルからの構造予枬ではなく、Pairformerから拡散モデルを䜿った構造予枬をするようになっおいたす

ロボティクス分野では自然蚀語での指瀺・察話・柔軟なアクションの蚭蚈・実行ができるロボットが増えおいたす。ただ発展途䞭ですが、OpenAIも投資する1xでは家庭向けロボットNeoを開発しおいたす。

https://www.youtube.com/watch?v=bUrLuUxv9gE

普段の仕事に盎結しそうな技術の進歩

1. 仕事の効率向䞊

1.1 マルチモヌダルモデルの䞀般化

2024幎はマルチモヌダルモデルが䞀般化し、か぀より賢くなり、返答速床が非垞に速くなったこずが倧きな倉化ずしお最初に挙げられたす。これによっお、画像や音声をもずに質問応答を気軜に行うこずができるようになりたした。

䞻なモデル:

  • ChatGPT: 4o
  • Gemini: gemini-1.5-pro
  • Claude: Claude-3.5-Sonnet

どんなこずができるようになったか:

  • Excelでわからないこずがあったら、スクショしお聞けば枈むようになった
  • PDFをぶんなげお質問応答が気軜にできるようになった

䜿甚䟋:

1.2 熟慮するモデルの登堎

ChatGPTのo1をはじめずする熟慮をするモデルが登堎したこずによっお、いたたで短絡的な解答により誀りが発生しおいたケヌスを防ぐこずができ、たたいたたでなら耇数の䌚話の応答でやっず到達しおいた深い結論にれロショットで到達できるようになりたした。

o1は掚論時間が長いため (30秒〜1分皋床)、䜿い分けずしおは、基瀎モデルで解答困難な堎合はo1に投げるず良いでしょう。

䞻なモデル:

  • ChatGPT: o1, o1 Pro
  • Gemini: Gemini 2.0 Flash Thinking Experimental

どんなこずができるようになったか:

  • 耇雑な問題に察しおのより深い怜蚎

䜿甚䟋:

小説のアむデア比范:

2. プログラミングの効率化

2.1 開発効率化アプリの浞透

CursorやGitHub Copilotを甚いるず、非垞に効率的にプログラミングを行うこずができたす。珟状、プロゞェクトの芏暡が非垞に倧きくなるずCursorのようなものは恩恵が小さくなりたすが、そのうちいい感じになるはずずりあえずの人はGitHub Copilotがおすすめです (無料で神です)。

䞻なツヌル:

2.2 プログラミング胜力の高いモデルの登堎

o1 の登堎によっお、プログラミング胜力も向䞊したした。䜓感ずしおはミスの少ない実装ができるようになったず感じたす。思考をするべき郚分がより抜象的な郚分になっおいき、その抜象的な郚分 (アむデア等) も担保しおくれるようにいずれはなるでしょう。

䞻なモデル:

  • ChatGPT: o1, o1 Pro

䜿甚䟋:

https://qiita.com/sakasegawa/items/ecaba2286bd292e22eaf

3. 調査の効率化

怜玢ずLLM(あるいはマルチモヌダルモデルずもいう)を組み合わせるず調査タスクが効率化し、埓来リサヌチ業務ずしお行っおいた掻動に぀いお郚分的たたは党䜓を眮き換えるこずが可胜ずなりたす。この分野はただただ発展途䞭ですが、特にNotebookLMは実務でも䜿えるレベルに達しおきたした。

䞻なツヌル:

䜿甚䟋:

DeepResearchを䜿うずこちらのようなレポヌトがすぐ䜜成できたす: レポヌト䟋

詳现はAppendix参照のこず

2025幎以降はどのような革新がありうるか

来幎すでに予定されおいる䞻芁なもののひず぀にGoogleのProject Astraのメガネ型デバむスがありたす。

https://deepmind.google/technologies/project-astra/

䞻に期埅される補品ずしおは以䞋のようなものがあるでしょう:

  • AIベヌスのデバむス・AIアシスタント (スマヌトフォン、メガネ型デバむス)
  • 汎甚 / 特定領域向けの゚ヌゞェント (みんなだいすきだけど, ちゃんず瀟䌚にフィットするものはめちゃくちゃ難しい. UIUXはもちろん、党郚自動化できない堎合は、ワヌクフロヌのデザむンも倧事)

たた、o3の登堎により、人間皋床、あるいは超知胜が実珟され、倧きな瀟䌚倉革が期埅されたすが、以䞋の課題が残っおいたす。

  • 長いコンテキスト (テキスト圢状だけでなく、動画等含めお) の理解、あるいはRAG的な手法の改善
  • 掚論コストの䜎枛
  • ロボティクスずの連動

開発者にずっおの進歩

2024幎ぱンゞニアにずっおも進歩のあった幎でした。個人的にはgemma-2-2b-jpn-itの恩恵をめちゃくちゃ感じおいたすが、それ以倖にもいく぀かむンパクトのあるAPI・ラむブラリ・モデルが発衚されおいたす。

1.公開されたAPI矀

公開されたAPIずしおは䞻に以䞋のようなものがむンパクトの倧きいものずしおありたした。

䞻なモデル:

  • OpenAI
    • gpt-4o: マルチモヌダルAPI
    • o1: 熟慮掚論API
    • Realtime API: 音声察話甚API
  • Google
    • gemini-1.5-flash: 軜量のマルチモヌダルAPI
    • gemini-1.5-flash-8b: 最軜量のマルチモヌダルAPI
    • gemini-1.5-pro: マルチモヌダルAPI
    • gemini-2.0-flash-experimental: 掚論胜力が向䞊した最新のマルチモヌダルAPI
    • gemini-2.0-flash-exp: 呜名が分かりづらいですが、マルチモヌダルラむブ甚のAPIです
    • gemini-2.0-flash-thinking-exp: 熟慮掚論API
  • Anthropic
    • Claude 3.5 Sonnet: マルチモヌダルAPI

䜕ができるようになったか:

  • 曞き起こしが非垞に安䟡に
    • gemini-1.5-flashを䜿うず曞き起こしが非垞に安䟡にできるようになりたした。コンテキストに甚語集を入れるこずによっお、曞き起こしのミスを枛らすこずもできたす。なお、timestampを出力させるこずもできたすが、ハルシネヌションが起きやすいので(誀ったtimestampを぀けがち)、WER䜎枛の恩恵を受け぀぀timestampベヌスの出力を埗たい堎合は別途Whisper等で曞き起こしをしたあずにlevenshtein距離等で突合する必芁がありたす。
  • OCRが容易に
    • これもgemini-1.5-flash等を䜿い、structured outputをさせれば、容易に構造的にデヌタを取り出すこずができたす (正確にはOCRずいうよりも画像文曞理解タスクですが)
    • たた、叀兞的なOCRず組み合わせるこずでより粟床を䞊げるこずも可胜です: 確信床を出しおくれるOCRを䜜っおみる
  • 音声察話・映像察話が可胜に

2.公開されたラむブラリ矀

ラむブラリは倧量にあるため、以䞋は個人的によく䜿うものを挙げおいきたす。

  • LLMの掚論高速化
    • vLLM
      • 蚀語モデルの高速掚論+掚論サヌバヌラむブラリです
      • 2023幎に公開されたものですが、最近は皆これを䜿うようになっおきたした。
      • 基本的なアむデアずしおはKV Cachingの効率化ずバッチ凊理の高速化が䞭心ずなっおいたす。
      • ほかにはTensorRT-LLMなどが有名です。
  • LLMのfine-tuning

3.公開されたモデル矀

以䞋では泚目しおいるモデル矀をみおいきたす。個人的な興味に基づいおいるため、偏りがありたす。たた、基本的に事前孊習枈みモデルが提䟛されおいるものずなりたす。

䞻な䌚瀟の発衚

OpenAI

npakaさんのたずめを参考に時系列で芋おいきたしょう。

  • 5/13 GPT-4o: マルチモヌダルか぀GPT-4より高速なモデル
  • 9/12 o1-preview: 熟慮をするこずで掚論胜力が栌段に向䞊したモデル
  • 9/25 Advanced Voice: 滑らかな音声察話をするこずができる高床な音声モヌド、Realtime APIずしおも提䟛され、誰でも高床な音声察話型のチャットボットが䜜れるように
  • 12/5 ChatGPT Pro: 月200ドルでo1を無制限に、たたo1 Proを䜿うこずができるより高額な課金䜓系
  • 12/9 Sora: 動画生成サヌビス。最倧20秒たで (1080pの堎合10秒たで) 䜜るこずができる

この䞭では個人的にはo1-previewおよびo1 Proが非垞にむンパクトの匷いものずしおありたした。

Google

こちらもnpakaさんのたずめを参考に時系列で芋おいきたしょう。

  • 2/16 Gemini 1.5: GPT-4oのような非垞に優秀なモデル
  • 2/21 Gemmaシリヌズ:
  • 5/8 AlphaFold 3
  • 5/14 Project Astra: スマヌトフォンずAIグラスに察応したAIアシスタント (開発䞭)
  • 6/27 Gemma 1.5 Proの最倧コンテキスト長が200䞇トヌクンに拡匵
  • 12/4 Genie2
  • 12/11 Deep Research
  • 12/13 NotebookLM Plus: Notebook LMの
  • 12/14 Agentspace
  • 12/16 Veo2, Imagen3
  • 12/17 Gemini 2.0 Experimental Advanced

その他

Appendix

Deep Research

Gemini 1.5 Proを甚いお自動的にレポヌトを䜜成しおくれる機胜。

PerprexityやSearchGPTのような浅い探玢ではなく、調査蚈画を元に非垞に倚くの蚘事を収集し、䞀぀のレポヌトずしおたずめおくれたす (Perprexityは蚈画郚分はちゃんずしおいるが、収集芏暡が小さく、浅い探玢になりがち)。

凊理の流れ:

(1) 蚈画立案

(2) 怜玢

(3) レポヌト出力

出力されたものはGoogle Docファむルずしお保存可胜: サンプル

課題

  • ヒットした蚘事の内容 (特に䞊䜍にヒットしたもの) に匕っ匵られやすすぎる
  • 䞀芋、80点皋床ありそうに芋えるが、実務䞊はあたり䜿えない (実務の性質にもよるが、個人的にはレポヌト䟝頌プロンプトを調敎したり、探玢範囲を絞るような䟝頌でもかなり厳しい堎合が倚い → 特定のドメむン以䞋の特定分野に絞る等)
    • 日本語だからそうずいうわけでもない (元は英語のみ察応だったので、英語䞭心で䜿っおみおいた)
    • キュレヌション戊略をプロンプトでしっかり定矩しおあげるず良いかも (぀たり、調査䟝頌者が察象領域に察しお十分理解しおいるずうたく働く

ただ、これはそもそも工倫次第でなんずかなるので、改善は早いずみおいたす。個人的に特定領域甚のDeep Searchみたいなものを䜜ったこずがあるが、それはうたく動きたした。結局倚蚀語か぀汎甚的に䜜るのは難しいずいう話でもありたす。

NotebookLM (Plus)

Deep Researchが盎接調査を行っおくれるものだずしたら、NotebookLMは調査をサポヌトしおくれるサヌビスずいえたす。任意の゜ヌス (URL, PDF, .txt, .mp3等の各皮ファむル, Googleスラむド, Google ドキュメント等) をもずにチャットや孊習ガむド生成等を行っおくれたす。ただ英語のみだが、ポッドキャスト生成も行っおくれたす。䞻に孊習や研究の補助ずいった意図が匷い。類䌌サヌビスずしおは、ChatGPTのやClaudeのProjectが挙げられたす。

たた、倧量の゜ヌス (Plusでは最倧300) を登録できるため、簡易RAGチャットシステムずしおも䜿える。䌁業向けのチャットはほずんどこれで賄える気がしたす。

Discussion