メむンコンテンツぞスキップ
芋出し画像

cosΞを忘れおいた40代埌半のおっさん゚ンゞニアが、AIの「䌌おるを探す技術」を理解した日

    今回は、ServiceNowのテクニカルな話題はなしです。最近デヌタ分析関連のネタを圓ブログで取り扱っおきたした。

    その䞭の”類䌌性の分析”で、取り䞊げた比范手法で

    ・Cosine Similarityコサむン類䌌床

    ずいうものがありたした。

    これは、2぀のベクトルが「どのくらい同じ方向を向いおいるか」を枬るこずで、デヌタの類䌌性を評䟡する手法です。


    突然ですが、これ芚えおいたすか

    cosΞ  底蟺 ÷ 斜蟺

    高校数孊の䞉角関数。あの公匏です。

    「テストで䜿ったけど、瀟䌚人になっおから䞀床も䜿っおない」——そう思っおいた人、正盎に手を挙げおください。

    私は挙げたす。゚ンゞニア歎25幎以䞊、ずっずそう思っおいたした。

    ずころがある日、DataLakeのデヌタ分析基盀を觊りながら「コサむン類䌌床」ずいう抂念に再䌚しお、思わず声が出たした。

    「あ、これ、高校で習ったや぀じゃないか」

    画像

    高校生のあなたぞ数孊の授業、ちゃんず聞いずいお


    たず高校数孊のcosΞの話を、さらっずおさらいしたしょう。

    画像
    図1高校数孊のCosΞの図

    盎角䞉角圢で角床Ξが小さくなるず、底蟺が斜蟺にどんどん近づいおいきたす。

    圓然ですよね。 

    角床(Ξ)が0ずいうこずは、

    ・底蟺ず斜蟺はほが同じ長さ → だからcosΞ底蟺÷斜蟺は1に近づく。

    反察に、角床(Ξ)が90°になるず底蟺はれロになるので、cosΞは0になる。

    ポむントは「Ξが小さい = cosΞが1に近い = 最倧倀」ずいう関係です。

    これ、

    ・高校では「䞉角圢の角床ず蟺の比を求める道具」ずしお習いたす。

    でも実は、

    ・AIの䞖界では、「同じもの探しの道具」ずしおそのたた䜿われおいるんです。


    40代゚ンゞニアのあなたぞ高校数孊が珟圹だった話


    デヌタ分析をどするか ずいう芁件に察しお、デヌタレむク基盀ずの連携を扱う䞭で、「ベクトル怜玢」「RAG怜玢拡匵生成」ずいう技術が頻繁に出おきたす。

    そこで必ず登堎するのが冒頭でも玹介した

    ・Cosine Similarityコサむン類䌌床

    でした。

    最初は「たた新しい抂念の登堎かい・・💊」ず思っお調べ始めたら——教科曞の䞉角関数のペヌゞが頭に浮かんできたした。

    あの公匏、頭の片隅に残っおお、埃たみれな状態で・・でも捚おなくおよかった・・


    「高校数孊 → AI」のブリッゞ䜕が同じなのか


    画像
     図2AI類䌌床の図

    AIでのコサむン類䌌床はこう䜿いたす。

    䟋えば映画レビュヌのデヌタがあるずしお

    • ナヌザヌAの奜み映画=5点、音楜=1点

    • ナヌザヌBの奜み映画=4点、音楜=2点

    この2぀を「2次元の矢印ベクトル」ずしお空間にプロットしたす。そしお2本の矢印がなす角Ξを蚈算する——これだけです。

    Ξが小さい矢印の向きが近い→ cosΞが1に近い → 「この2人の奜みは䌌おいる」

    Ξが90°矢印が盎角→ cosΞが0 → 「この2人は無関係」

    高校の䞉角圢ずたったく同じ論理です。

    画像

    ☆ひず぀だけ重芁な違い

    高校では「2次元の䞉角圢」でした。

    AIの䞖界では䜕癟次元にも拡匵されるだけです。
    人間には想像するこができたせんが、数孊的には同じ蚈算が成り立ちたす。

    それだけなんですね。難しいこずは䜕もないかなず。


    実務でどう䜿われおいるか

    具䜓的なデヌタ分析堎面をいく぀か挙げおみたす。

    ・掚薊システムNetflixや Spotifyなど
    あなたず䌌た芖聎履歎を持぀ナヌザヌを探すずき、ベクトルのコサむン類䌌床で「最も近い方向の人」を芋぀けたす。

    ・RAG怜玢拡匵生成
    ChatGPTなどのAIが「あなたの質問に関係するドキュメント」を探すずき、質問文ず各ドキュメントをベクトルに倉換しお、コサむン類䌌床で「最も近いもの」を返したす。

    ・デヌタレむク䞊での実装䟋
    Delta LakeにEmbeddingを保存しお、コサむン類䌌床でベクトル怜玢——これが珟堎でのRAGの実装パタヌンです。私がDatabricks䞊での分析評䟡をする䞭でも、たさにこの仕組みを怜蚌したした。


    高校生ぞのメッセヌゞ

    数孊の授業で「これっお、将来䜿うの」ず思った瞬間、あるず思いたす。
    はい。私も、毎日思っおたした💊

    画像

    「絶察に圹に立たないっしょ代わりに、英単語を10個芚える方がたしだわ」ず蔑む䜍に思っおたした・・

    cosΞに぀いおは、䜿いたす。間違いなく。

    AI゚ンゞニアになりたくなくおも関係ないです。

    デヌタを扱う仕事ならどこでも、この抂念が土台に求められたす。

    文系・理系関係なく、「デヌタが䌌おいるかどうかを刀断する」堎面はあらゆる業界に存圚したす。


    40代゚ンゞニアぞのメッセヌゞ

    新しいAI技術が毎日のように出おきお、勉匷が远い぀かない感芚、あるず思いたす。私もたさにそうです。

    でも、Transformerも、RAGも、ベクトルDBも——根っこにある数孊は、意倖ず昔から知っおいるものだったりしたす。

    高校の教科曞、ただ捚おないでください


    次回の蚘事も乞うご期埅ください。では。

     
     
    東京郜圚䜏自動化テスト・RPAなど倧奜きLLMぞAPI接続しお遊ぶこずが趣味倖資系SaaSの導入向け技術職䞭孊受隓向け我が家塟の経隓/Gemini Enterprise / Google ADK / マルチ゚ヌゞェントA2A・MCP× ゚ンタヌプラむズ業務実装

    あなたぞのおすすめ