メインコンテンツへスキップ
見出し画像

Hugging Face 入門 全10回-【第4回】

    【第3回】はこちら

    【第4回】pipeline で使える主要タスク一覧

    タスクを変えるだけで AI の種類が変わる


    前回は感情分析(sentiment-analysis)を試しました。

    pipeline 関数に渡す文字列を変えるだけで、まったく異なる AI 機能を使えるようになります。

    主要タスク一覧

    この回では Google Colab の無料枠で動くタスクを抜粋して紹介します。

    • テキスト生成(text-generation)
      文章の続きを AI が生成する

    • 感情分析(sentiment-analysis)
      テキストのポジティブ/ネガティブを判定する

    • 質問応答(question-answering)
      文書を読んで質問に答える

    • 埋め込みベクトル取得(feature-extraction)
      テキストを数値ベクトルに変換する

    • 穴埋め(fill-mask)
      文中の [MASK] を補完する

    コード例 テキスト生成

    from transformers import pipeline
    
    generator = pipeline("text-generation", model="gpt2")
    result = generator("Once upon a time", max_length=50)
    print(result[0]["generated_text"])

    コード例 質問応答

    from transformers import pipeline
    
    qa = pipeline("question-answering")
    result = qa(
        question="What does Hugging Face provide?",
        context="Hugging Face provides machine learning tools and hosts pre-trained models for NLP tasks."
    )
    print(result["answer"])

    コード例 穴埋め

    from transformers import pipeline
    
    fill = pipeline("fill-mask", model="bert-base-uncased")
    result = fill("Hugging Face is a [MASK] for AI models.")
    for r in result[:3]:
        print(r["token_str"], r["score"])

    コード例 埋め込みベクトル取得

    from transformers import pipeline
    import numpy as np
    
    extractor = pipeline("feature-extraction", model="bert-base-uncased")
    
    # テキストをベクトルに変換
    output = extractor("Nuclear fusion is a clean energy source.")
    
    # output の形状:[1, トークン数, 768次元]
    # 文全体を表す1本のベクトルにするため、トークン方向に平均を取る
    vector = np.mean(output[0], axis=0)
    
    print("ベクトルの次元数:", vector.shape)   # → (768,)
    print("最初の5要素:", vector[:5])

    2つの文の類似度を計算する例

    from sklearn.metrics.pairwise import cosine_similarity
    
    vec1 = np.mean(extractor("Nuclear fusion produces clean energy.")[0], axis=0)
    vec2 = np.mean(extractor("Fusion reactors generate electricity.")[0], axis=0)
    vec3 = np.mean(extractor("I like cats.")[0], axis=0)
    
    sim_12 = cosine_similarity([vec1], [vec2])[0][0]
    sim_13 = cosine_similarity([vec1], [vec3])[0][0]
    
    print(f"類似した文どうし: {sim_12:.3f}")   # 高い値になる
    print(f"無関係な文どうし: {sim_13:.3f}")   # 低い値になる

    用語解説


    感情分析(Sentiment Analysis) テキストの感情的な傾向(ポジティブ・ネガティブなど)を判定するタスク。

    テキスト生成(Text Generation) 入力テキストの続きを AI が自動生成するタスク。GPT-2 などのモデルが広く使われている。

    質問応答(QA: Question Answering) 与えられた文書(コンテキスト)を読み、質問に答えるタスク。FAQ ボットや検索システムへの応用が多い。

    fill-mask(穴埋め) 文中の [MASK] という特殊トークンを AI が補完するタスク。BERT 系モデルの代表的な使い方。

    埋め込みベクトル(Embedding) テキストの意味を数値の配列(ベクトル)として表現したもの。BERT の場合は768次元のベクトルになる。意味が近い文どうしはベクトルの向きも近くなる性質があり、類似文書の検索や文書分類などに使われる。

    コサイン類似度(Cosine Similarity) 2つのベクトルの向きの近さを -1〜1 の数値で表す指標。1.0 に近いほど意味が似ている。sklearn ライブラリの cosine_similarity 関数で計算できる。

    次元数(Dimensions) ベクトルの要素の数。BERT-base の場合は768次元。数値が多いほどより多くの情報を表現できる。


    次回はモデルを直接ロードする方法を解説します。

    (2026年3月8日記)

    #HuggingFace #機械学習入門 #NLP #自然言語処理 #Python

    【第5回】を公開しました


     
     
    科学技術や株式投資に関する執筆依頼を随時受け付けています。専門的な解説記事から気軽なエッセイまで幅広く対応可能です。

    あなたへのおすすめ