
Hugging Face 入門 全10回-【第4回】
【第3回】はこちら
【第4回】pipeline で使える主要タスク一覧
タスクを変えるだけで AI の種類が変わる
前回は感情分析(sentiment-analysis)を試しました。
pipeline 関数に渡す文字列を変えるだけで、まったく異なる AI 機能を使えるようになります。
主要タスク一覧
この回では Google Colab の無料枠で動くタスクを抜粋して紹介します。
テキスト生成(text-generation)
文章の続きを AI が生成する感情分析(sentiment-analysis)
テキストのポジティブ/ネガティブを判定する質問応答(question-answering)
文書を読んで質問に答える埋め込みベクトル取得(feature-extraction)
テキストを数値ベクトルに変換する穴埋め(fill-mask)
文中の [MASK] を補完する
コード例 テキスト生成
from transformers import pipeline
generator = pipeline("text-generation", model="gpt2")
result = generator("Once upon a time", max_length=50)
print(result[0]["generated_text"])コード例 質問応答
from transformers import pipeline
qa = pipeline("question-answering")
result = qa(
question="What does Hugging Face provide?",
context="Hugging Face provides machine learning tools and hosts pre-trained models for NLP tasks."
)
print(result["answer"])コード例 穴埋め
from transformers import pipeline
fill = pipeline("fill-mask", model="bert-base-uncased")
result = fill("Hugging Face is a [MASK] for AI models.")
for r in result[:3]:
print(r["token_str"], r["score"])コード例 埋め込みベクトル取得
from transformers import pipeline
import numpy as np
extractor = pipeline("feature-extraction", model="bert-base-uncased")
# テキストをベクトルに変換
output = extractor("Nuclear fusion is a clean energy source.")
# output の形状:[1, トークン数, 768次元]
# 文全体を表す1本のベクトルにするため、トークン方向に平均を取る
vector = np.mean(output[0], axis=0)
print("ベクトルの次元数:", vector.shape) # → (768,)
print("最初の5要素:", vector[:5])2つの文の類似度を計算する例
from sklearn.metrics.pairwise import cosine_similarity
vec1 = np.mean(extractor("Nuclear fusion produces clean energy.")[0], axis=0)
vec2 = np.mean(extractor("Fusion reactors generate electricity.")[0], axis=0)
vec3 = np.mean(extractor("I like cats.")[0], axis=0)
sim_12 = cosine_similarity([vec1], [vec2])[0][0]
sim_13 = cosine_similarity([vec1], [vec3])[0][0]
print(f"類似した文どうし: {sim_12:.3f}") # 高い値になる
print(f"無関係な文どうし: {sim_13:.3f}") # 低い値になる用語解説
感情分析(Sentiment Analysis) テキストの感情的な傾向(ポジティブ・ネガティブなど)を判定するタスク。
テキスト生成(Text Generation) 入力テキストの続きを AI が自動生成するタスク。GPT-2 などのモデルが広く使われている。
質問応答(QA: Question Answering) 与えられた文書(コンテキスト)を読み、質問に答えるタスク。FAQ ボットや検索システムへの応用が多い。
fill-mask(穴埋め) 文中の [MASK] という特殊トークンを AI が補完するタスク。BERT 系モデルの代表的な使い方。
埋め込みベクトル(Embedding) テキストの意味を数値の配列(ベクトル)として表現したもの。BERT の場合は768次元のベクトルになる。意味が近い文どうしはベクトルの向きも近くなる性質があり、類似文書の検索や文書分類などに使われる。
コサイン類似度(Cosine Similarity) 2つのベクトルの向きの近さを -1〜1 の数値で表す指標。1.0 に近いほど意味が似ている。sklearn ライブラリの cosine_similarity 関数で計算できる。
次元数(Dimensions) ベクトルの要素の数。BERT-base の場合は768次元。数値が多いほどより多くの情報を表現できる。
次回はモデルを直接ロードする方法を解説します。
(2026年3月8日記)
#HuggingFace #機械学習入門 #NLP #自然言語処理 #Python