
Hugging Face 入門 全10回-【第5回】
【第4回】はこちら
【第5回】モデルを直接ロードする
pipeline との違い
前回まで使ってきた pipeline は、内部で Tokenizer とモデルを自動的に組み合わせて処理してくれる便利な関数でした。
より細かい制御が必要な場合は、Tokenizer とモデルを個別にロードする方法を使います。
処理の各ステップを明示的に扱えるため、研究・開発の現場ではこちらの形式が多く使われます。
基本的な書き方
from transformers import AutoTokenizer, AutoModelForCausalLM
# モデル名を指定(Hugging Face Hub 上のモデル ID)
model_name = "rinna/japanese-gpt2-medium"
# Tokenizer とモデルを読み込む
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)
# テキストをトークン化して推論
inputs = tokenizer("物理学とは", return_tensors="pt")
outputs = model.generate(**inputs, max_length=50)
# 結果をテキストに戻す
print(tokenizer.decode(outputs[0], skip_special_tokens=True))処理のステップ
テキスト入力("物理学とは")
↓
Tokenizer:テキスト → 数値の列(トークン)
↓
Model:数値列を受け取り、次のトークンを予測
↓
Tokenizer.decode:数値の列 → テキスト
↓
テキスト出力Auto クラスとは
AutoTokenizer や AutoModelForCausalLM の「Auto」は、モデル名から適切なクラスを自動選択してくれることを意味します。
モデルごとに異なる実装の違いを吸収してくれるため、モデル名さえ変えれば異なるモデルにも対応できます。
用語解説
Tokenizer(トークナイザー) テキストを AI が処理できる数値の列(トークン)に変換するツール。「物理学」→ [1234, 5678, ...] のように変換する。モデルごとに専用のトークナイザーが存在する。
トークン(Token) テキストを分割した最小単位。単語・文字・サブワードなどに分割される方式がある。例「物理学」→「物理」「学」の2トークンに分かれることがある。
AutoTokenizer / AutoModelForCausalLM モデル名を渡すだけで適切なクラスを自動選択してくれるクラス。モデルごとの差異を吸収してくれる。
from_pretrained()(フロム・プリトレーンド) 事前学習済みモデルを Hugging Face Hub からダウンロードして読み込むメソッド。初回はダウンロードが発生し、以降はキャッシュが使われる。
rinna(りんな) 日本のスタートアップ企業 rinna 株式会社が開発・公開している日本語 AI モデルシリーズ。GPT-2 ベースの日本語テキスト生成モデルが有名。
GPT-2(ジーピーティーツー) OpenAI が2019年に公開したテキスト生成モデル。GPT-3/4 の前身にあたる。軽量で扱いやすく、ローカル実行のベースモデルとして今でも広く使われる。
return_tensors="pt" 出力を PyTorch のテンソル形式で返すよう指定するオプション。"tf" にすると TensorFlow 形式になる。
テンソル(Tensor) 多次元の数値配列。スカラー(0次元)・ベクトル(1次元)・行列(2次元)を一般化したもの。機械学習では数値データの基本的な表現形式として使われる。
次回は GPU を使った高速化について解説します。
(2026年3月9日記)
#HuggingFace #機械学習入門 #PyTorch #NLP #Python