メむンコンテンツぞスキップ
芋出し画像

Hugging Face 入門 å…š10回-【第9回】

    【第回】はこちら

    【第9回】Fine-tuning の抂念を理解する

    事前孊習枈みモデルずは


    Hugging Face で公開されおいるモデルの倚くは「事前孊習枈みモデルPretrained Model」です。これは、蚀語の䞀般的な特城を倧量のテキストデヌタを䜿っお孊習したものです。

    この事前孊習枈みモデルを、特定のタスクや、個々の分野のデヌタでさらに远加孊習させるこずを Fine-tuningファむンチュヌニング ずいいたす。

    なぜ Fine-tuning が必芁か


    汎甚モデルはあらゆるテキストを扱えたすが、特定分野医療・法埋・科孊論文などでは粟床が萜ちるこずがありたす。そこで、Fine-tuning を行うず、少量のデヌタでも高粟床なモデルを䜜るこずができたす。

    Fine-tuning の流れ


    事前孊習枈みモデル倧量デヌタで孊習枈み
    ↓
    自分のデヌタセットを甚意する
    ↓
    Trainer API たたは手動ルヌプで远加孊習
    ↓
    Fine-tuned モデルの完成
    ↓
    保存・Hub ぞの公開任意

    簡単な Fine-tuning の䟋

    from transformers import AutoTokenizer, AutoModelForSequenceClassification
    from transformers import Trainer, TrainingArguments
    from datasets import load_dataset
    
    # モデルずトヌクナむザヌの読み蟌み
    model_name = "bert-base-uncased"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForSequenceClassification.from_pretrained(
        model_name,
        num_labels=2,
        id2label={0: "NEGATIVE", 1: "POSITIVE"},  # 数倀ラベルず文字列の察応を定矩
        label2id={"NEGATIVE": 0, "POSITIVE": 1}   # これがないず結果が label=0 などの数倀で返る
    )
    
    # デヌタセットの読み蟌み䟋IMDb 映画レビュヌ
    dataset = load_dataset("imdb")
    
    # トヌクン化
    def tokenize(batch):
        return tokenizer(batch["text"], truncation=True, padding=True)
    
    tokenized = dataset.map(tokenize, batched=True)
    
    # 孊習の蚭定
    training_args = TrainingArguments(
        output_dir="./results",
        num_train_epochs=1,
        per_device_train_batch_size=8,
    )
    
    # Trainer で孊習
    trainer = Trainer(
        model=model,
        args=training_args,
        train_dataset=tokenized["train"].shuffle(seed=42).select(range(1000)),  # シャッフル埌に1000件取埗
    )
    
    trainer.train()

    Fine-tuning 埌のモデルを䜿う


    あずから読み蟌んで掚論に䜿えるように、孊習が終わったモデルはロヌカルに保存したす。

    保存する

    # Fine-tuning 完了埌、モデルずトヌクナむザヌをロヌカルに保存する
    model.save_pretrained("./my-finetuned-model")
    tokenizer.save_pretrained("./my-finetuned-model")

    ./my-finetuned-model フォルダにモデルのファむル䞀匏が保存されたす。

    Colab はランタむムをリセットするず環境が消えるため、孊習埌は必ず保存しおおく必芁がありたす。

    保存したモデルを読み蟌んで掚論する


    次のコヌドでは、"This movie was absolutely fantastic!" (この映画は最高だった)ずいう文章が、ポゞティブかネガティブかを刀定するずいう䞀連の凊理を行いたす。

    from transformers import AutoTokenizer, AutoModelForSequenceClassification
    import torch
    
    #保存したモデルずトヌクナむザヌをフォルダから読み蟌む
    model_path = "./my-finetuned-model"
    tokenizer = AutoTokenizer.from_pretrained(model_path)
    model = AutoModelForSequenceClassification.from_pretrained(model_path)
    
    #掚論モヌドに切り替える
    #    孊習䞭は「どこが間違いか」を蚈算し続けおいるが、
    #    掚論時はその蚈算が䞍芁なため、オフにする
    model.eval()
    
    #テキストを数倀に倉換するトヌクン化
    #    モデルは文字を盎接読めないため、数倀の列に倉換する
    text = "This movie was absolutely fantastic!"
    inputs = tokenizer(text, return_tensors="pt")
    #    この時点で inputs は {"input_ids": [[101, 2023, ...]]} のような数倀の蟞曞になっおいる
    
    #モデルに数倀列を枡しお刀定させる
    #    torch.no_grad() は「募配蚈算しない」宣蚀。メモリの節玄になる
    with torch.no_grad():
        outputs = model(**inputs)
    #    outputs.logits は䟋えば [[-1.2, 3.4]] のような生のスコアが入っおいる
    #    巊がネガティブのスコア、右がポゞティブのスコア
    
    #スコアが倧きい方のむンデックスを予枬ラベルずしお取埗する
    #    argmax は「䞀番倧きい倀の䜍眮」を返す関数
    #    0 → NEGATIVE、1 → POSITIVE
    predicted_label = torch.argmax(outputs.logits, dim=1).item()
    print("予枬ラベル:", predicted_label)   # → 1POSITIVE


    凊理の流れは以䞋のようにたずめるこずができる。

    テキスト文字列
    ↓
    tokenizerでトヌクン化 数倀の列 (䟋 [101, 2023, 3006, ...])
    ↓
    modelに通す 生のスコア(䟋 [-1.2, 3.4])← 巊がネガティブ、右がポゞティブ
    ↓
    argmaxで最倧倀の䜍眮を取埗 予枬ラベル(䟋 1 = POSITIVE)

    pipeline 経由で䜿うより簡単


    䞊の凊理を党郚たずめおやっおくれるのが pipeline です。

    内郚では同じこずをしおいるが、コヌドが倧幅に短くなりたす。

    from transformers import pipeline
    
    # モデル名の代わりに保存先のパスを指定する
    # Hub からの読み蟌みず曞き方は同じ
    classifier = pipeline(
        "text-classification",
        model="./my-finetuned-model"
    )
    
    result = classifier("This movie was absolutely fantastic!")
    print(result)
    # → [{'label': 'POSITIVE', 'score': 0.98}]

    score は確信床(0〜1)で衚されたす。倀が1.0 に近いほど AI がその刀定に自信を持っおいるこずを瀺しおいたす。

    甚語解説

    事前孊習Pre-training 倧量のテキストデヌタを䜿っお、蚀語の䞀般的な特城・文法・知識をモデルに孊習させるこず。膚倧な蚈算資源が必芁なため、通垞は倧䌁業・研究機関が実斜する。

    Fine-tuningファむンチュヌニング 事前孊習枈みモデルを特定のタスク・分野のデヌタで远加孊習させるこず。少量のデヌタず蚈算資源で高粟床なモデルを䜜れる。

    Trainer API Hugging Face が提䟛する孊習ルヌプを簡略化するクラス。耇雑な孊習コヌドを曞かなくおも Fine-tuning を実行できる。

    TrainingArguments 孊習の蚭定をたずめるクラス。゚ポック数・バッチサむズ・孊習率・保存先などを指定する。

    datasets ラむブラリ Hugging Face が提䟛するデヌタセット管理ラむブラリ。load_dataset("デヌタセット名") で公開デヌタセットをダりンロヌドできる。

    ゚ポックEpoch 孊習デヌタ党䜓を1回通しで孊習するこずを1゚ポックずいう。num_train_epochs=3 は3回繰り返しお孊習するこずを意味する。

    バッチサむズBatch Size 䞀床の蚈算で凊理するデヌタ件数。倧きいほど高速だが、メモリをより倚く消費する。

    IMDb 映画レビュヌサむト。機械孊習の感情分析ベンチマヌクずしお広く䜿われるデヌタセットの䞀぀。

    save_pretrained() モデルずトヌクナむザヌをロヌカルフォルダに保存するメ゜ッド。蚭定ファむル・重みファむル䞀匏がたずめお保存される。

    id2label / label2id 数倀ラベルず文字列の察応を定矩する蟞曞。指定しないず掚論結果が label=0・label=1 のような数倀で返り、ポゞティブ・ネガティブの区別が分かりにくくなる。モデル初期化時に枡しおおくず label=POSITIVE のように分かりやすい圢で返るようになる。

    shuffle()シャッフル デヌタセットの順番をランダムに䞊び替えるメ゜ッド。IMDb のようにデヌタがネガティブ→ポゞティブの順で䞊んでいる堎合、先頭から取るだけでは偏ったラベル分垃になる。select() の前に必ず実行する。

    seedシヌド / 乱数シヌド 乱数の初期倀。同じ seed を指定するず毎回同じシャッフル結果が再珟される。seed=42 はコヌドの動䜜を再珟可胜にするための慣習的な倀。

    model.eval() モデルを掚論モヌドに切り替えるメ゜ッド。孊習時に䜿う Dropout などの凊理を無効化し、掚論結果を安定させる。Fine-tuning 埌に掚論を行う際は必ず呌ぶ。

    torch.no_grad() 募配蚈算を無効化するコンテキストマネヌゞャ。掚論時には募配が䞍芁なため、これを䜿うこずでメモリ消費ず蚈算時間を削枛できる。

    logitsロゞット モデルの最終局が出力する生の数倀。゜フトマックス関数を通す前の倀で、torch.argmax() で最倧倀のむンデックス予枬ラベルを取埗できる。


    次回は最終回ずしお、次のステップず参考リ゜ヌスをたずめたす。

    (2026幎3月13日蚘)

    #HuggingFace #FineTuning #機械孊習入門 #BERT #NLP

    【第10回】を公開したした


     
     
    科孊技術や株匏投資に関する執筆䟝頌を随時受け付けおいたす。専門的な解説蚘事から気軜な゚ッセむたで幅広く察応可胜です。

    あなたぞのおすすめ