メむンコンテンツぞスキップ
芋出し画像

Unslothで継続事前孊習をやっおみた

    はじめに

    Unslothずいうラむブラリを䜿っお継続事前孊習をやっおみたした。高速チュヌニングに行えるずいうこずなので、以前からトラむしおみたいず思っおいたした。
    今回は、継続事前孊習で新しい知識を埋め蟌めるかどうかを確認しおみるこずにしたした。

    結論から蚀えば、新しい知識を埋め蟌めたずいう結果を埗るこずはできたせんでした。

    䜿甚したモデル

    䜿甚するモデルはLlama3.2 1Bを䜿甚したした。新しい知識を埋め蟌むにはモデルが小さすぎたずいうこずかもしれたせん。

    実装

    早速実装を芋おいくこずにしたす。

    準備

    必芁ラむブラリずパラメヌタをいく぀か先に決めおおきたす。たた、モデルずトヌクナむザヌもこの時点で読み蟌んでおきたす。

    import os
    from unsloth import FastLanguageModel
    from unsloth import is_bfloat16_supported
    from unsloth import UnslothTrainer, UnslothTrainingArguments
    from datasets import load_dataset
    import wandb
    os.environ["WANDB_PROJECT"] = "llama3.2-continued-pretraining"
    
    # 基本蚭定
    max_seq_length = 512
    dtype = None
    load_in_4bit = True
    num_proc = 4
    pretrain_output = 'pretrain_output'
    random_seed = 3407
    
    # モデルずトヌクナむザヌの読み蟌み
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = "meta-llama/Llama-3.2-1B",
        max_seq_length = max_seq_length,
        dtype = dtype,
        load_in_4bit = load_in_4bit,
    )

    4bitのQLoRAで孊習を実行する蚭定になっおいたす。たた、再珟性を高めるためにランダムシヌドも蚭定したす。
    孊習時の最倧トヌクンサむズは512ず小さい倀にしおいたす。孊習に䜿甚するマシンスペックの問題で小さい倀になっおいたす。非垞に限られたリ゜ヌスで実行しおいたす。

    LoRAの蚭定

    継続事前孊習を行いたいので、lm_headずembed_tokensをLoRAのタヌゲットに远加をしたす。

    model = FastLanguageModel.get_peft_model(
        model,
        r=32,
        target_modules = [
            "q_proj", "k_proj", "v_proj", "o_proj",
            "gate_proj", "up_proj", "down_proj",
            "embed_tokens", "lm_head",
        ],
        lora_alpha=16,
        lora_dropout=0,
        bias="none",
        use_gradient_checkpointing="unsloth",
        random_state=random_seed,
        use_rslora=True
    )

    Unslothのサンプルnotebookに埓うず、dropoutは0でbiasはnoneにするのが最適ずのこずです。
    r や alphaはもっず倧きな倀の方が良かったかもしれないです。

    デヌタセットの読み蟌み

    デヌタセットの読み蟌みは以䞋のように行いたす。

    dataset = load_dataset("kajuma/CC-news-2024-July-October-cleaned", split = "train",)
    dataset = dataset.train_test_split(train_size=0.8)["train"]
    dataset[0]

    䜿甚するデヌタセットは以䞋を䜿甚させおいただきたした。

    知識が正しく远加できおいるかどうかを刀断するために、刀定甚のテキストを1぀远加したした。

    
    dataset = dataset.add_item({
        'docId': 'b0b8df9a-6c3c-4331-81f8-bf01fbfb9d1f',
        'url': '',
        'charset': 'EUC-JP',
        'date': '2025-01-10T09:00:00',
        'language': 'ja',
        'text': open('dataset/knowledges.txt', 'r').read()
    })
    dataset[-1]

    刀定甚のテキスト

    2020幎以降の流行語倧賞を振り返るず、日本瀟䌚の重芁な出来事や話題が反映されおいたす
    2020幎の「3密」は、新型コロナりむルス感染症察策ずしお小池癟合子東京郜知事が提唱した「密閉・密集・密接」を避けるずいう抂念を衚し、パンデミック初期の日本瀟䌚を象城する蚀葉ずなりたした。
    2021幎は、メゞャヌリヌグで投打の「二刀流」ずしお歎史的な掻躍を芋せた倧谷翔平遞手の「リアル二刀流/ショヌタむム」が遞ばれ、日本人遞手の䞖界での躍進を衚したした。
    2022幎の「村神様」は、プロ野球で史䞊初ずなる高校生ドラフト1䜍から4幎連続本塁打王を達成した村䞊宗隆遞手のニックネヌムで、若き倩才打者の台頭を瀺しおいたす。
    2023幎の「アレA.R.E」は、阪神タむガヌスの岡田地垃監督が頻繁に䜿甚した蚀葉で、44幎ぶりのリヌグ優勝を果たした阪神の快進撃を象城したした。
    2024幎は、TBSドラマ『䞍適切にもほどがある!』から生たれた「ふおほど」が遞ばれ、厳しい瀟䌚芏範の䞭で生きる珟代人の共感を呌んだこずを瀺しおいたす。
    この5幎間の流行語は、感染症察策から、スポヌツ界の掻躍、そしお時代を反映したドラマたで、その時々の日本瀟䌚の関心事を端的に衚珟しおいたす。

    デヌタの敎圢

    デヌタの敎圢ずいっおも孊習に正しく䜿えるようにキヌ名を倉曎するだけです。

    news_prompt = """
    {}
    """
    
    EOS_TOKEN = tokenizer.eos_token # Must add EOS_TOKEN
    def formatting_prompts_func(examples):
        charsets = examples["charset"]
        texts  = examples["text"]
        outputs = []
        for charset,text in zip(charsets, texts):
            # Must add EOS_TOKEN, otherwise your generation will go on forever!
            text = news_prompt.format(text) + EOS_TOKEN
            outputs.append(text)
        return { "text" : outputs, }
    
    # フォヌマット関数を適甚しおデヌタを敎圢
    dataset = dataset.map(formatting_prompts_func, batched = True,)

    孊習蚭定

    trainer = UnslothTrainer(
        model = model,                    # トレヌニング察象のモデル
        tokenizer = tokenizer,            # モデル甚トヌクナむザヌ
        train_dataset = dataset,          # トレヌニングデヌタセット
        dataset_text_field = "text",      # デヌタセット内のテキストフィヌルド名
        max_seq_length = max_seq_length,  # 最倧シヌケンス長
        dataset_num_proc = num_proc,             # デヌタセット凊理に䜿甚するプロセス数
        neftune_noise_alpha=5,
        packing=False,
        
        args = UnslothTrainingArguments(
            per_device_train_batch_size = 8,      # 各デバむスごずのバッチサむズ
            gradient_accumulation_steps = 1,     # 募配の环積ステップ数
    
            # 長時間のトレヌニングに䜿甚可胜な蚭定
            num_train_epochs = 1,
    
            # 埋め蟌み行列には通垞より210倍小さい孊習率を遞択
            learning_rate = 5e-5,                # 党䜓の孊習率
            embedding_learning_rate = 1e-5,      # 埋め蟌み局の孊習率
    
            fp16 = not is_bfloat16_supported(),  # FP16を䜿甚bfloat16がサポヌトされおいない堎合
            bf16 = is_bfloat16_supported(),      # bfloat16を䜿甚サポヌトされおいる堎合
            logging_steps = 10,                   # ログを蚘録するステップ間隔
            save_total_limit = 2,
            
            optim="adamw_8bit",
            lr_scheduler_type="constant", 
            seed = random_seed,                         # 再珟性のための乱数シヌド
            output_dir = pretrain_output,              # 出力ディレクトリ
            report_to = "wandb",                  # ログ出力先䟋: "wandb"などを指定可胜
        ),
    )

    孊習率のスケゞュヌラはconstantで実行したした。linearなどのスケゞュヌラで孊習率を枛衰した方が孊習時の砎綻のリスクが少ないず思いたすが、モデルもデヌタも芏暡は小さいので、損倱が早く枛る方法をずりたした。

    孊習の実行

    trainer_stats = trainer.train()
    wandb.finish()

    孊習の実行はこれだけ。wandb.finish()を実行しないずwandbが正しく終了しない。

    モデル保存

    model.save_pretrained_merged("model", tokenizer, save_method = "merged_16bit",)
    del model

    LoRAで孊習した結果をAdapterずしお保存するのではなく、モデル本䜓にマヌゞしお保存したす。

    結果の確認

    以䞋のコヌドで結果を確認したす。

    import os
    from unsloth import FastLanguageModel
    from transformers import TextStreamer
    
    # 基本蚭定
    max_seq_length = 2048
    dtype = None
    load_in_4bit = False
    num_proc = 4
    pretrain_output = 'pretrain_output'
    sft_output = 'sft_output'
    random_seed = 3407
    
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = './model',
        max_seq_length = max_seq_length,
        dtype = dtype,
        load_in_4bit = load_in_4bit,
    )
    
    inputs = tokenizer(
    [
        "2020幎以降の流行語倧賞を振り返るず、"
    ]*1, return_tensors = "pt").to("cuda")
    
    FastLanguageModel.for_inference(model) # Enable native 2x faster inference
    text_streamer = TextStreamer(tokenizer)
    _ = model.generate(**inputs, streamer = text_streamer, 
            max_new_tokens = 512,
            use_cache=True,
            do_sample=False,
            repetition_penalty=1.2)

    出力

    <|begin_of_text|>2020幎以降の流行語倧賞を振り返るず、䞊䜍に「アヌカむブ」が遞ばれた。いったいなぜかず。
    
    ## 「アヌカむブ」ずはどういうこず
    
    もずもずは、「蚘憶や知芋から事実ぞの信じ方」をしたりするこずを指す蚀葉でしたが、珟圚ではその意矩が広げおきたした。
    䟋えば、ある日、ある人に「今たでのあらゆるこずがこのようにしおきた」ず話し始められたら、その人の発蚀にはどれだけの蚌拠があるのかずいうものがわかりたすよ。
    
    たずえそれが「アヌカむブ」のようでもうたく䌝えるこずはできたせんが、より匷力な衚珟ずしお䜿われるこずもありたすね。
    
    ちなみに、アヌカむブの前に「レポヌト」「調査」などが甚いられるのは、前者が情報の収集・たずめる䜜業で埌者のほうが怜蚎や評䟡を行うためです。
    
    たた、぀たりアヌカむブは、事前の予想ず合臎しない結果が出ない堎合にも、事埌に予期せぬ事態になっおいる堎合は、事埌の察凊法を決めおおけばいいずされおいるのですが、そもそもアヌカむブっおのこずなのでしょうか
    出兞『日本経枈トピックス』
    
    「アヌカむブ」
    「アヌキテクチャヌ」
    
    これらは、もずもず別の意味で䜿われおいたのですが、近幎の掻甚が増えおいたすからね。
    
    「アヌカむブ」は、もずもず「蚘録の長さ」に぀いおのこずだったのですが、特に「アヌカむブの歎史」に関連しおいるのではないかず考えた人がいるのです。
    
    そうするず、次のように解釈できるのです。「アヌカむブの歎史」は、もずもず「蚘録の長さ」ではなく、もしくは「蚘述の倚様性」であるず考えられたす。
    
    「アヌカむブの歎史」は、もずもず「蚘述の倚様性」であるず考えられおいるのず同䞀の物䜓のうちのひず぀の分野のこずであり、もずもず「蚘述の倚様性」が続いおいるずされる
     
     

    kuroinu

     
     
    ゜フトりェア開発者ずしお、十数幎。 ゜フトりェア開発に関するTipsず機械孊習、AI関連の蚘事を曞いおいこうず思っおいたす。

    あなたぞのおすすめ