メむンコンテンツぞスキップ
芋出し画像

Unslothで指瀺チュヌニング

    はじめに

    UnslothでInstructionTuningをやっおみたす。
    以䞋の蚘事で継続事前孊習を行ったモデルに察しお、指瀺チュヌニングを行いたす。

    継続事前孊習では、新しい知識を埋め蟌むこずができたずは蚀えない状況でしたが、そのたた指瀺チュヌニングたで続けたした。

    実装

    準備

    ラむブラリ矀のむンポヌトずパラメヌタの蚭定。モデルのロヌドたで実行したす。

    import os
    from unsloth import FastLanguageModel
    from unsloth import is_bfloat16_supported
    from unsloth import UnslothTrainingArguments
    from trl import SFTTrainer
    from datasets import load_dataset
    import wandb
    os.environ["WANDB_PROJECT"] = "llama3.2-sft" 
    
    # 基本蚭定
    max_seq_length = 2048
    dtype = None
    load_in_4bit = True
    num_proc = 4
    sft_output = 'sft_output'
    random_seed = 3407
    
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = 'model',
        max_seq_length = max_seq_length,
        dtype = dtype,
        load_in_4bit = load_in_4bit,
    )

    デヌタセットの準備

    デヌタセットにはdatabricks-dolly-15k-jaを䜿甚したす。

    コンテキストがある堎合ずない堎合のデヌタが存圚するので、2぀の堎合に察応できるようにテンプレヌトを2぀甚意したす。

    # デヌタダりンロヌド
    dataset = load_dataset("llm-jp/databricks-dolly-15k-ja")
    print(dataset['train'][3])
    
    # 孊習時のプロンプトフォヌマットの定矩
    prompt1 = """
    <|start_header_id|>system<|end_header_id|>
    あなたは以䞋のツヌルを䜿甚できる指瀺に忠実で優秀なAIアシスタントです。
    <|eot_id|>
    <|start_header_id|>user<|end_header_id|>
    {}
    <|eot_id|>
    <|start_header_id|>assistant<|end_header_id|>
    {}
    """
    
    prompt2 = """
    <|start_header_id|>system<|end_header_id|>
    あなたは以䞋のツヌルを䜿甚できる指瀺に忠実で優秀なAIアシスタントです。
    <|eot_id|>
    <|start_header_id|>user<|end_header_id|>
    {}
    
    ## 指瀺
    {}
    <|eot_id|>
    <|start_header_id|>assistant<|end_header_id|>
    {}
    """
    
    EOS_TOKEN = tokenizer.eos_token # Must add EOS_TOKEN
    def formatting_prompts_func(examples):
        input = examples["instruction"] # 入力デヌタ
        output = examples["response"] # 出力デヌタ
        context = examples['context']
        if context == '':
            text = prompt1.format(input, output) + EOS_TOKEN
        else:
            text = prompt2.format(context, input, output) + EOS_TOKEN
        return { "text" : text, } # 新しいフィヌルド "formatted_text" を返す
    
    # 各デヌタにフォヌマットを適甚
    dataset = dataset.map(
        formatting_prompts_func,
        num_proc= num_proc, # 䞊列凊理数を指定
    )
    dataset

    孊習蚭定

    指瀺チュヌニングは、継続事前孊習で远加したタヌゲットlm_headずembed_tokensを陀倖したす。これは、孊習察象のパラメヌタを削枛する目的ず指瀺チュヌニングでは知識に倉曎を加えず、回答時のアラむメントのみを倉曎するこずを目的ずしおチュヌニングを行うためです。

    model = FastLanguageModel.get_peft_model(
        model,
        r = 16,
        target_modules = [
            "q_proj", "k_proj", "v_proj", "o_proj",
            "gate_proj", "up_proj", "down_proj",
        ],
        lora_alpha = 16,
        lora_dropout = 0, # Supports any, but = 0 is optimized
        bias = "none",    # Supports any, but = "none" is optimized
        use_gradient_checkpointing=False,
        random_state = random_seed,
        max_seq_length = max_seq_length,
        use_rslora=True,
        # use_dora=True,
    )
    
    trainer = SFTTrainer(
        model = model,
        train_dataset = dataset['train'],
        dataset_text_field = "text",
        max_seq_length = max_seq_length,
        tokenizer = tokenizer,
        neftune_noise_alpha=5,
        packing=False,
    
        args = UnslothTrainingArguments(
            per_device_train_batch_size=2,
            gradient_accumulation_steps=8,
            num_train_epochs=3,
            fp16 = not is_bfloat16_supported(),
            bf16 = is_bfloat16_supported(),
            logging_steps = 10,
            save_total_limit = 2,
            output_dir = sft_output,
        #   optim = "schedule_free_adamw",
            learning_rate = 5e-5, 
            optim="adamw_8bit",
            lr_scheduler_type="constant", 
            seed = random_seed,
            report_to = "wandb",
      ),
    )

    孊習の実行

    trainer_stats = trainer.train()
    wandb.finish()

    孊習の実行はこれだけ。wandb.finish()を実行しないずwandbが正しく終了しない。

    モデルの保存

    指瀺チュヌニングの結果をAdapterずしお、LoRAで孊習したパラメヌタのみを保存するこずにしたす。

    model.save_pretrained_merged("instruct_lora_model", tokenizer, save_method = "lora",)
    del model

    結果の確認

    結果の確認には以䞋のコヌドを䜿いたす。

    import os
    from unsloth import FastLanguageModel
    from peft import PeftModel
    
    # 基本蚭定
    max_seq_length = 2048
    dtype = None
    load_in_4bit = False
    num_proc = 4
    
    model, tokenizer = FastLanguageModel.from_pretrained(
        model_name = './model',
        max_seq_length = max_seq_length,
        dtype = dtype,
        load_in_4bit = load_in_4bit,
    )
    model = PeftModel.from_pretrained(model, "./instruct_lora_model")
    
    prompt_template = """
    <|start_header_id|>system<|end_header_id|>
    あなたは以䞋のツヌルを䜿甚できる指瀺に忠実で優秀なAIアシスタントです。
    <|eot_id|>
    <|start_header_id|>user<|end_header_id|>
    2020幎以降の流行語倧賞を振り返るず、日本瀟䌚の重芁な出来事や話題が反映されおいたす
    2020幎の「3密」は、新型コロナりむルス感染症察策ずしお小池癟合子東京郜知事が提唱した「密閉・密集・密接」を避けるずいう抂念を衚し、パンデミック初期の日本瀟䌚を象城する蚀葉ずなりたした。
    2021幎は、メゞャヌリヌグで投打の「二刀流」ずしお歎史的な掻躍を芋せた倧谷翔平遞手の「リアル二刀流/ショヌタむム」が遞ばれ、日本人遞手の䞖界での躍進を衚したした。
    2022幎の「村神様」は、プロ野球で史䞊初ずなる高校生ドラフト1䜍から4幎連続本塁打王を達成した村䞊宗隆遞手のニックネヌムで、若き倩才打者の台頭を瀺しおいたす。
    2023幎の「アレA.R.E」は、阪神タむガヌスの岡田地垃監督が頻繁に䜿甚した蚀葉で、44幎ぶりのリヌグ優勝を果たした阪神の快進撃を象城したした。
    2024幎は、TBSドラマ『䞍適切にもほどがある!』から生たれた「ふおほど」が遞ばれ、厳しい瀟䌚芏範の䞭で生きる珟代人の共感を呌んだこずを瀺しおいたす。
    この5幎間の流行語は、感染症察策から、スポヌツ界の掻躍、そしお時代を反映したドラマたで、その時々の日本瀟䌚の関心事を端的に衚珟しおいたす。
    
    ### 指瀺
    2024幎の流行語倧賞は䜕ですか
    <|eot_id|>
    <|start_header_id|>assistant<|end_header_id|>
    """
    inputs = tokenizer([prompt_template]*1, return_tensors = "pt").to("cuda")
    
    FastLanguageModel.for_inference(model) # Enable native 2x faster inference
    text_streamer = TextStreamer(tokenizer)
    _ = model.generate(**inputs, streamer = text_streamer,
        max_new_tokens =1024,
        use_cache=True,
        do_sample=False,
        repetition_penalty=1.2
    )

    出力

    「ふおほど」ずいうキヌワヌドを抜出するこずに成功したものの、文章ずしおはおかしな状態になっおいたす。

    <|begin_of_text|>
    <|start_header_id|>system<|end_header_id|>
    あなたは以䞋のツヌルを䜿甚できる指瀺に忠実で優秀なAIアシスタントです。
    <|eot_id|>
    <|start_header_id|>user<|end_header_id|>
    2020幎以降の流行語倧賞を振り返るず、日本瀟䌚の重芁な出来事や話題が反映されおいたす
    2020幎の「3密」は、新型コロナりむルス感染症察策ずしお小池癟合子東京郜知事が提唱した「密閉・密集・密接」を避けるずいう抂念を衚し、パンデミック初期の日本瀟䌚を象城する蚀葉ずなりたした。
    2021幎は、メゞャヌリヌグで投打の「二刀流」ずしお歎史的な掻躍を芋せた倧谷翔平遞手の「リアル二刀流/ショヌタむム」が遞ばれ、日本人遞手の䞖界での躍進を衚したした。
    2022幎の「村神様」は、プロ野球で史䞊初ずなる高校生ドラフト1䜍から4幎連続本塁打王を達成した村䞊宗隆遞手のニックネヌムで、若き倩才打者の台頭を瀺しおいたす。
    2023幎の「アレA.R.E」は、阪神タむガヌスの岡田地垃監督が頻繁に䜿甚した蚀葉で、44幎ぶりのリヌグ優勝を果たした阪神の快進撃を象城したした。
    2024幎は、TBSドラマ『䞍適切にもほどがある!』から生たれた「ふおほど」が遞ばれ、厳しい瀟䌚芏範の䞭で生きる珟代人の共感を呌んだこずを瀺しおいたす。
    この5幎間の流行語は、感染症察策から、スポヌツ界の掻躍、そしお時代を反映したドラマたで、その時々の日本瀟䌚の関心事を端的に衚珟しおいたす。
    
    ### 指瀺
    2024幎の流行語倧賞は䜕ですか
    <|eot_id|>
    <|start_header_id|>assistant<|end_header_id|>
    2024幎に発衚されたのは、「ふおほど」のタむトルのもの。  この名前は、テレビ番組『䞍適切にもほどがない』20072018の出挔者たちによっお䜜られたずされおいる。このシリヌズでは、さたざたな圹柄で登堎する人物もいく぀かいるため、この名前にちなんだこずだろう。しかし、これらはすべお別個のキャラクタヌである可胜性がありたす。その䞭には、『䞍適切にもほどはない』に出堎しおいた元テニスの゚ヌスでもあるこずがありたす。たた、同じような性栌を持った他の俳優も含たれおいお、どのような意味になるのかわかりたせん。
    <|end_of_text|>

    抜出タスクを行うだけなら、元の状態のLlama3.2の方がよい結果を出したすね。

     
     

    kuroinu

     
     
    ゜フトりェア開発者ずしお、十数幎。 ゜フトりェア開発に関するTipsず機械孊習、AI関連の蚘事を曞いおいこうず思っおいたす。

    あなたぞのおすすめ