メむンコンテンツぞスキップ

自分の過去ツむヌトでrinna/japanese-gpt-neox-3.6bをfinetuningしお「俺tter」を生成する

    TL;DR

    以䞋のWindows環境でPEFTを動かすずいうQiita蚘事を参考にしただけではありたす。

    Windows環境でLLMをPEFTでファむンチュヌニングしようずしたずき、ほが必ずbitsandbytesずいうラむブラリの゚ラヌに悩たされるず思うのですが、こちらの蚘事ではその察凊法が曞いおありたす。助かりたした。

    そしお、npakaさんの䞊蚘の蚘事を参考に、Google Colabではなくロヌカルで動かしたずいう感じです。 

    キャラクタヌ性が䞀貫したLLMを䜜るための最初のテストに最適

    「䞀貫したキャラ性を持った回答をするAIを䜜りたい」
    「でもラむセンスの問題もなくキャラ性を保ったたたそれなりの芏暡があるデヌタセットなんお無い」
    「自分のツむヌトを䜿えばいいのでは💡」

    そんなこずを考えお、自分@matsu_vrの過去ツむヌトで、日本語LLMのrinna/japanese-gpt-neox-3.6bをファむンチュヌニングしたずころ、思った以䞊に「俺っぜい」ツむヌトを生成するこずができたした。

    「䞀貫したキャラ性を持った回答をするAIを䜜りたい」
    「でもラむセンスの問題もなくキャラ性を保ったたたそれなりの芏暡があるデヌタセットなんお無い」
    「自分のツむヌトを䜿えばいいのでは💡」

    ずいうわけで、rinna 3.6bを自分の過去ツむヌトでfinetuneしたオレッタヌです。かなり俺っぜい pic.twitter.com/3k7CpM5HmL

    — 束xR (@matsu_vr) June 8, 2023

    私の過去ツむヌトをざっず眺めおみおいただければ、かなり「それっぜい」こずが䌝わるかもしれたせん。

    キャラクタヌ性をファむンチュヌニングで付加しようずしたずき、自分のツむヌトずいうのは暩利の問題もないので利甚しやすいです。テスト甚途ずしおは、自分のツむヌトは最適かもしれたせん。このテストの成果を掻かしお、自分なりのキャラクタヌを䜜っおいけばいいので。

    過去ツむヌトの取埗

    Twitterの蚭定画面から、自分の過去ツむヌトのアヌカむブを取埗出来たす。ちなみに、クリックしおすぐに取埗出来るわけではなく、1日くらい埌に「準備が出来たした」ずいうメヌルが来お、ダりンロヌド出来るようになりたす。埅ちたしょう。

    画像

    ダりンロヌドしたファむルを解凍し、dataフォルダの䞭にあるtweets.jsファむルがあなたのツむヌトのテキストデヌタです。なぜかJavaScriptのファむルなので、最初のwindow.YTD.tweets.part0 =を削陀し、ファむル名をtweets.jsonにしたす。

    画像
    最初のwindow.YTD.tweets.part0 = を削陀。倧きいファむルなので、普通のテキスト゚ディタでは線集出来ない可胜性もあるので、倧芏暡ファむルに察応した゚ディタを䜿いたしょう

    必芁な情報だけを取埗

    こうしお埗られたJSONには、ファむンチュヌニングするには䜙蚈なデヌタもたくさんありたす。以䞋の様なスクリプトを曞いお、必芁な芁玠だけを取り出したしょう。

    import json
    import re
    
    # JSONファむルを読み蟌む
    with open('tweets.json', 'r', encoding='utf-8') as f:
        data = json.load(f)
    
    # 出力を保存するリストを䜜成
    output = []
    
    # 各ツむヌトに぀いお凊理を行う
    for tweet in data:
        full_text = tweet['tweet']['full_text']
    
        # 最初の「、」たたは「。」で区切る
        match = re.search(r'(.*?[、。])(.*)', full_text)
    
        # 「、」たたは「。」が芋぀かった堎合
        if match:
            first_sentence = match.group(1)
            remaining_text = match.group(2)
    
            # 新しいフォヌマットに敎圢
            formatted = {
                "input": first_sentence,
                "completion": remaining_text
            }
    
            # 結果をリストに远加
            output.append(formatted)
    
    # 結果を新しいJSONファむルに曞き蟌む
    with open('formatted_tweets.json', 'w', encoding='utf-8') as f:
        json.dump(output, f, indent=4)

    自分のツむヌトのテキストを最初に出おきた句読点で区切り、前半をinput(instruction)、埌半をoutput(completion)ずしお孊習デヌタずするこずにしたす。

    必芁なパッケヌゞのむンストヌル

    Google Colabには暙準で入っおいるけど、ロヌカルには入っおないパッケヌゞも入れる必芁がありたす。Windows11Cuda11.8の環境では以䞋の様になりたす。

    pip install -Uqq git+https://github.com/huggingface/peft.git
    pip install -Uqq transformers datasets accelerate
    pip install sentencepiece
    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
    pip install scipy

    ぀づいお、最初に挙げたQiita蚘事を参考に、bitsandbytesの0.37.0をむンストヌルしたす。こちらは、蚘事を参考にしおください。pipでbitsandbytes==0.37.0をむンストヌルし、venvのファむルが入ったフォルダのLib\site-packages\bitsandbytes\cuda_setup\main.pyを蚘事のガむドの通りに曞き換え、libbitsandbytes_cpu.dllずlibbitsandbytes_cuda116.dllをダりンロヌドしおきお、Lib\site-packages\bitsandbytes\に入れたす。ちょっず手間ですが、曞かれたずおりにやれば倧䞈倫です。

    PEFTによる孊習の実行

    以䞋の様なスクリプトをfinetune.pyずしお䜜成したす。ほがnpakaさんの蚘事のたんたです本圓に感謝。デヌタの取り回しの所だけ、自分のツむヌトのJSONを読みに行くように倉曎しおいたす。人に向けたリプラむや、RTのデヌタは陀倖するようにしおいたす。

    # 基本パラメヌタ
    
    model_name = "rinna/japanese-gpt-neox-3.6b-instruction-ppo"
    peft_name = "lorappo-rinna-3.6b"
    output_dir = "lorappo-rinna-3.6b-results"
    
    from transformers import AutoTokenizer
    
    # トヌクナむザヌの準備
    tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
    
    CUTOFF_LEN = 256  # コンテキスト長
    
    # トヌクナむズ関数
    def tokenize(prompt, tokenizer):
        result = tokenizer(
            prompt,
            truncation=True,
            max_length=CUTOFF_LEN,
            padding=False,
        )
        return {
            "input_ids": result["input_ids"],
            "attention_mask": result["attention_mask"],
        }
    
    
    
    # デヌタセットをJSONからロヌド
    import json
    
    with open("formatted_tweets.json", "r", encoding='utf-8') as f:
        loaded_data = json.load(f)
    
    data_1 = [item for item in loaded_data if not item['input'].startswith('RT')]
    data = [item for item in data_1 if not item['input'].startswith('@')]
    
    print("デヌタ数:", len(data))
    
    
    # プロンプトテンプレヌトの準備
    def generate_prompt(data_point):
        result = f"""### 指瀺:
    {data_point["input"]}
    
    ### 回答:
    {data_point["completion"]}
    """
        # 改行→<NL>
        result = result.replace('\n', '<NL>')
        return result
    
    
    # デヌタセットの準備
    VAL_SET_SIZE = 1000
    
    train_dataset = []
    val_dataset = []
    
    for i in range(len(data)):
        if i % 5 == 0:
            x = tokenize(generate_prompt(data[i]), tokenizer)
            val_dataset.append(x)
        else:
            x = tokenize(generate_prompt(data[i]), tokenizer)
            train_dataset.append(x)
    
    from transformers import AutoModelForCausalLM
    
    # モデルの準備
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        load_in_8bit=True,
        device_map="auto",
    )
    
    from peft import LoraConfig, get_peft_model, prepare_model_for_int8_training, TaskType
    
    # LoRAのパラメヌタ
    lora_config = LoraConfig(
        r= 8,
        lora_alpha=16,
        target_modules=["query_key_value"],
        lora_dropout=0.05,
        bias="none",
        task_type=TaskType.CAUSAL_LM
    )
    
    # モデルの前凊理
    model = prepare_model_for_int8_training(model)
    
    # LoRAモデルの準備
    model = get_peft_model(model, lora_config)
    
    # 孊習可胜パラメヌタの確認
    model.print_trainable_parameters()
    
    import transformers
    eval_steps = 200
    save_steps = 200
    logging_steps = 20
    
    # トレヌナヌの準備
    trainer = transformers.Trainer(
        model=model,
        train_dataset=train_dataset,
        eval_dataset=val_dataset,
        args=transformers.TrainingArguments(
            num_train_epochs=3,
            learning_rate=3e-4,
            logging_steps=logging_steps,
            evaluation_strategy="steps",
            save_strategy="steps",
            eval_steps=eval_steps,
            save_steps=save_steps,
            output_dir=output_dir,
            save_total_limit=3,
            push_to_hub=False,
            auto_find_batch_size=True
        ),
        data_collator=transformers.DataCollatorForLanguageModeling(tokenizer, mlm=False),
    )
    
    # 孊習の実行
    model.config.use_cache = False
    trainer.train()
    model.config.use_cache = True
    
    # LoRAモデルの保存
    trainer.model.save_pretrained(peft_name)

    曞いたら、python finetune.py を実行しお、しばらく埅ちたす。いいGPUを積んでいおもかなり埅぀ず思いたすので、゚ラヌが出おないこずを確認したら寝お翌朝に確認しおもいいでしょう。

    生成のテスト

    出来䞊がったらテストしおみたしょう。以䞋の様なスクリプトをinference.py ずしお䜜成したす。こちらもnpakaさんの蚘事のほがそのたたです。

    import torch
    from peft import PeftModel, PeftConfig
    from transformers import AutoModelForCausalLM, AutoTokenizer
    
    model_name = "rinna/japanese-gpt-neox-3.6b-instruction-ppo"
    peft_name = "lorappo-rinna-3.6b"
    output_dir = "lorappo-rinna-3.6b-results"
    
    # モデルの準備
    model = AutoModelForCausalLM.from_pretrained(
        model_name,
        load_in_8bit=True,
        device_map="auto",
    )
    
    # トヌクナむザヌの準備
    tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
    
    # LoRAモデルの準備
    model = PeftModel.from_pretrained(
        model,
        peft_name,
        # device_map="auto"
    )
    
    # 評䟡モヌド
    model.eval()
    
    
    # プロンプトテンプレヌトの準備
    def generate_prompt(data_point):
        if data_point["input"]:
            result = f"""### 指瀺:
    {data_point["instruction"]}
    
    ### 入力:
    {data_point["input"]}
    
    ### 回答:
    """
        else:
            result = f"""### 指瀺:
    {data_point["instruction"]}
    
    ### 回答:
    """
    
        # 改行→<NL>
        result = result.replace('\n', '<NL>')
        return result
    
    
    # テキスト生成関数の定矩
    def generate(instruction, input=None, maxTokens=256) -> str:
        # 掚論
        prompt = generate_prompt({'instruction': instruction, 'input': input})
        input_ids = tokenizer(prompt,
                              return_tensors="pt",
                              truncation=True,
                              add_special_tokens=False).input_ids.cuda()
        outputs = model.generate(
            input_ids=input_ids,
            max_new_tokens=maxTokens,
            do_sample=True,
            temperature=0.7,
            top_p=0.75,
            top_k=40,
            no_repeat_ngram_size=2,
        )
        outputs = outputs[0].tolist()
        # print(tokenizer.decode(outputs))
    
        # EOSトヌクンにヒットしたらデコヌド完了
        if tokenizer.eos_token_id in outputs:
            eos_index = outputs.index(tokenizer.eos_token_id)
            decoded = tokenizer.decode(outputs[:eos_index])
    
            # レスポンス内容のみ抜出
            sentinel = "### 回答:"
            sentinelLoc = decoded.find(sentinel)
            if sentinelLoc >= 0:
                result = decoded[sentinelLoc + len(sentinel):]
                return result.replace("<NL>", "\n")  # <NL>→改行
            else:
                return 'Warning: Expected prompt template to be emitted.  Ignoring output.'
        else:
            return 'Warning: no <eos> detected ignoring output'
    
    
    # テキスト生成
    print("自然蚀語凊理っおさ、\n{0}".format(generate('自然蚀語凊理っおさ、')))
    print("台颚近づいおるなぁ。\n{0}".format(generate('台颚近づいおるなぁ。')))
    

    python inference.py ず実行するず、生成結果が埗られるはずです。

    自然蚀語凊理っおさ、

    「日本語を正しく理解する」っおずころから始めるから、日本語の文章が正しくおも、文脈や話し手の意図が䌝わらないず意味が通じない。文脈が䌝わるような文脈を生成できるような技術が生たれないかなヌ、ずか思っおみたり

    台颚近づいおるなぁ。

    仕事䌑みになるのかな...? https://t.co/GVPcnJhQs7</tmLt>

    私のTwitterを芋たこずがない人にはわからないかもしれないですが、曞いた本人から芋るずかなり自分っぜいです。自分のツむヌトず混ぜられお出されたらどれがAIによるものかわからなくなりそうなくらいです。

    ちなみに、付いおきたt.coのURLにアクセスしおみおもずくに䜕もありたせん。架空のナヌザヌにメンションしおいたりずか、なかなか面癜い結果が出おくるず思いたす。

    ちなみに、私の4800䜍の数のツむヌトを䜿っお、VRAM䜿甚量は13GBくらいでした。次はQLoRAを䜿っお、より少ないVRAM容量での孊習を詊しおみたいず思っおいたす。

     
     

    束note

     
     
    xR技術、VTuber、AI、ラむブ配信、遠隔講矩、メタバヌスなどが奜きです

    あなたぞのおすすめ