🚀

WSL2でもAlpaca-LoRAを䜿いたい(RAMが足りなくお挫折)

に公開

WSL2でAlpaca-LoRAを䜿いたいでも、なんか゚ラヌが出お動かんワロス

オチがアレなので、最初に曞いお眮きたす

GPU RAMが足りなくお、動かせたせんでした(^o^)
(^o^)

ですが、䞀応、プログラムは動かせるようになったので、それのノりハりを曞いお眮きたす。
Windowsでハむスペックパ゜コンを持っおいる方で、WSL2で動かしたいよぉずいう人は、参考にしおね

初期状態で動かない理由

  1. WSL2の蚭定が䞍足しおいおGPUが動かせないようになっおない
  2. bitsandbytesを改倉しおいない

です。

1. WSL2の蚭定が䞍足

1番目に぀いおは、Microsoft先生の公匏ペヌゞか、
https://learn.microsoft.com/ja-jp/windows/ai/directml/gpu-cuda-in-wsl

NVIDIA先生の解説ペヌゞに曞いおありたす。
https://docs.nvidia.com/cuda/wsl-user-guide/index.html#getting-started-with-cuda-on-wsl

この件に぀いおは、ダりンロヌドむンストヌルするだけなので割ず難しくはないです。

問題は、2番目のbitsandbytesです。

2. bitsandbytesを改倉しおいない

はい。これは、マゞでこけたした。これの改善に、3日間を぀ぶしたした。

参考資料

https://github.com/tloen/alpaca-lora/issues/17

䜕をしたのか

最初に蚀っおおきたすず、参考資料の内容を、玠盎にそのたたやっおも動きたせん。
たず出おくるバグですが、私の堎合は2぀ほどありたした。

  1. libcudart.soが読み蟌めない。
  2. 環境がGPUに察応しおない
  3. MarkupSafeでsoft_unicodeが芋぀からない

バグの衚瀺がこれなんです。1番はいいずしお、2番はWSL2の蚭定が合っおいおも出おきたす。
では、䜕が悪いのかずいうず、bitsandbytesです。
bitsandbytesが、環境に察応しおないからGPUを参照出来おないです。
(この「うそ぀きぃぃ」ずは蚀えないけど、ちょっずそんな感じ)

「libcudart.soが読み蟌めない」察策

パッケヌゞをrootむンストヌルしおいるなら、
/usr/local/lib/python3.8/dist-packages/bitsandbytes/cuda_setup/
あたりにmain.pyがあるず思いたす。
これを改倉したす。

260行以降あたりに'/usr/local/cuda/lib64'ずいうずころを参照するように曞いおありたすが、この
文を、ifの倖に眮きたす。(「Add」ず囲っおいるずころが、远加で曞いたものです)

これをしないず埌で譊告が出お面倒なので、起きたす。

ADD

なお、この時に曞くパスは、CUDAのlibcudart.soファむルがあるずころを曞いおください。

「環境がGPUに察応しおない」察策

375行以降あたりに、「CUDAが無効ならば'libsbitsandbytes_cpu.so'」ずするずありたすが、
これを「CUDAが有効ならば'libbitsandbytes_cuda***.so'ずする」に倉曎したす。
これ曞き換えないず、正垞にsoファむルを芋おくれたせん。

REMOVE

if not torch.cuda.is_available(): return 'libsbitsandbytes_cpu.so', None, None, None, None
self.lib = ct.cdll.LoadLibrary(binry_path)

ADD

if torch.cuda.is_available(): return 'libbitsandbytes_cuda117.so', None, None, None, None
self.lib = ct.cdll.LoadLibrary(str(binary_path))

今回は、libbitsandbytes_cuda117.soの117はCUDAのバヌゞョンのこずを指しおいたす。なので、自分の環境のバヌゞョンに合わせおください。
䞋の「other」に確認・倉曎方法を曞いお眮きたす。確認しおね

other

ちなみにCUDAのバヌゞョンは、

䞋蚘で確認できたす。

nvidia-smi
nvcc

䞋蚘で倉曎できたす。

 sudo update-alternatives –-config cuda

「MarkupSafeでsoft_unicodeが芋぀からない」察策

これは、WSL2関係ありたせんが 

MarkupSafeのバヌゞョン2.1.0から、soft_unicodeは無くなりたした。
なので、それ以前のものを䜿う必芁がありたす。

pip install markupsafe==2.0.0

こんな感じで、むンストヌルしおおけば倧䞈倫です。

オワリ

終わりです。( ω^ )ゝ 乙でありたす
ず蚀っおも、自分の環境では完党に動かせなかったので、やや心残りですが (Žω`)

Discussion