RINNA社が 5月17日 に、 rinna/japanese-gpt-neox-3.6b-instruction-sft という、対話言語 AI モデルを公開したと、プレスリリースを出した。
その後さらに 5月31日、人間の評価による強化学習したモデル rinna/japanese-gpt-neox-3.6b-instruction-ppo を追加リリースしている。
この AI モデルは、ご家庭にあるミドルレンジ GPU でもサクサク動く性能だったので、 AI 系に明るくない人にも導入できるように、詳しい導入手順を紹介しようと思う。
こう言うのって、登場して直ぐ情報がホットなうちに記事にすることに価値があって、こんな 1～2週間経ってから記事を書いたって誰にも届かないんだろうけど、とりあえず書いてみる。
この界隈の情報はコンテクストが高いというか、あんまりイチから導入方法を説明している記事って目にしないので、多少は需要があるかなと。
はじめに断っておくが、 Chat-GPT や 新しいBing 等と比べると数段落ちる回答精度となる。
ただ、個人がお手軽に購入できる程度の GPU を使って、完全にローカルで動かす事ができるという点が、一種の浪漫だ。
前提条件
以下のスペックを持った PC。
- OS は Windows 10 または Windows 11
- GeForce RTX 3060 以上、 VRAM 12GB 以上が載った NVIDIA の GPU
- GPU ドライバはインストール済み
- 具体的には 2023年5月現在 以下のいずれかモデル
- GeForce RTX 3060 (12 GB)
- GeForce RTX 3080 (12 GB)
- GeForce RTX 3090
- GeForce RTX 3090 Ti
- GeForce RTX 4060 Ti (16 GB)
- GeForce RTX 4070
- GeForce RTX 4070 Ti
- GeForce RTX 4080
- GeForce RTX 4090
- 3070 Ti, 3060 Ti, 3060 (8GB) だと VRAM が足りないので、多分動かすとエラーになる