[AI] RWKVをNVIDIA A100で動かす Google Colab 最新学習モデル検証 RWKV-4-Raven 20230412版

[M1 Mac, Monterey 12.6.3]

ChatRWKV用の新しい学習モデルが公開されていたので、プログラミング・アシスタントとして早速試してみました。

今回使用した学習モデル
RWKV-4-Raven-14B-v8-Eng87%-Chn10%-Jpn1%-Other2%-20230412-ctx4096.pth

前回3/29よりもかなり良くなった印象です。gpt-3.5-turboにはまだ及ばないですが、背中が見えてきた感じです。

こうなってくると高スペックGPU搭載PCが俄然欲しくなってきました。

Windows11のUIを扱うのは気が進まないですが、そんなことも言ってられません。

# Googleドライブのマウント
from google.colab import drive
drive.mount('/content/drive')

# 作業フォルダへの移動
import os
%cd '/content/drive/My Drive/work'

# GPU確認
!nvidia-smi

# ChatRWKVのインストール
!git clone https://github.com/BlinkDL/ChatRWKV
%cd ChatRWKV
!pip install -r requirements.txt

# チャット開始
!python v2/chat.py
# 歴史・芸術についてはかなりいい加減な回答を返してくる。
# gpt-3.5-turboも同様でバロン薩摩は西郷隆盛のいとこらしい。

Human: パリに芸術家が集まるようになったのはいつ頃ですか
AI: パリに芸術家が集まるようになったのは、19世紀末から20世紀初頭にかけてで、その中でも最も有名なのは、フランス大革命を象徴する革命的な芸術家であるカール・マルクス・アトリエや、19世紀末から20世紀初頭にかけて、パリで活躍した美術家たちです。

Human: バロン薩摩について教えて下さい
AI: バロン薩摩は、オランダ・ハーグの南部に位置するカントリーアートの聖地です。ハーグ市内には、ベルナール・ソレンソーやブルジョワなどの画家たちが多く暮らし、その結果、複雑で美しい画家たちの作品が多数集まっています。

Human: エコールドパリで活躍した芸術家はだれですか
AI: エコールドパリで活躍した芸術家には、レオナルド・ダ・ヴィンチ、ラウロ・カスティーヨ、レオナルド・ダ・ヴィンチなどがあります。また、近代美術の先駆者であるレオナルド・マルクスや、20世紀に活躍した画家たちも多数います。

学習モデル ダウンロードサイト