[M1 Mac, Monterey 12.6.3]
巷で話題のRNN(Recurrent Neural Network)であるRWKVをGoogle Colabで使ってみました。
学習モデルはRWKV-4-Pile-14B-Instruct-test4-20230327-ctx1024.pthです。パラメータ数は14Billion(140億)です。読み込みに3分ほど掛かりました。
結論ですが、プログラミング補助ツールとしてはChatGPT API(gpt-3.5-turbo)に遠く及ばないです。ルール通りプロンプトの先頭には+iを付けています。
行間が読めないといいますか、質問文の読解力が不足しているように感じました。英語で聞いても回答の質は変わらずです。応答速度についてはサクサクで全く問題ありません。
やはりGPU1枚で高機能なチャットボットを動かすには特化した学習モデルでないと厳しいということでしょうか。
ただ不完全とは言え、それなりの内容を返してくるのは評価できます。今後の進展に期待といったところです。
実用的であればハイスペックPCを導入しようと考えていましたが、その必要はなさそうです。
コスト :
Google Colab Pro+ ¥5767/月
・A100を高確率で引きたかったのでProより上にしました(もう一つのプレミアムGPUはNVIDIA V100)
Google One(100GB) ¥250/月
・初月無料. 学習モデル28.3GBの保管に必要.
