[M1 Mac, Ventura 13.3.1, Python 3.10.4]
ChatRWKVではMacOSのグラフィックスAPIであるMetalが使えるようなので、早速試してみました。PyTorchを使用しているライブラリではVenturaでMetalを使えます。
Montereyではtorch.sortなどPyTorchの一部機能が使えないため、VenturaにOSアップデートしました。
軽量な学習モデルではChatRWKVを起動させることができました。ただCPUとの比較では明確な差は感じませんでした。7B(14.79GB)以上でないとまともな会話が出来ないようなので、やはりRAMメモリは32GB以上欲しいところです。
私の場合はAI開発者というわけではないですから、無理にRTX 4070Ti搭載PCなどを組んだりせず、気長にAIの進化を待ちつつM2 Pro RAM 32GBあたりで適当に遊ぶのが無難に思えてきました。
args.strategy = 'mps fp32'
# args.strategy = 'cpu fp32'
# args.strategy = 'cuda fp16'