[Mac M2 Pro 12CPU, Sonoma 14.3.1, clang++ 15.0.0]
実行方法：llama.cpp
記事その1ではWindows11PCで検証しましたが、GGUF形式であればMacでも動作可能なので早速試してみました。Metalを使用しています。
4bit量子化したGGUF形式のモデルはサイズが4.08GBですから、RAM16GBでも問題なさそうです。
質問によっては無回答で終了することもあるものの、それなりに考えたプロンプトであればSwiftUIの簡単なコードについては正しい答えが返ってきました。
ただし量子化の影響なのか、下図のような簡潔な正答になることもあれば、勝手にチャットのようになったり、誤答を返すことも多く、結構不安定です。
量子化していないGGUF形式のモデルで検証したいところです。
./main -m models/ELYZA-japanese-CodeLlama-7b-instruct-q4_K_M.gguf --temp 1.0 -ngl 1 -t 10 -f ./prompt_jp.txt
[Mac M2 Pro 12CPU, Sonoma 14.3.1, clang++ 15.0.0]
LLMのランタイムであるllama.cppのmake時にセグフォ11が発生しました。
コンパイラがclangなのが問題なのかと考え、gccとg++に置き換えましたがダメでした。
Xcode内にあるclangのシンボリックリンクをgcc、g++にリネームして/usr/local/binに置いても状況は変わらず。
/usr/binにあるgccとg++(共に中身はclang)を認識させるようにすると、やっとmakeできました。.bash_profileの行を一部入れ替えて/usr/binの優先順位を上げています。
# /usr/binの優先順位を上げる
export PATH=/usr/local/bin:$PATH
export PATH=/usr/bin:$PATH
llama.cpp開発者がMacユーザーはCコンパイラをデフォルトのままで使用するものと想定しているために起こったトラブルでした。
gcc、g++についてclangではなく正規ファイルを使っているMacユーザーの存在は考慮していません。23年4月までのllama.cppでは正規ファイルでもビルド可能でした。ただし、その頃はモデル形式がGGMLだったため、現在のGGUFタイプのモデルは使用不可です。
make中のトラブルをデバッグする手段がなく途方に暮れましたが、Cコンパイラが動作するタイミングでセグフォ11が発生していることから推測して何とか解決できました。
gcc、g++の正規ファイルを使用しているMacユーザーのLLM使いは案外少ないのか、llama.cppのGitHubやStackOverFlowでこのような話題はありませんでした。
このトラブルの解決に丸一日費やしてしまいました。
Windows11PCでの推論実行時のVRAM消費量と消費電力を調べました。
GPU：GeForce RTX 4070Ti 12GB
LLM : ELYZA-japanese-CodeLlama-7b
プロンプト：Swiftコードに関する簡単な補足依頼。回答まで1分10秒程度。
VRAM消費量測定：nvidia-smiコマンド
消費電力測定：SwitchBotミニプラグのアプリ画面から読み取り
VRAM消費量はほぼ12GBでフル使用でした。消費電力は最大168Wで電源ユニット750Wに対してかなり余裕がありました。
# 1秒おきにGPU使用状況を表示
nvidia-smi -l 1
昨年の今頃はChatGPTアプリ製作、RWKVなどローカルLLMの検証に取り組んでいました。
あれから1年が経ちローカルLLMの現状を調べているとプログラミング補助に特化したLLMを見つけたので、簡単に検証してみました。ELYZA-japanese-CodeLlama-7bというモデルです。CodeLlamaはMetaが開発しているモデルになります。
Windows11PC(RAM 64GB, RTX 4070Ti 12GB)でSwiftについてプロンプトを送ったところ、1分9秒で回答がありました。残念ながら使えないコードでした。ただ、このモデルのデモサイトではGPT-4と同じく正しいコードを返してきます。パラメータを調整する必要があるみたいです。
Google ColabでV100やA100でも検証してみて、VRAM依存が明確になりましたら、RTX 4070 12GBとの2枚挿しを検討したいところです。
話題のClaude 3 (Sonnet)を即席評価しました。
またもやGPT-4の圧勝でした。2月に評価したGeminiと同じく読解力が不足しています。なお最上級のOpusはサブスクかAPIでないと使えないようです。
OpenAIが法人営業で苦戦しているとの記事を目にしました。用途によるとは言え、買い手はAIの実力を正当に評価できているのか、はなはだ疑問です。他社サービスは文章生成では優れているのでしょうか。
インフルエンサーもインプットとアウトプットの量だけで評価しているふしがあり、質を網羅的にはほとんど見ていないですね。ちゃんと目利きができる方の出現を望みます。
プログラミング補助用途では、GPT-4の牙城は揺るぎないといったところです。
ただOpenAIには殿様商売的な姿勢が垣間見られ、アンチが多い感じがします。昨年11月、GPT-4 Turbo(gpt-4-1106-preview)のリリースについてはメールで案内がありましたが、今年1月のgpt-4-0125-previewリリースでは一切ありませんでした。この点については、かなり不満があります。
グチは置いといて、後発のGemini、Claudeはより大量な情報を処理し要約・創出するのが得意で、GPTの方はインプット側の足りない情報を補完するつまり行間を読む能力に長けている、という私なりの結論に至りました。
※バージョン番号を取得する方法も含めて聞いているのだが、こちらの意図を読み取ることができない。
コード例を示している時点で指示者が中級者であることを察するべき。指示者がTextストラクチャを使えているのにその使い方を回答するのは流石にアウトです。単なる学習データ不足か。
[Mac M2 Pro 12CPU, Ventura 13.6, Python 3.10.4]
DALL-E 3からAPIで使えるようになったので、早速試してみました。
生駒山近景を出力したところ存在しないロープウェイを含む景色でした。2回目は信仰の山らしく祠の画像でした。六甲山も出してみました。
どうも画のタッチが好みではありません。そこら辺を調整できれば、使い出がありそうです。
# openaiライブラリを導入済みの場合はアップグレードする(旧Verにはopenai.OpenAIがない)
pip install --upgrade openaiimport os
from openai import OpenAI
# 環境変数からAPIキーを取得
api_key = os.getenv('CHATGPT_API_KEY')
if not api_key:
raise ValueError("OpenAI API Keyが環境変数に設定されていません")
# APIキーを設定
os.environ["OPENAI_API_KEY"] = api_key
client = OpenAI()
response = client.images.generate(
model="dall-e-3",
prompt="大阪府・奈良県にある生駒山の近景",
size="1024x1024",
quality="standard",
n=1,
)
image_url = response.data[0].url
print(image_url)
[Mac M2 Pro 12CPU, MacOS Ventura 13.6, clang 15.0.0]
自製ChatGPTアプリをGPT-4 Turbo with visionに対応させました。
画像のURLを送ると内容を読み取り、プロンプトに対応します。
漢字、ひらがな、カタカナなど非ラテン文字は読めません。これらが画像に含まれているとレスポンスしなくなるので、モザイクを掛けるなり前処理が必要です。
プログラミングでUIについて質問する際に画像を使うとやりやすいです。特に見てほしいところを色線で囲むなど、工夫を入れるとより深い分析をしてくれます。ここまでできるとプログラミングスクールにとどまらず教育業界全体が相当な危機でしょう。
GPT-4までは心強いパートナーという感じでしたが、with visionになって凄まじい眼力を身に付け、いささか脅威を覚えるようになりました。
今のAIがどのような状況になっているのか、もっと周知しないとヤバい気がします。
[Mac M2 Pro 12CPU, MacOS Ventura 13.5, clang 14.0.3]
自製ChatGPTアプリに関する記事は3月以来5ヶ月ぶりです。記事にはしていませんが、これまで何度も更新を重ねグレードアップしています。
ChatGPTアプリでのやりとりはjsonファイルとして保存しています。大分ファイルがたまってきたため、年月フォルダ(今月の場合は”2308″)を自動作成して振り分けるMovJSボタンを実装しました。
ChatGPTにコードを書いてもらいました。一応コードはチェックして問題なさそうなのでビルド&実行したところ一発で成功しました。
実装完了までものの10分です。AIアシストでプログラミングすると生産性爆上がりです。
#include <iostream>
#include <filesystem>
#include <fstream>
namespace fs = std::filesystem;
void movJSONCB(Fl_Widget*, void*){
fs::path srcDir = "/ChatGPT";
// srcDirにあるjsonファイルのpathをリスト化する
std::vector<fs::path> jsonFiles;
for (const auto& entry : fs::directory_iterator(srcDir)) {
if (entry.path().extension() == ".json") {
jsonFiles.push_back(entry.path());
}
}
// ファイル名の先頭4文字のフォルダを作成する
for (const auto& jsonFile : jsonFiles) {
std::string folderName = jsonFile.filename().stem().string().substr(0, 4);
fs::path folderPath = srcDir / folderName;
// フォルダがすでに存在する場合は上書き作成しない
if (!fs::exists(folderPath)) {
fs::create_directory(folderPath);
}
// ファイルをそれぞれのフォルダに振り分ける
fs::path destinationPath = folderPath / jsonFile.filename();
fs::rename(jsonFile, destinationPath);
}
}先月7月からOpenAIへ1ドル以上の支払実績のあるユーザーにGPT-4 API利用資格が付与されるようになりました。
低課金ユーザーの私は7月0.52ドル、8月1.5ドルの支払いでようやく資格を得ることができましたが、今のところGPT-4を使える状態になっていません。
モデルの利用可否はOpenAIサイトのPlaygroundで確認できます。
Bingで使った感触ではGPT-4は能書きが多いだけでコーディングのアシストには余り向いていない印象ですが、早く突っ込んだ検証をしたいです。
23/08/09追記
23時の時点でGPT-4 APIを使えるようになっていました。これから検証に取り掛かります。
[M1 Mac, MacOS Ventura 13.3.1, clang 14.0.3]
これは簡単に実装できました。15分位でしょうか。
これで基本的な機能は一通り備わったように思います。ボードによってはまれにスレッドタイトル読込で落ちてしまったりしますが、ぼちぼち直していきます。
ソースファイルが13個になり分かりにくくなってきたので、複数フォルダへの振り分けを検討しています。
高度な検索にかけたり、過去ログも含めて管理するのでしたらMySQLなどデータベースの出番もあるのでしょうが、今の用途であれば都度2次元ベクター化で事足りますね。
#include "cppstd.h" // 自製ライブラリ
#include "MyTable.h"
extern vector<tuple<string, string, string, string>> numTitlePostnumID;
extern Fl_Input* searchInput;
extern MyTable* table;
void threadSearch(Fl_Widget *w, void*){
vector<tuple<string, string, string, string>> searchResult;
const char* word = searchInput -> value();
for (const auto& tuple : numTitlePostnumID) {
string title = std::get<1>(tuple);
if (title.find(word) != string::npos) {
searchResult.push_back(make_tuple(std::get<0>(tuple), std::get<1>(tuple), std::get<2>(tuple), std::get<3>(tuple)));
}
}
int hitNum = searchResult.size();
numTitlePostnumID = searchResult;
table->SetSize(hitNum, 5);
}