AI – ページ 8 – mowareのブログ

[AI] LlamaIndexアプリ製作その４完成 PyQt6

[M1 Mac, Monterey 12.6.3, Python 3.10.4]

LlamaIndexアプリを完成させました。

exeファイルやappファイルには出来ませんでしたが、シェルスクリプトにするとアプリ風になるのでこれでけりを付けました。

ChatGPT APIを使い出して1ヶ月と1週が経過し、私自身だいぶ落ち着きを取り戻しつつあります。

import os, logging, sys
from pathlib import Path
from PyQt6.QtWidgets import QLabel,QWidget,QApplication,QTextEdit,QLineEdit,QPushButton
from PyQt6.QtCore import Qt
from llama_index import download_loader,LLMPredictor, GPTSimpleVectorIndex, ServiceContext
from langchain import OpenAI
import datetime

class LlamaIndex(QWidget):
    def __init__(self):
        super().__init__()
        self.setWindowTitle("LlamaIndex")
        self.setGeometry(100,100,480,480)
        self.setStyleSheet('background-color: #483D8B')
        self.setAcceptDrops(True)
        
        file = QLabel('FILE',self)
        file.setGeometry(10,15,34,16)
        file.setStyleSheet('color: #FFFFFF; font-size: 14pt;')
        file.setAlignment(Qt.AlignmentFlag.AlignCenter)
        
        self.input= QLineEdit('',self)
        self.input.setGeometry(55,10,355,25)
        self.input.setAcceptDrops(True)
        
        idxBtn = QPushButton('IDX作成',self)
        idxBtn.setGeometry(420,10,50,25)
        idxBtn.setStyleSheet('color: #FFFFFF; font-size: 12pt;')
        idxBtn.released.connect(self.makeIDX)
        
        idx = QLabel('IDX',self)
        idx.setGeometry(10,45,26,16)
        idx.setStyleSheet('color: #FFFFFF; font-size: 14pt;')
        idx.setAlignment(Qt.AlignmentFlag.AlignCenter)
        
        self.input2= QLineEdit('',self)
        self.input2.setGeometry(55,40,355,25)
        self.input2.setAcceptDrops(True)
        
        self.idxBtn2 = QPushButton('IDX読込',self)
        self.idxBtn2.setGeometry(420,40,50,25)
        self.idxBtn2.setStyleSheet('color: #FFFFFF; font-size: 12pt;')
        self.idxBtn2.released.connect(self.loadIDX)
        
        send = QPushButton('送信',self)
        send.setGeometry(420,70,50,25)
        send.setStyleSheet('color: #FFFFFF; font-size: 14pt;')
        send.released.connect(self.sendQuestion)
        
        clear = QPushButton('CL',self)
        clear.setGeometry(420,100,50,25)
        clear.setStyleSheet('color: #FFFFFF; font-size: 14pt;')
        clear.released.connect(self.clear)
            
        self.questionInput = QTextEdit('',self)
        self.questionInput.setGeometry(10,70,400,95)
        self.questionInput.setAcceptDrops(False)
        
        self.output = QTextEdit('',self)
        self.output.setGeometry(10,170,460,305)
        self.output.setAcceptDrops(False)
        
        # APIキーを環境変数から取得
        apiKey = os.getenv("CHATGPT_API_KEY")
        os.environ["OPENAI_API_KEY"] = apiKey

        # ログレベルの設定(DEBUG)
        logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)
        logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

    def makeIDX(self):
        # インデックスの作成および保存
        llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-embedding-ada-002"))
        service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)
        
        data_path = self.input.text()
        data_path2 = data_path.replace("'", "") # 拡張子判定用
        data_path3 = Path(data_path2) # loader用

        if data_path2.endswith('.csv'):
            SimpleCSVReader = download_loader("SimpleCSVReader")
            loader = SimpleCSVReader()
        elif data_path2.endswith('.pdf'):
            PDFReader = download_loader("PDFReader")
            loader = PDFReader()
        else:
            print('ファイルがcsv,pdfではありません')
            sys.exit()

        nodes = loader.load_data(file=data_path3)

        index = GPTSimpleVectorIndex.from_documents(nodes, service_context=service_context)
        
        now = datetime.datetime.now()
        formatted_time = now.strftime('%y%m%d_%H%M%S')

        index_file = "/AI/LlamaIndex/index/" + formatted_time + "_index.json"
        index.save_to_disk(index_file)
        
        self.input2.setText(index_file)
        self.idxBtn2.click()

    def loadIDX(self):
        # インデックスの読込
        llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-davinci-003", max_tokens=3500))
        service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)
        
        index_path = self.input2.text()

        self.index = GPTSimpleVectorIndex.load_from_disk(save_path= index_path, service_context=service_context)
        self.output.setText("IDX読込完了")
        
    def sendQuestion(self):
        question = self.questionInput.toPlainText()
        response = self.index.query(question)
        
        print(response)
        self.output.setText(str(response))

    def clear(self):
        self.input.clear()
        self.input2.clear()
        self.questionInput.clear()
        self.output.clear()

app = QApplication(sys.argv)
window = LlamaIndex()
window.show()
app.exec()

[AI] LlamaIndexアプリ製作その３ LlamaIndexライブラリ分析 pdbによるデバッグ

[M1 Mac, Monterey 12.6.3, Python 3.10.4]

py2appによるpyファイルのappファイル化がうまくいかないので、LlamaIndexライブラリの内容を分析し、C++への移植を目指すことにしました。

分析にあたりLlamaIndexライブラリを改変し、デバッグ仕様にしています。

思っていたよりも内容が複雑で何度かくじけかけましたが、ようやく光が見えてきました。

Pythonスクリプトを走らせた時の出力の内容とLlamaIndexライブラリの関連がとても見えにくく、printデバッグで細かくスクリプトやライブラリの動作を追跡しないと何が何だか分かりません。

そんなこんなでCSVファイルをindex化する所までたどり着いたものの、ここでいよいよ分からなくなりPython用のデバッガpdbを使いました。

下図赤枠の所をrコマンド、nコマンド、sコマンドで刻んで進めていきましたが、どこまで行っても目的箇所へたどり着けず300行ぐらいで追いかけるのを断念しました。Pythonの標準ライブラリを多用していますし、とてもじゃないですがC++へ移植など工数がいくつあっても足りないです。

Embbedingについては他のアプローチを模索していきます。

import os, logging, sys
from pathlib import Path
# llama_index改変版
from llama_index_fork import download_loader,LLMPredictor, GPTSimpleVectorIndex, ServiceContext
from langchain import OpenAI
from mylib import MySimpleCSVReader
import pdb

# APIキーを環境変数から取得
apiKey = os.getenv("CHATGPT_API_KEY")
os.environ["OPENAI_API_KEY"] = apiKey

# ログレベルの設定(DEBUG)
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

# インデックスの作成および保存
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-embedding-ada-002"))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

print("ファイルパスを入力して下さい")
file_path = input()
file_path2 = file_path.replace("'", "") # 拡張子判定用
file_path3 = Path(file_path2) # loader用

if file_path2.endswith('.csv'):
	# SimpleCSVReader = download_loader("SimpleCSVReader")
	loader = MySimpleCSVReader.MySimpleCSVReader()
elif file_path2.endswith('.pdf'):
	PDFReader = download_loader("PDFReader")
	loader = PDFReader()
else:
	print('ファイルがcsv,pdfではありません')
	sys.exit()

# documentsの型は、List[Document]
documents = loader.load_data(file=file_path3)

print("documentsの内容")
num = 1
for doc in documents:
    print(str(num) + ": " + str(doc) + "\n")
    num = num + 1

# ブレークポイント設定
pdb.set_trace()

index = GPTSimpleVectorIndex.from_documents(documents, service_context=service_context)
print("\nindex: " + str(index) + "\n")

index.save_to_disk('index.json')

# インデックスの読込
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-davinci-003", max_tokens=3500))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

index = GPTSimpleVectorIndex.load_from_disk(save_path="index.json", service_context=service_context)

# 質問(Ctrl+cで終了)
while True :
  print("質問を入力して下さい")
  question = input()
  
  print(index.query(question))

[AI] LlamaIndexアプリ製作その２仮想環境を使ったアプリ軽量化 PyQt6 / py2app / virtualenv

[M1 Mac, Monterey 12.6.3, Python 3.10.4]

py2appを使ったappファイル作成の際の出力をチェックするとどうやら無関係なライブラリも取り込んでいるようなので、仮想環境を使って軽量化を図りました。

今回はvirtualenvを使いました。venvは標準機能として入っていますが、システムのPythonから離れることは出来ません。Pythonのバージョンを自由に選べるvirtualenvの方が使い勝手は良さそうです。

Pythonの主な仮想環境：pyenv, venv, virtualenv

仮想環境を使って最低限のライブラリのみ取り込むようにした結果、248.3MBを213.8MBまで減らすことが出来ました。それでもまだまだ大きいですね。言語自体を変えないとこれ以上は厳しそうです。

py2appで作成したappファイルについてうまく起動できないケースが散見されますが、appファイルの内部にあるMacOSディレクトリに実行ファイルがありますので、これをダブルクリックするとターミナルが起動し、エラー出力の内容を確認できます。

# Python3.10の仮想環境envを作成
virtualenv -p python3.10 env

# ライブラリをインストール
./env/bin/pip install ライブラリ名

# 仮想環境envの有効化
source env/bin/activate

# 仮想環境envの無効化
deactivate

appファイル起動トラブル時は中にある実行ファイルを起動してエラー出力を確認する

[AI] LlamaIndexアプリ製作その１ PyQt6 / py2app

[M1 Mac, Monterey 12.6.3, Python 3.10.4]

LlamaIndexアプリの製作に着手しました。

簡単なアプリなのでそんなに工数は掛からないでしょう。取りあえずガワは作りました。

C++で書こうとするとlibcurlおよびEmbeddingのところがかなりややこしくなるため、今回はPyQt6で作ります。

現時点でサイズは240MBに達しています。自分的には論外な大きさですが、軽量高速化よりAI最新情報へのキャッチアップを優先します。

[AI] LlamaIndexによるGPT-3.5専門ボット化 CSV, PDF対応

[M1 Mac, Monterey 12.6.3, Python 3.10.4]

専門チャットボット生成スクリプトについて取り込むファイルタイプとしてCSVとPDFに対応させました。

SimpleCSVReaderのインスタンス化をし忘れていて少し手間取りました。クラスのインスタンス化は言語によってやり方が微妙に違うので要注意です。C++やJavaのようにnewを使わないので見落としがち。

import os, logging, sys
from pathlib import Path
from llama_index import download_loader,LLMPredictor, GPTSimpleVectorIndex, ServiceContext
from langchain import OpenAI

# APIキーを環境変数から取得
apiKey = os.getenv("CHATGPT_API_KEY")
os.environ["OPENAI_API_KEY"] = apiKey

# ログレベルの設定(DEBUG)
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

# インデックスの作成および保存
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-embedding-ada-002"))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

print("ファイルパスを入力して下さい")
file_path = input()
file_path2 = file_path.replace("'", "") # 拡張子判定用
file_path3 = Path(file_path2) # loader用

if file_path2.endswith('.csv'):
	SimpleCSVReader = download_loader("SimpleCSVReader")
	loader = SimpleCSVReader()
elif file_path2.endswith('.pdf'):
	PDFReader = download_loader("PDFReader")
	loader = PDFReader()
else:
	print('ファイルがcsv,pdfではありません')
	sys.exit()

nodes = loader.load_data(file=file_path3)

index = GPTSimpleVectorIndex.from_documents(nodes, service_context=service_context)
index.save_to_disk('index.json')

# インデックスの読込
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-davinci-003", max_tokens=3500))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

index = GPTSimpleVectorIndex.load_from_disk(save_path="index.json", service_context=service_context)

# 質問(Ctrl+cで終了)
while True :
  print("質問を入力して下さい")
  question = input()
  
  print(index.query(question))

[AI] LlamaIndexによるGPT-3.5専門ボット化エディタから実行

[M1 Mac, Monterey 12.6.3, Python 3.10.4]

これまでGoogle Colabで検証していましたが、VSCodeに環境を移しました。

インデックス化するファイルさえあれば、GPT-3.5を手軽に専門ボット化できるようになりました。

ただし、この方法ではプロンプトを箇条書きにするなど分かりやすい構成にすることができず密度の高い質問が出来ないため、検証は一旦ストップすることにしました。

色々検討すればするほど、私の中でgpt-3.5-turboチャットボットの優位性が揺るがなくなっています。OpenAIのEmbeddingsについては開発がかなり遅れているように見受けられました。公開内容を制限している可能性もありますね。

import os, logging, sys
from pathlib import Path
from llama_index import download_loader,LLMPredictor, GPTSimpleVectorIndex, ServiceContext
from langchain import OpenAI

# APIキーを環境変数から取得
apiKey = os.getenv("CHATGPT_API_KEY")
os.environ["OPENAI_API_KEY"] = apiKey

# ログレベルの設定(DEBUG)
logging.basicConfig(stream=sys.stdout, level=logging.DEBUG, force=True)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))

# インデックスの作成および保存
SimpleCSVReader = download_loader("SimpleCSVReader")

llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-embedding-ada-002"))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

csv_path = Path('fine_tuning_data.csv')

loader = SimpleCSVReader()
documents = loader.load_data(file=csv_path)

index = GPTSimpleVectorIndex.from_documents(documents, service_context=service_context)
index.save_to_disk('fine_tuning_data.json')

# インデックスの読込
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-davinci-003", max_tokens=3500))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

index = GPTSimpleVectorIndex.load_from_disk(save_path="fine_tuning_data.json", service_context=service_context)

# 質問(Ctrl+cで終了)
while True :
  print("質問を入力して下さい")
  question = input()
  
  print(index.query(question))

[AI] LlamaIndexによるGPT-3.5専門ボット化 Google Colab / 最大トークン数設定

[M1 Mac, Monterey 12.6.3]

CSVデータをインデックス化しGPT-3.5を専門ボット化するにあたり、設定を模索しています。

LlamaIndexの仕様が変更されていて、先月3月までに書かれた関連ネット情報が早くも一部使えなくなっています。llm_predictorの扱い方が大分変わりました。

最大トークン数を設定して、前回途中で切れてしまった回答を全て表示することが出来ました。

モデルをgpt-3.5-turboにすると何故か説明だけでコードを書かないという手抜きをされるので、デフォルトのtext-davinci-003にしています。

# パッケージのインストール
!pip install llama-index langchain openai
----------
# APIキー設定
import os
os.environ["OPENAI_API_KEY"] = "APIキー"
----------
# ログレベルの設定
import logging
import sys

logging.basicConfig(stream=sys.stdout, level=logging.INFO, force=True)
logging.getLogger().addHandler(logging.StreamHandler(stream=sys.stdout))
----------
# インデックスの作成および保存
from pathlib import Path
from llama_index import download_loader,LLMPredictor, GPTSimpleVectorIndex, ServiceContext
from langchain import OpenAI

SimpleCSVReader = download_loader("SimpleCSVReader")

llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-embedding-ada-002"))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

csv_path = Path('./fine_tuning_data.csv')

loader = SimpleCSVReader()
documents = loader.load_data(file=csv_path)

index = GPTSimpleVectorIndex.from_documents(documents, service_context=service_context)
index.save_to_disk('fine_tuning_data.json')
----------
# インデックスの読込
llm_predictor = LLMPredictor(llm=OpenAI(temperature=0, model_name="text-davinci-003", max_tokens=3500))
service_context = ServiceContext.from_defaults(llm_predictor=llm_predictor)

index = GPTSimpleVectorIndex.load_from_disk(save_path="fine_tuning_data.json", service_context=service_context)
----------
print(index.query("カラーコード#rrggbbまたは0xrrggbbをrgb(n,n,n)に変換するコードを教えて下さい"))

The code to convert either #rrggbb or 0xrrggbb to rgb(n,n,n) is as follows:

vector<int> ColorConvert::ConvertToRGB(string color_code){
    vector<int> RGBColor;

    if (color_code.substr(0,1) == "#") {
        string red0 = color_code.substr(1,2);
        int red = stoi(red0, nullptr, 16);
        RGBColor.push_back(red);

        string green0 = color_code.substr(3,2);
        int green = stoi(green0, nullptr, 16);
        RGBColor.push_back(green);

        string blue0 = color_code.substr(5,2);
        int blue = stoi(blue0, nullptr, 16);
        RGBColor.push_back(blue);
    } else if (color_code.substr(0,2) == "0x") {
        string red0 = color_code.substr(2,2);
        int red = stoi(red0, nullptr, 16);
        RGBColor.push_back(red);

        string green0 = color_code.substr(4,2);
        int green = stoi(green0, nullptr, 16);
        RGBColor.push_back(green);

        string blue0 = color_code.substr(6,2);
        int blue = stoi(blue0, nullptr, 16);
        RGBColor.push_back(blue);
    }

    return RGBColor;
}

[AI] LlamaIndexによるGPT-3.5専門ボット化 Prompt Design / Google Colab

[M1 Mac, Monterey 12.6.3]

OpenAI davinciのFine-tuningに使用したCSVをLlamaIndexによりインデックス化してGPT-3.5を専門ボット化しました。

回答が途中で切れてしまいましたが、良好な結果でした。CSVにあるサンプルコードを組み合わせてif文を難なく作成するところにはある種の知能を感じさせます。

回答のトークン数を拡大できればかなり使えそうです。

参考サイト

[AI] OpenAI davinciをFine-tuningする Google Colab

[M1 Mac, Monterey 12.6.3]

OpenAIのLLMであるdavinciを自製datasetでFine-tuningしてみました。

結果は全く効果がないどころか、妙にやさぐれたキャラクターになってWikipediaから臆面もなくコードを引っ張ってくる始末でした。

davinciのプレーンの方が大分ましですが、gpt-3.5-turboに比べるとかなり劣ります。

やはりgpt-3.5-turboをFine-tuningしないとダメですね。自製データセットの内容も良くないのでしょう。ただ、今のところdavinciのようなbase modelしかFine-tuning出来ないようです。

GitHub CopilotのモデルであるCodexもgpt-3.5-turbo等に引き継がれて非推奨になっていますし、OpenAIの有力なモデルでいじれるものがありません。

Fine-tuningが出来ないとなると、あとはPrompt Designで何とかするしかないですね。まあ、こちらは効果は薄めな反面、コストが比較的掛からないという利点があります。

つい先日、LlamaIndexでPDFを読み込ませて試してみましたが、なかなかしっかりした回答を返してきました。こちらの路線でしばらく遊んでみたいと思います。

参考サイト

[AI] RWKVをNVIDIA A100で動かす Google Colab

[M1 Mac, Monterey 12.6.3]

巷で話題のRNN(Recurrent Neural Network)であるRWKVをGoogle Colabで使ってみました。

学習モデルはRWKV-4-Pile-14B-Instruct-test4-20230327-ctx1024.pthです。パラメータ数は14Billion(140億)です。読み込みに3分ほど掛かりました。

結論ですが、プログラミング補助ツールとしてはChatGPT API(gpt-3.5-turbo)に遠く及ばないです。ルール通りプロンプトの先頭には+iを付けています。

行間が読めないといいますか、質問文の読解力が不足しているように感じました。英語で聞いても回答の質は変わらずです。応答速度についてはサクサクで全く問題ありません。

やはりGPU1枚で高機能なチャットボットを動かすには特化した学習モデルでないと厳しいということでしょうか。

ただ不完全とは言え、それなりの内容を返してくるのは評価できます。今後の進展に期待といったところです。

実用的であればハイスペックPCを導入しようと考えていましたが、その必要はなさそうです。

コスト :
Google Colab Pro+ ¥5767/月
・A100を高確率で引きたかったのでProより上にしました(もう一つのプレミアムGPUはNVIDIA V100)
Google One(100GB) ¥250/月
・初月無料. 学習モデル28.3GBの保管に必要.

参考サイト

2024年11月
日	月	火	水	木	金	土
					1	2
3	4	5	6	7	8	9
10	11	12	13	14	15	16
17	18	19	20	21	22	23
24	25	26	27	28	29	30