Python – ページ 21 – mowareのブログ

[Python] 232 複数のCSVファイル内検索馬名からレース検索修正版

[Python] 231のコードを修正しました。

これでキタサンブラックの全20走が抽出できました。

修正前
--------------------------------------------------
b_array = df[df.columns[22]]== id
--------------------------------------------------

修正後
--------------------------------------------------
id_l = df[df.columns[22]].tolist()

if '該当なし' in id_l:
    b_array = df[df.columns[22]]== str(id)
else:
    b_array = df[df.columns[22]]== id
--------------------------------------------------

出力
--------------------------------------------------
検索したい馬名を入力してください
キタサンブラック
year 2012 index 3012
キタサンブラック [[2012, 201202013, 'キタサンブラック']]
検索馬のID 201202013 誕生年 2012
推定デビュー年 2014
['r201505010105', 'r201505010807', 'r201505021210', 'r201506020811', 'r201506030811', 'r201506040511', 'r201506050810', 'r201508040711', 'r201605050811', 'r201606050910', 'r201608030411', 'r201608040311', 'r201609020411', 'r201609030811', 'r201705040911', 'r201705050811', 'r201706050811', 'r201708030411', 'r201709020411', 'r201709030811']
出走数 20
[['r201505010105', '2015年1月31日', '3歳新馬', datetime.date(2015, 1, 31)], \
['r201505010807', '2015年2月22日', '3歳500万下', datetime.date(2015, 2, 22)], \
['r201506020811', '2015年3月22日', '第64回フジTVスプリングS(G2)', datetime.date(2015, 3, 22)], \
['r201506030811', '2015年4月19日', '第75回皐月賞(G1)', datetime.date(2015, 4, 19)], \
['r201505021210', '2015年5月31日', '第82回東京優駿(G1)', datetime.date(2015, 5, 31)], \
['r201506040511', '2015年9月21日', '第69回朝日セントライト記念(G2)', datetime.date(2015, 9, 21)], \
['r201508040711', '2015年10月25日', '第76回菊花賞(G1)', datetime.date(2015, 10, 25)], \
['r201506050810', '2015年12月27日', '第60回有馬記念(G1)', datetime.date(2015, 12, 27)], \
['r201609020411', '2016年4月3日', '第60回産経大阪杯(G2)', datetime.date(2016, 4, 3)], \
['r201608030411', '2016年5月1日', '第153回天皇賞(春)(G1)', datetime.date(2016, 5, 1)], \
['r201609030811', '2016年6月26日', '第57回宝塚記念(G1)', datetime.date(2016, 6, 26)], \
['r201608040311', '2016年10月10日', '第51回京都大賞典(G2)', datetime.date(2016, 10, 10)], \
['r201605050811', '2016年11月27日', '第36回ジャパンカップ(G1)', datetime.date(2016, 11, 27)], \
['r201606050910', '2016年12月25日', '第61回有馬記念(G1)', datetime.date(2016, 12, 25)], \
['r201709020411', '2017年4月2日', '第61回大阪杯(G1)', datetime.date(2017, 4, 2)], \
['r201708030411', '2017年4月30日', '第155回天皇賞(春)(G1)', datetime.date(2017, 4, 30)], \
['r201709030811', '2017年6月25日', '第58回宝塚記念(G1)', datetime.date(2017, 6, 25)], \
['r201705040911', '2017年10月29日', '第156回天皇賞(秋)(G1)', datetime.date(2017, 10, 29)], \
['r201705050811', '2017年11月26日', '第37回ジャパンカップ(G1)', datetime.date(2017, 11, 26)], \
['r201706050811', '2017年12月24日', '第62回有馬記念(G1)', datetime.date(2017, 12, 24)]]
--------------------------------------------------

[Python] 231 複数のCSVファイル内検索馬名からレース検索

馬名から馬名IDを取得し、さらに出走した全てのレースIDを取得して、日付とレース名を出力させました。

下のコードでは登録外の外国馬が出走するジャパンカップ2走分が漏れてしまいます。レースファイルの馬名IDに’該当なし’が含まれているとおかしくなるようです。これを00000など適当な数字に変えればまともに動くと思います。

なお検索時間は1分20秒でした。メモリをふんだんに使ったいわゆる富豪的コードなので仕方ないでしょう。

データベースに移したらどれだけ速くなるのか楽しみです。

目標は1秒ですが3秒位までは許容範囲としたいです。

import glob,csv,re,datetime,sys
import pandas as pd

print('検索したい馬名を入力してください')
name = input()

horseID_l = list()
for year in range(1986,2019 +1):
    namefile = f'/horse_racing/horse_list/horse{year}.csv'

    df = pd.read_csv(namefile,encoding="shift_jis")

    # 馬名ファイルの馬名と検索馬名が完全一致した場合にTrueとする縦向き配列を作成
    b_array = df[df.columns[1]]==name

    # ブール値の横向き配列として取り出しリスト化
    b_array_v = b_array.values.tolist()

    # Trueのインデックス値を算出しhorseIDを取得
    try:
        i = b_array_v.index(True)
    except:
        pass
    else:
        print(f'year {year} index {i}')
        horseID = df.iloc[i,0]
        horsename = df.iloc[i,1]

        horseID_l.append([year,horseID,horsename])

print(f'{name} {horseID_l}')

if len(horseID_l) >= 2:
    print('該当する馬が複数います。番号を入力してください。')
    for i,data in enumerate(horseID_l):
        print(f'{i+1} {data}')
    num = input()
    id = horseID_l[int(num)-1][1]
    year = horseID_l[int(num)-1][0]

elif len(horseID_l) == 0:
    print('該当する馬はいません')
    sys.exit()

else:
    id = horseID_l[0][1]
    year = horseID_l[0][0]

print(f'検索馬のID {id} 誕生年 {year}')

raceID_l = list()
start_year = year + 2
print(f'推定デビュー年 {start_year}')
for y in range(start_year,2021 +1):
    for f in glob.glob(f'/horse_racing/race_result/{y}/*/*/*.csv'):
        df = pd.read_csv(f,encoding="shift_jis")

        b_array = df[df.columns[22]]== id

        # ブール値の横向き配列として取り出しリスト化
        b_array_v = b_array.values.tolist()

        # Trueのインデックス値を算出しraceIDを取得
        try:
            i = b_array_v.index(True)
        except:
            pass
        else:
            raceID = df.iloc[i,21]

            raceID_l.append(raceID)

print(raceID_l)

race_l = list()
for id in raceID_l:
    for y in range(start_year,2021 +1):
        for f in glob.glob(f'/horse_racing/race_name/{y}/*.csv'):
            df = pd.read_csv(f,encoding="shift_jis")

            b_array = df[df.columns[9]]== id

            # ブール値の横向き配列として取り出しリスト化
            b_array_v = b_array.values.tolist()

            # Trueのインデックス値を算出しレース名を取得
            try:
                i = b_array_v.index(True)
            except:
                pass
            else:
                date = df.iloc[i,0]
                racename = df.iloc[i,3]
                date_d = datetime.datetime.strptime(date,'%Y年%m月%d日')

                race_l.append([id,date,racename,date_d])

print(f'出走数 {len(race_l)}')
print(sorted(race_l, key=lambda x: x[3]))
--------------------------------------------------

出力
--------------------------------------------------
検索したい馬名を入力してください
キタサンブラック
year 2012 index 3012
キタサンブラック [[2012, 201202013, 'キタサンブラック']]
検索馬のID 201202013 誕生年 2012
推定デビュー年 2014
['r201505010105', 'r201505010807', 'r201505021210', 'r201506020811', 'r201506030811', 'r201506040511', 'r201506050810', 'r201508040711', 'r201606050910', 'r201608030411', 'r201608040311', 'r201609020411', 'r201609030811', 'r201705040911', 'r201706050811', 'r201708030411', 'r201709020411', 'r201709030811']
出走数 18
[['r201505010105', '2015年1月31日', '3歳新馬', datetime.datetime(2015, 1, 31, 0, 0)], ['r201505010807', '2015年2月22日', '3歳500万下', datetime.datetime(2015, 2, 22, 0, 0)], ['r201506020811', '2015年3月22日', '第64回フジTVスプリングS(G2)', datetime.datetime(2015, 3, 22, 0, 0)], ['r201506030811', '2015年4月19日', '第75回皐月賞(G1)', datetime.datetime(2015, 4, 19, 0, 0)], ['r201505021210', '2015年5月31日', '第82回東京優駿(G1)', datetime.datetime(2015, 5, 31, 0, 0)], ['r201506040511', '2015年9月21日', '第69回朝日セントライト記念(G2)', datetime.datetime(2015, 9, 21, 0, 0)], ['r201508040711', '2015年10月25日', '第76回菊花賞(G1)', datetime.datetime(2015, 10, 25, 0, 0)], ['r201506050810', '2015年12月27日', '第60回有馬記念(G1)', datetime.datetime(2015, 12, 27, 0, 0)], ['r201609020411', '2016年4月3日', '第60回産経大阪杯(G2)', datetime.datetime(2016, 4, 3, 0, 0)], ['r201608030411', '2016年5月1日', '第153回天皇賞(春)(G1)', datetime.datetime(2016, 5, 1, 0, 0)], ['r201609030811', '2016年6月26日', '第57回宝塚記念(G1)', datetime.datetime(2016, 6, 26, 0, 0)], ['r201608040311', '2016年10月10日', '第51回京都大賞典(G2)', datetime.datetime(2016, 10, 10, 0, 0)], ['r201606050910', '2016年12月25日', '第61回有馬記念(G1)', datetime.datetime(2016, 12, 25, 0, 0)], ['r201709020411', '2017年4月2日', '第61回大阪杯(G1)', datetime.datetime(2017, 4, 2, 0, 0)], ['r201708030411', '2017年4月30日', '第155回天皇賞(春)(G1)', datetime.datetime(2017, 4, 30, 0, 0)], ['r201709030811', '2017年6月25日', '第58回宝塚記念(G1)', datetime.datetime(2017, 6, 25, 0, 0)], ['r201705040911', '2017年10月29日', '第156回天皇賞(秋)(G1)', datetime.datetime(2017, 10, 29, 0, 0)], ['r201706050811', '2017年12月24日', '第62回有馬記念(G1)', datetime.datetime(2017, 12, 24, 0, 0)]]

[Python] 230 複数のCSVファイル内検索完全一致その2

[Python] 229の続きです。

検索で複数ヒットした場合の絞り込み方法を追記しました。

馬名IDを絞り込めたら、次はレース検索に進みます。

# 前回コードの続き

if len(horseID_l) >= 2:
    print('該当する馬が複数います。番号を入力してください。')
    for i,data in enumerate(horseID_l):
        print(f'{i+1} {data}')
    num = input()
    id = horseID_l[int(num)-1][1]

elif len(horseID_l) == 0:
    print('該当する馬はいません')
    id = 'なし'

else:
    id = horseID_l[1]

print(f'検索馬のID {id}')
--------------------------------------------------

出力
--------------------------------------------------
検索したい馬名を入力してください
ヒシマサル
year 1989 index 8573
year 2014 index 6933
ヒシマサル [[1989, 198908574, 'ヒシマサル'], [2014, 201405934, 'ヒシマサル']]
該当する馬が複数います。番号を入力してください。
1 [1989, 198908574, 'ヒシマサル']
2 [2014, 201405934, 'ヒシマサル']
1
検索馬のID 198908574

[Python] 229 複数のCSVファイル内検索完全一致

[Python]228のコードを完全一致で書いてみました。

検索先の馬名ファイルからは○地などの記号を削除しています。

import glob,csv,re
import pandas as pd

print('検索したい馬名を入力してください')
name = input()

horseID_l = list()
for year in range(1986,2019 +1):
    namefile = f'/Volumes/DATA_HR/horse_racing/horse_list/horse{year}.csv'

    df = pd.read_csv(namefile,encoding="shift_jis")

    # 馬名ファイルの馬名と検索馬名が完全一致した場合にTrueとする縦向き配列を作成
    b_array = df[df.columns[1]]==name

    # ブール値の横向き配列として取り出しリスト化
    b_array_v = b_array.values.tolist()

    # Trueのインデックス値を算出しhorseIDを取得
    try:
        i = b_array_v.index(True)
    except:
        pass
    else:
        print(f'year {year} index {i}')
        horseID = df.iloc[i,0]
        horsename = df.iloc[i,1]

        horseID_l.append([year,horseID,horsename])

print(f'{name} {horseID_l}')
--------------------------------------------------

出力
--------------------------------------------------
検索したい馬名を入力してください
ヒシマサル
year 1989 index 8573
year 2014 index 6933
ヒシマサル [[1989, 198908574, 'ヒシマサル'], [2014, 201405934, 'ヒシマサル']]

[Python] 228 複数のCSVファイル内検索部分一致

1986年以降の馬データを対象とする検索コードを書いてみました。

出力されたindexとhorseIDの番号が1つずれていますがそういう仕様です。

今回は部分一致で実行しましたが、完全一致にしないと実用的ではないでしょう。

import glob,csv,re
import pandas as pd

print('検索したい馬名を入力してください')
name = input()

horseID_l = list()
for year in range(1986,2019 +1):
    namefile = f'/horse_racing/horse_list/horse{year}.csv'

    df = pd.read_csv(namefile,encoding="shift_jis")

    # 各行の馬名セルに検索馬名を含む場合にTrueとする縦向き配列を作成(部分一致)
    b_array = df[df.columns[1]].str.contains(name)

    # ブール値の横向き配列として取り出しリスト化
    b_array_v = b_array.values.tolist()

    # Trueのインデックス値を算出しhorseIDを取得
    try:
        i = b_array_v.index(True)
    except:
        pass
    else:
        print(f'year {year} index {i}')
        horseID = df.iloc[i,0]
        horsename = df.iloc[i,1]

        horseID_l.append([year,horseID,horsename])

print(f'{name} {horseID_l}')
--------------------------------------------------

出力
--------------------------------------------------
検索したい馬名を入力してください
ヒシマサル
year 1989 index 8573
year 1999 index 183
year 2014 index 6060
ヒシマサル [[1989, 198908574, '○外ヒシマサル'], [1999, 199900184, '□地ニシネヒシマサル'], [2014, 201405934, 'ヒシマサル']]

[Python] 227 CSVファイルを縦方向に結合する

CSVファイルを縦方向に結合するコードです。

縦方向に結合する場合は読み込み時にheader=Noneを付けて、書き込み時にheader=Falseを付けます。

headerがないと列インデックスが自動的に付加されるため、これに従ってデータが縦方向に並びます。

横方向に結合する場合は読み込み時、書き込み時ともにheaderオプションはいらないはずです。

なおformat文字列はかつての名残りです。

# filenameNとfilenamePを縦方向に結合する
# 最初にfilenameNのみのCSVファイルを作成し、結合したファイルで上書きする
# この方法ではfilenamePが存在しなくてもfilenameNのみのファイルが結合ファイルとして残る
# else以下は1つ上の階層に置く方が良いと思ったが、検証ではNGだったのでこれで仮確定させた

files = [filenameN , filenameP]

row_list = []
for file in files:
    try:
        row_list.append(pd.read_csv(file,header= None,encoding='Shift_JIS'))

    except FileNotFoundError:
        print('FileNotFoundError')
        print(f'ファイルがありません {file}')

    else:
        df = pd.concat(row_list, sort=False)

        filename = filename_horse(str(year),str(thousand),str('{0:05d}'.format(horse_number)))

        with open(filename, mode="w", encoding="cp932", errors="ignore") as f:
            df.to_csv(f,index= False,header= False)

[Python] 226 文字列に数字を含むかどうかの判定

文字列に数字を含むかどうかの条件分岐です。前記事コードの後半部分になります。

row[1]の値を1文字づつに分解してそれぞれ数字かどうかを判定し、1つでも数字が含まれていればTrueとするif文になります。

リスト内包表記のタプル版かと思ったのですが、タプル内包表記という用語があるんですね。

# row[1]の値に数字が含まれていればrow[0]と合わせてcsvファイルに書き込む
for row in csv.reader(f1):
    if any(chr.isdigit() for chr in row[1]):
        writer.writerow([row[0],row[1].replace('\u3000','')])

[Python] 225 ファイル作成日時の取得

ファイルのメタデータから作成日時を取得するコードを書きました。以前画像データ処理に関する記事でも取り上げています。

st_birthtimeはmacOSを含むUNIX系限定の機能です。

import glob,csv,datetime,pathlib

# 2017年から2019年のhorseファイルから仮馬名(誕生年を含む名前)を抽出する
for year in range(2017,2020):
    for f in glob.glob(f'/horse_racing/horse/horse{year}.csv'):

        # ファイルのメタデータから作成日時を取得
        p = pathlib.Path(f)
        dt = datetime.datetime.fromtimestamp(p.stat().st_birthtime)
        dt_str = dt.strftime('%y%m%d%H%M')

        # 新ファイルの先頭に元ファイルの作成日時を付ける
        file_new = f'/horse_racing/test/{dt_str}_horse{year}_check.csv'

        # 馬名に数字を含む場合、horseIDと仮馬名を抽出してCSVファイルを作成する
        with open (f, mode="r", encoding="shift_jis") as f1:
            with open(file_new, mode="w", encoding="shift_jis") as f2:
                writer = csv.writer(f2)

                writer.writerow(['horseID','仮馬名'])
                for row in csv.reader(f1):
                    if any(chr.isdigit() for chr in row[1]):
                        writer.writerow([row[0],row[1].replace('\u3000','')])

[Python] 224 ファイル削除ツールのexe化応用編

[Python]220の続編です。

下図のように/test/*などと入力するとプログラムにより/*が追記され、孫ファイル、孫フォルダのみを削除できます。

[Python] 223 フォルダを一括作成する

使い回ししやすいようにメモ書きしておきます。子フォルダ、孫フォルダの一括作成です。

macOSではディレクトリという表現が正しいようですが、字数が少ないのでフォルダを使っています。

f文字列による表記です。

import os

# 2021年各競馬場フォルダを各開催分作成する。競馬場コード、開催回は2桁表記。
l=[2,1,2,5,5,5,6,0,6,4]
for i,e in enumerate(l):
    os.mkdir(f'/horse_racing/race/2021/{i+1:02}')
    for c in range(e):
        os.mkdir(f'/horse_racing/race/2021/{i+1:02}/{c+1:02}')

2024年5月
日	月	火	水	木	金	土
			1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30	31