mowareのブログ

#define PY_SSIZE_T_CLEAN
#include <Python.h>
#include "fnv_function.c"

static PyObject* horse_id(PyObject* self, PyObject* args)
{
    const char* path;
    const char* name;
    uint32_t id;

    if (!PyArg_ParseTuple(args,"ss",&path,&name)){
        return NULL;
    }
    else{
        FILE *fp; // horse_listファイル
        int horseID[10]; // 1 horseID
        uint32_t horse_hash[20]; // 2 馬名ハッシュ
        char horse_name[100]; // 3 検索馬名
        char horse_name0[100]; // 4 馬名
        char status[10]; // 5 稼働
        char gender[10]; // 6 性別
        char hair[10]; // 7 毛色
        char birthday[100]; // 8 生年月日
        char trainer[100]; // 9 調教師
        char owner[100]; // 10 馬主
        char info[100]; // 11 募集情報
        char breeder[100]; // 12 生産者
        char area[50]; // 13 産地
        char price[50]; // 14 セリ取引価格
        char prize_money[50]; // 15 獲得賞金
        char result[50]; // 16 通算成績
        char wining_race[200]; // 17 主な勝鞍
        char relatives[200]; // 18 近親馬

        uint32_t horse_hash_input_int;
        uint32_t horse_hash_int;

        char buf[2000]; // fgets用

        int i=0; // 行番号
        int b=0; // 検索結果有無の識別

        fp = fopen(path, "r");

        while(fgets(buf,2000,fp ) != NULL ) {
            if (i != 0){
                sscanf(buf, " %[^,],%[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %s",horseID,horse_hash,horse_name,horse_name0,status,gender,hair,birthday,trainer,owner,info,breeder,area,price,prize_money,result,wining_race,relatives) ;

                horse_hash_int = atoi(horse_hash);
                horse_hash_input_int = fnv_1_hash_32(name);

                if(horse_hash_int - horse_hash_input_int == 0){
                    id = atoi(horseID);
                    b ++;
                    break;
                }
            }
            i ++ ;
        }
        if (b == 0){
            id = 100000000;
        }
        fclose(fp);

        return Py_BuildValue("I", id);
    }
}

static PyMethodDef Horseidmethods[] = {
    {"horse_id", (PyCFunction)horse_id, METH_VARARGS},
    {NULL,NULL,0}
};

static struct PyModuleDef horseid = {
    PyModuleDef_HEAD_INIT,
    "horseid",
    "Python3 C API Module(Sample 1)",
    -1,
    Horseidmethods
};

PyMODINIT_FUNC PyInit_horseid(void)
{
    return PyModule_Create(&horseid);
}

#define PY_SSIZE_T_CLEAN
#include <Python.h>

extern uint32_t fnv_1_hash_32(const char*);
extern uint64_t fnv_1_hash_64(const char*);

static PyObject* fnv_32(PyObject* self, PyObject* args)
{
    const char* s;
    unsigned int hash=2166136261U;

    if (!PyArg_ParseTuple(args, "s", &s)){
        return NULL;
    }
    else{
        while (*s) {
        hash*=16777619U;
        hash^=*(s++);
        }

        return Py_BuildValue("I", hash);
    }
}

static PyObject* fnv_64(PyObject* self, PyObject* args)
{
    const char* s;
    unsigned long long hash=14695981039346656037U;

    if (!PyArg_ParseTuple(args, "s", &s)){
        return NULL;
    }
    else{
        while (*s) {
        hash*=1099511628211LLU;
        hash^=*(s++);
        }

        return Py_BuildValue("K", hash);
    }
}

static PyMethodDef fnvmethods[] = {
    {"fnv_1_hash_32", fnv_32, METH_VARARGS},
    {"fnv_1_hash_64", fnv_64, METH_VARARGS},
    {NULL,NULL,0}
};

static struct PyModuleDef fnv = {
    PyModuleDef_HEAD_INIT,
    "fnv",
    "Python3 C API Module(Sample 1)",
    -1,
    fnvmethods
};

PyMODINIT_FUNC PyInit_fnv(void)
{
    return PyModule_Create(&fnv);
}

from c_module import fnv

name_list = ['シャフリヤール']

for name in name_list:
    hash = fnv.fnv_1_hash_64(name)
    print(hash)
--------------------------------------------------

出力
--------------------------------------------------
7203286604922561048

#include <stdio.h>
#include <stdint.h>

uint32_t fnv_1_hash_32(char *s)
{
    unsigned int hash=2166136261U;

    while (*s) {
        hash*=16777619U;
        hash^=*(s++);
    }
    return hash;
}

uint64_t fnv_1_hash_64(char *s)
{
    unsigned long long hash=14695981039346656037U;

    while (*s) {
        hash*=1099511628211LLU;
        hash^=*(s++);
    }
    return hash;
}

from distutils.core import setup, Extension

setup(name='fnv',
    version='1.0',
    ext_modules=[Extension('fnv', sources = ['fnv.c','fnv_function.c'])]
)

＜セットアップコマンド＞

・自作ライブラリに配置するsoファイルを作成するコマンド "from c_module import fnv"
python setup.py build_ext -i

・既存のライブラリにインストールするコマンド "import fnv"
python setup.py install

import matplotlib.pyplot as plt
import datetime
import pandas as pd

df = pd.read_csv("name_hash.csv",encoding='UTF-8')
df2 = df[df['馬名'].str.contains('シルク',na=False)]
list = df2['horse_hash'].tolist()

datetime_now = datetime.datetime.now()
datetime_now_str = datetime_now.strftime('%y%m%d%H%M')

plt.hist(list, bins=20,color=['#7fffd4'])
plt.savefig(f"{datetime_now_str}_hist_silk.png")

#define PY_SSIZE_T_CLEAN
#include <Python.h>

extern uint32_t fnv_1_hash_32(const char*);

static PyObject* fnv_32(PyObject* self, PyObject* args)
{
    const char* s;
    unsigned int hash=2166136261U;

    if (!PyArg_ParseTuple(args, "s", &s)){
        return NULL;
    }
    else{
        while (*s) {
        hash*=16777619U;
        hash^=*(s++);
        }

        return Py_BuildValue("i", hash);
    }
}

static PyMethodDef fnvmethods[] = {
    {"fnv_1_hash_32", fnv_32, METH_VARARGS},
    {NULL,NULL,0}
};

static struct PyModuleDef fnv = {
    PyModuleDef_HEAD_INIT,
    "fnv",
    "Python3 C API Module(Sample 1)",
    -1,
    fnvmethods
};

PyMODINIT_FUNC PyInit_fnv(void)
{
    return PyModule_Create(&fnv);
}

from c_module import fnv

name = 'シャフリヤール'

hash = fnv.fnv_1_hash_32(name)

# int から unsigned int 32bitへ変換
hash_unsigned32 = hash & 0xffffffff

print(hash_unsigned32)
--------------------------------------------------

出力
--------------------------------------------------
3687658616

#include <stdio.h>
#include <stdint.h>

uint32_t fnv_1_hash_32(char *s)
{
    unsigned int hash=2166136261U;

    while (*s) {
        hash*=16777619U;
        hash^=*(s++);
    }
    return hash;
}

from distutils.core import setup, Extension

setup(name='fnv',
    version='1.0',
    ext_modules=[Extension('fnv', sources = ['fnv.c','fnv_1.c'])]
)

＜セットアップコマンド＞

・自作ライブラリに配置するsoファイルを作成するコマンド "from c_module import fnv"
python setup.py build_ext -i

・既存のライブラリにインストールするコマンド "import fnv"
python setup.py install

＜修正箇所＞
uint32_t horse_hash_int;

while(fgets(buf,2000,fp ) != NULL ) {
    if (i != 0){
        ret = sscanf(buf, " %[^,],%[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %[^,], %s",horseID,horse_hash,horse_name,horse_name0,status,gender,hair,birthday,trainer,owner,info,breeder,area,price,prize_money,result,wining_race,relatives) ;
	
        horse_hash_int = atoi(horse_hash);
		
        if(horse_hash_int - fnv_1_hash_32(horse_name_in) == 0){
            fp3 = fopen(fname3, "a");
            fprintf(fp3," %s,%9s\n",horse_name_in,horseID);
            fclose(fp3);
            b ++;
            break;
        }
    }
    i ++ ;
}