[Python] 270 CSVファイルの重複行削除

メモ書きしておきます。

for path in paths:
    df = pd.read_csv(path,header=None,encoding='shift_jis')

    # 列0の値が重複する場合に最初の行だけ残す
    df2 = df.drop_duplicates(subset=[0])

    with open(path,mode="w",encoding="cp932", errors="ignore") as f:
        df2.to_csv(f,index=False,header=False)