メモ書きしておきます。
for path in paths:
df = pd.read_csv(path,header=None,encoding='shift_jis')
# 列0の値が重複する場合に最初の行だけ残す
df2 = df.drop_duplicates(subset=[0])
with open(path,mode="w",encoding="cp932", errors="ignore") as f:
df2.to_csv(f,index=False,header=False)