日: 2021年7月16日

前回の続きです。

Requests+BeautifulSoupでスクレイピング の速度を測ったところlibcurlと同等でした。

通常はRequests、クリックやページ遷移などブラウザ操作する場合はselenium、好事家はlibcurlというのが結論です。

＜該当箇所のみ＞
response = requests.get(url)

soup = BeautifulSoup(response.text.encode('utf-8'), "html.parser")