def get_category_dict(url, driver: Driver = None):
"""amazonの全カテゴリのカテゴリ名とURLを辞書形式で取得する"""
# カテゴリ一覧画面に遷移する
driver.get(url)
# htmlを解析
soup = BeautifulSoup(driver.page_source(), "lxml")
# 全カテゴリのカテゴリ名： URLを保持する
result = {}
category_link_list = soup.select("#zg_browseRoot")[0].select("a")
for elem in category_link_list:
result[elem.text] = elem.get("href")
return result
def get_category_list(url, driver: Driver = None):
"""amazonの全カテゴリのカテゴリ名とURLをリスト形式で取得する"""
driver = Driver(True)
try:
# カテゴリ一覧画面に遷移する
driver.get(url)
# htmlを解析
soup = BeautifulSoup(driver.page_source(), "lxml")
# 全カテゴリのカテゴリ名： URLを保持する
result = [["category_name", "category_url"]]
category_link_list = soup.select("#zg_browseRoot")[0].select("a")
for elem in category_link_list:
result.append([elem.text, elem.get('href')])
return result
except Exception as err:
logger.error(f"カテゴリ取得中にエラーが発生しました。error:{err}")
return []
finally:
driver.quit()