from selenium import webdriver as wd from bs4 import BeautifulSoup as bs from selenium.webdriver.common.by import By # 명시적 대기를 위해 from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from DbMgr import DBHelper as Db import time from Tour import TourInfo # 사전에 필요한 정보를 로드 => 디비혹스 쉘, 베치 파일에서 인자로 받아서 세팅 db = Db() main_url = 'http://tour.interpark.com/' keyword = '로마' # 상품 정보를 담는 리스트 (TourInfo 리스트) tour_list = [] # 드라이버 로드 driver = wd.Chrome(executable_path='chromedriver.exe') # 사이트 접속 (get) driver.get(main_url) # 검색창을 찾아서 검색어 입력 # id : SearchGNBText driver.find_element_by_id('SearchGNBText').send_keys(keyword) # 검색 버튼 클릭 driver.find_element_by_css_selector('button.search-btn').click() # 명시적 대기 => 특정 요소가 로케이트(발결된때까지) 대기 try:
# 로그인시 pc 웹 사이트에서 처리가 어려울 경우 -> 모바일 로그인 진입 # 모듈 가져오기 # pip install selenium # pip install bs4 모듈 확실히 정리해 # pip install pymysql from selenium import webdriver as wd from bs4 import BeautifulSoup as bs from selenium.webdriver.common.by import By # 명시적 대기를 위해 from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC from DbMgr import DBHelper as Db #import pymysql as my from tour import TourInfo #from 파일 import 클래스 # 사전에 필요한 정보를 로드 => 디비 혹은 쉘, 배치 파일에서 인자로 받아서 세팅 db = Db() main_url = 'http://tour.interpark.com/' keyword = '로마' # 상품 정보를 담는 리스트(TourInfo 리스트) tour_list = [] #드라이버 로드 driver = wd.Chrome(executable_path='chromedriver.exe') # 차후 -> 옵션 부여하여 (프록시, 에이전트 조작, 이미지를 배제) # 크롤링을 오래돌리면 => 임시파일들이 쌓인다!! -> 템포 파일 삭제 #사이트 접속 (get) driver.get(main_url) # 검색창을 찾아서 검색어 입력 #id : SearchGNBText driver.find_element_by_id('SearchGNBText').send_keys(keyword) # 검색 버튼 클릭 driver.find_element_by_css_selector('button.search-btn').click()
from bs4 import BeautifulSoup as bs from selenium.webdriver.common.by import By import time import sys from DbMgr import DBHelper as Db from Tour import TourInfo from ItemInfo import ItemInfo # 명시적 대기를 위해 from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC # import pymysql as my # 사전에 필요한 정보를 로드 => DB Shell, batch 파일에서 인자로 받아서 세팅 db = Db() main_url='https://ecigarettes-wholesale.com' keyword='vapor' #상품정보를 담는 리스트 (Tourinfo 리스트) iteminfo_list = [] # 드라이버 로드 driver = wd.Chrome(executable_path='chromedriver.exe') driver.implicitly_wait(3) # 차후 -> 옵션 부여하여 (프록시, 에이전트 조작, 이미지를 배제) # 크롤링을 오래 돌리면 => 임시파일들이 쌓인다 => 템프파일 삭제 # 로그인 driver.get('https://ecigarettes-wholesale.com/index.php?route=account/login')
from selenium import webdriver as wd from bs4 import BeautifulSoup as bs from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import time from Tour import TourInfo import sys from DbMgr import DBHelper as Db # 사전에 필요한 정보를 로드 => 디비, 쉘, 배치파일에서 인자로 받아서 세팅 db = Db() main_url = 'https://tour.interpark.com/' keyword = '로마' # 상품 정보를 담는 리스트 (TourInfo 리스트) tour_list = [] # 드라이버 로드 driver = wd.Chrome(executable_path='chromedriver.exe') # 사이트 접속 (get) driver.get(main_url) # 검색창을 찾아서 검색어를 입력 # 수정할 경우 뒤에 내용이 붙어버림 => .clear() -> .send_keys('내용') driver.find_element_by_id('SearchGNBText').send_keys(keyword) # 검색 버튼 클릭 driver.find_element_by_css_selector('button.search-btn').click()