Ejemplo n.º 1
0
from selenium import webdriver as wd
from bs4 import BeautifulSoup as bs
from selenium.webdriver.common.by import By
# 명시적 대기를 위해
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from DbMgr import DBHelper as Db
import time
from Tour import TourInfo

# 사전에 필요한 정보를 로드 => 디비혹스 쉘, 베치 파일에서 인자로 받아서 세팅
db = Db()
main_url = 'http://tour.interpark.com/'
keyword = '로마'
# 상품 정보를 담는 리스트 (TourInfo 리스트)
tour_list = []

# 드라이버 로드
driver = wd.Chrome(executable_path='chromedriver.exe')

# 사이트 접속 (get)
driver.get(main_url)
# 검색창을 찾아서 검색어 입력
# id : SearchGNBText
driver.find_element_by_id('SearchGNBText').send_keys(keyword)

# 검색 버튼 클릭
driver.find_element_by_css_selector('button.search-btn').click()

# 명시적 대기 => 특정 요소가 로케이트(발결된때까지) 대기
try:
Ejemplo n.º 2
0
# 로그인시 pc 웹 사이트에서 처리가 어려울 경우 -> 모바일 로그인 진입
# 모듈 가져오기
# pip install selenium
# pip install bs4 모듈 확실히 정리해
# pip install pymysql
from selenium import webdriver as wd
from bs4 import BeautifulSoup as bs
from selenium.webdriver.common.by import By
# 명시적 대기를 위해
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from DbMgr import DBHelper as Db
#import pymysql as my
from tour import TourInfo  #from 파일 import 클래스
# 사전에 필요한 정보를 로드 => 디비 혹은 쉘, 배치 파일에서 인자로 받아서 세팅
db = Db()
main_url = 'http://tour.interpark.com/'
keyword = '로마'
# 상품 정보를 담는 리스트(TourInfo 리스트)
tour_list = []
#드라이버 로드
driver = wd.Chrome(executable_path='chromedriver.exe')
# 차후 -> 옵션 부여하여 (프록시, 에이전트 조작, 이미지를 배제)
# 크롤링을 오래돌리면 => 임시파일들이 쌓인다!! -> 템포 파일 삭제
#사이트 접속 (get)
driver.get(main_url)
# 검색창을 찾아서 검색어 입력
#id : SearchGNBText
driver.find_element_by_id('SearchGNBText').send_keys(keyword)
# 검색 버튼 클릭
driver.find_element_by_css_selector('button.search-btn').click()
Ejemplo n.º 3
0
from bs4 import BeautifulSoup as bs
from selenium.webdriver.common.by import By
import time
import sys
from DbMgr import DBHelper as Db
from Tour import TourInfo
from ItemInfo import ItemInfo

# 명시적 대기를 위해
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
# import pymysql as my


# 사전에 필요한 정보를 로드 => DB Shell, batch 파일에서 인자로 받아서 세팅
db       = Db()
main_url='https://ecigarettes-wholesale.com'
keyword='vapor'

#상품정보를 담는 리스트 (Tourinfo 리스트)
iteminfo_list = []

# 드라이버 로드
driver = wd.Chrome(executable_path='chromedriver.exe')

driver.implicitly_wait(3)
# 차후 -> 옵션 부여하여 (프록시, 에이전트 조작, 이미지를 배제)
# 크롤링을 오래 돌리면 => 임시파일들이 쌓인다  => 템프파일 삭제

# 로그인
driver.get('https://ecigarettes-wholesale.com/index.php?route=account/login')
Ejemplo n.º 4
0
from selenium import webdriver as wd
from bs4 import BeautifulSoup as bs
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
import time
from Tour import TourInfo
import sys
from DbMgr import DBHelper as Db

# 사전에 필요한 정보를 로드 => 디비, 쉘, 배치파일에서 인자로 받아서 세팅
db = Db()
main_url = 'https://tour.interpark.com/'
keyword = '로마'

# 상품 정보를 담는 리스트 (TourInfo 리스트)
tour_list = []

# 드라이버 로드
driver = wd.Chrome(executable_path='chromedriver.exe')

# 사이트 접속 (get)
driver.get(main_url)

# 검색창을 찾아서 검색어를 입력
# 수정할 경우 뒤에 내용이 붙어버림 => .clear() -> .send_keys('내용')
driver.find_element_by_id('SearchGNBText').send_keys(keyword)

# 검색 버튼 클릭
driver.find_element_by_css_selector('button.search-btn').click()