def quickly_set_proxy(config: Optional[dict] = None, is_auto: bool = True): """ 读取配置文件,快速设置代理 :Args: - is_auto False 始终使用代理 True 配置文件未禁止时使用代理(IS_PROXY = 1 or 2) """ if not isinstance(config, configparser.SafeConfigParser): config = _get_config() # 设置代理 if is_auto: is_proxy = crawler.analysis_config( config, "IS_PROXY", 2, crawler.CONFIG_ANALYSIS_MODE_INTEGER) if is_proxy == 0: return proxy_ip = crawler.analysis_config(config, "PROXY_IP", "127.0.0.1") proxy_port = crawler.analysis_config(config, "PROXY_PORT", "8087") # 使用代理的线程池 net.set_proxy(proxy_ip, proxy_port)
def quickly_get_all_cookies_from_browser( config: Optional[dict] = None) -> dict: """ 读取配置文件,读取浏览器cookies """ if not isinstance(config, configparser.SafeConfigParser): config = _get_config() # 是否自动查找cookies路径 # 操作系统&浏览器 browser_type = crawler.analysis_config( config, "BROWSER_TYPE", browser.BROWSER_TYPE_CHROME, crawler.CONFIG_ANALYSIS_MODE_INTEGER) cookie_path = browser.get_default_browser_cookie_path(browser_type) return browser.get_all_cookie_from_browser(browser_type, cookie_path)
def quickly_get_save_data_path(config: Optional[dict] = None) -> str: """ 读取配置文件,返回存档文件所在路径 :Args: - is_auto False 始终使用代理 True 配置文件未禁止时使用代理(IS_PROXY = 1 or 2) """ if not isinstance(config, configparser.SafeConfigParser): config = _get_config() return crawler.analysis_config(config, "SAVE_DATA_PATH", "\\\\info/save.data", crawler.CONFIG_ANALYSIS_MODE_PATH)
def __init__(self): config = crawler._get_config() server_port = crawler.analysis_config( config, "LISTENER_PORT", 0, crawler.CONFIG_ANALYSIS_MODE_INTEGER) self.conn = Client((portListenerEvent.SERVER_IP, server_port))