Exemple #1
0
def quickly_set_proxy(config: Optional[dict] = None, is_auto: bool = True):
    """
    读取配置文件,快速设置代理

    :Args:
    - is_auto
        False   始终使用代理
        True    配置文件未禁止时使用代理(IS_PROXY = 1 or 2)
    """
    if not isinstance(config, configparser.SafeConfigParser):
        config = _get_config()
    # 设置代理
    if is_auto:
        is_proxy = crawler.analysis_config(
            config, "IS_PROXY", 2, crawler.CONFIG_ANALYSIS_MODE_INTEGER)
        if is_proxy == 0:
            return
    proxy_ip = crawler.analysis_config(config, "PROXY_IP", "127.0.0.1")
    proxy_port = crawler.analysis_config(config, "PROXY_PORT", "8087")
    # 使用代理的线程池
    net.set_proxy(proxy_ip, proxy_port)
Exemple #2
0
def quickly_get_all_cookies_from_browser(
        config: Optional[dict] = None) -> dict:
    """
    读取配置文件,读取浏览器cookies
    """
    if not isinstance(config, configparser.SafeConfigParser):
        config = _get_config()
    # 是否自动查找cookies路径
    # 操作系统&浏览器
    browser_type = crawler.analysis_config(
        config, "BROWSER_TYPE", browser.BROWSER_TYPE_CHROME,
        crawler.CONFIG_ANALYSIS_MODE_INTEGER)
    cookie_path = browser.get_default_browser_cookie_path(browser_type)
    return browser.get_all_cookie_from_browser(browser_type, cookie_path)
Exemple #3
0
def quickly_get_save_data_path(config: Optional[dict] = None) -> str:
    """
    读取配置文件,返回存档文件所在路径

    :Args:
    - is_auto
        False   始终使用代理
        True    配置文件未禁止时使用代理(IS_PROXY = 1 or 2)
    """
    if not isinstance(config, configparser.SafeConfigParser):
        config = _get_config()
    return crawler.analysis_config(config, "SAVE_DATA_PATH",
                                   "\\\\info/save.data",
                                   crawler.CONFIG_ANALYSIS_MODE_PATH)
 def __init__(self):
     config = crawler._get_config()
     server_port = crawler.analysis_config(
         config, "LISTENER_PORT", 0, crawler.CONFIG_ANALYSIS_MODE_INTEGER)
     self.conn = Client((portListenerEvent.SERVER_IP, server_port))