Python open_project_from_dirの例

コード例 #1

ファイル: spidermanager.py プロジェクト: Kellsky/portia

 def __init__(self, datadir, spider_cls=None, settings=None, **kwargs):
     self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
     self._specs = open_project_from_dir(datadir)
     settings = settings.copy()
     settings.frozen = False
     settings.set('PLUGINS', load_plugins(settings))
     self.settings = settings

コード例 #2

ファイル: spidermanager.py プロジェクト: AlekseyEf/portia

 def __init__(self, datadir, spider_cls=None, settings=None, **kwargs):
     self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
     self._specs = open_project_from_dir(datadir)
     settings = settings.copy()
     settings.frozen = False
     settings.set('PLUGINS', load_plugins(settings))
     self.settings = settings

コード例 #3

ファイル: spidermanager.py プロジェクト: daqv/portia-dashboard

 def __init__(self, datadir, spider_cls=None, settings=None, **kwargs):
     logging.info('Slybot %s Spider', slybot.__version__)
     if settings is None:
         settings = get_project_settings()
     self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
     self._specs = open_project_from_dir(datadir)
     settings = settings.copy()
     settings.frozen = False
     settings.set('LOADED_PLUGINS', load_plugins(settings))
     self.settings = settings

コード例 #4

ファイル: spidermanager.py プロジェクト: strategist922/distributed_crawler

 def __init__(self, datadir, spider_cls=None, settings=None, **kwargs):
     logging.info('Slybot %s Spider', slybot.__version__)
     if settings is None:
         settings = get_project_settings()
     self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
     self._specs = open_project_from_dir(datadir)
     settings = settings.copy()
     settings.frozen = False
     settings.set('LOADED_PLUGINS', load_plugins(settings))
     self.settings = settings

コード例 #5

ファイル: spidermanager.py プロジェクト: monocleman1/dd

    def __init__(self, datadir, spider_cls=None, settings=None, **kwargs):
        logging.info('Slybot %s Spider', slybot.__version__)
        if is_zipfile(datadir):
            tempdir = tempfile.mkdtemp(prefix='slybot-')
            ZipFile(datadir).extractall(tempdir)
            atexit.register(shutil.rmtree, tempdir)
            datadir = tempdir

        if settings is None:
            settings = get_project_settings()
        self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
        self._specs = open_project_from_dir(datadir)
        settings = settings.copy()
        settings.frozen = False
        settings.set('LOADED_PLUGINS', load_plugins(settings))
        self.settings = settings

コード例 #6

ファイル: spidermanager.py プロジェクト: fakegit/portia

    def __init__(self, datadir, spider_cls=None, settings=None, **kwargs):
        logging.info('Slybot %s Spider', slybot.__version__)
        if is_zipfile(datadir):
            tempdir = tempfile.mkdtemp(prefix='slybot-')
            ZipFile(datadir).extractall(tempdir)
            atexit.register(shutil.rmtree, tempdir)
            datadir = tempdir

        if settings is None:
            settings = get_project_settings()
        self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
        self._specs = open_project_from_dir(datadir)
        settings = settings.copy()
        settings.frozen = False
        settings.set('LOADED_PLUGINS', load_plugins(settings))
        self.settings = settings

コード例 #7

ファイル: crawlerspec.py プロジェクト: ainsleyc/portia

 def load_slybot_spec(self, project):
     """load the spec for a given project"""
     return open_project_from_dir(self.projectdir)

コード例 #8

ファイル: test_schema_validation.py プロジェクト: zirconer/portia

 def test_test_project(self):
     specs = open_project_from_dir(_TEST_PROJECT_DIR)
     self.assertTrue(validate_project_schema(specs))

コード例 #9

ファイル: spidermanager.py プロジェクト: DamianZhou/portia

 def __init__(self, datadir, spider_cls=None):
     self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
     self._specs = open_project_from_dir(datadir)

コード例 #10

ファイル: crawlerspec.py プロジェクト: ainsleyc/portia

 def load_slybot_spec(self, project):
     """load the spec for a given project"""
     return open_project_from_dir(self.projectdir)

コード例 #11

 def __init__(self, datadir, spider_cls=None):
     self.spider_cls = load_object(spider_cls) if spider_cls else IblSpider
     self._specs = open_project_from_dir(datadir)