コード例 #1
0
ファイル: web_scrape_oldr.py プロジェクト: wangk1/research 
    def scrape_links_from_position(self,pos):
        MongoDB.connect(settings.HOST_NAME,settings.PORT)
        links=self.__get_next_urls(pos)


        Logger.info(links)
        for link in links:
            self.scrape_link_and_child(link)

        Logger.debug('Process job completed')
        return 0
コード例 #2
0
    def start(cls):
        MongoDB.connect(settings.HOST_NAME,settings.PORT)

        return cls