コード例 #1
0
ファイル: scraper.py プロジェクト: Tom-Gorup/CeleryPaste
 def worker(self):
     res_pastie = chain(task_pastie_grabber.s() |
                        task_check_link_redis.s() |
                        task_download_pastes.s() |
                        task_add_downloaded_link_redis.s()
     )
     res_nopaste = chain(task_nopaste_grabber.s() |
                         task_check_link_redis.s() |
                         task_download_pastes.s() |
                         task_add_downloaded_link_redis.s()
     )
     res_pastebin = chain(task_pastebin_grabber.s() |
                          task_check_link_redis.s() |
                          task_download_pastes.s() |
                          task_add_downloaded_link_redis.s()
     )
     # res_pastesite = chain(task_pastesite_grabber.s() |
     #                       task_check_link_redis.s() |
     #                       task_download_pastes.s() |
     #                       task_add_downloaded_link_redis.s()
     # )
     g_res = group(res_nopaste,
                   res_pastie,
                   res_pastebin,
                   # res_pastesite
     )
     g_res.apply_async()
コード例 #2
0
    def run(self):
        self.init = task_flushall_redis.delay()
        sleep(1)
        if self.init.ready():
            self.redis = task_prepare_redis.delay()

        while not self._stopevent.isSet():
            if self.redis.ready():
                res_pastie = chain(task_pastie_grabber.s() |
                           task_check_link_redis.s() |
                           task_download_pastes.s() |
                           task_add_downloaded_link_redis.s()
                )
                res_nopaste = chain(task_nopaste_grabber.s() |
                                    task_check_link_redis.s() |
                                    task_download_pastes.s() |
                                    task_add_downloaded_link_redis.s()
                )
                res_pastebin = chain(task_pastebin_grabber.s() |
                                     task_check_link_redis.s() |
                                     task_download_pastes.s() |
                                     task_add_downloaded_link_redis.s()
                )
                # res_pastesite = chain(task_pastesite_grabber.s() |
                #                       task_check_link_redis.s() |
                #                       task_download_pastes.s() |
                #                       task_add_downloaded_link_redis.s()
                # )
                res_paste_ie = chain(task_paste_ie_grabber.s()|
                                     task_check_link_redis.s() |
                                     task_download_pastes.s() |
                                     task_add_downloaded_link_redis.s()
                )
                res_pastebinca = chain(task_pastebinca_grabber.s()|
                                     task_check_link_redis.s() |
                                     task_download_pastes.s() |
                                     task_add_downloaded_link_redis.s()
                )
                res_paste_is = chain(task_paste_is_grabber.s()|
                                     task_check_link_redis.s() |
                                     task_download_pastes.s() |
                                     task_add_downloaded_link_redis.s()
                )
                res_pastefrubar_net = chain(task_pastefrubar_net_grabber.s()|
                                     task_check_link_redis.s() |
                                     task_download_pastes.s() |
                                     task_add_downloaded_link_redis.s()
                )
                g_res = group(res_nopaste,
                              res_pastie,
                              res_pastebin,
                              res_paste_ie,
                              res_paste_is,
                              res_pastefrubar_net,
                              res_pastebinca
                              # res_pastesite
                )
                g_res.apply_async()
                sleep(300)
            sleep(1)