def worker(self):
res_pastie = chain(task_pastie_grabber.s() |
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_nopaste = chain(task_nopaste_grabber.s() |
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_pastebin = chain(task_pastebin_grabber.s() |
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
# res_pastesite = chain(task_pastesite_grabber.s() |
# task_check_link_redis.s() |
# task_download_pastes.s() |
# task_add_downloaded_link_redis.s()
# )
g_res = group(res_nopaste,
res_pastie,
res_pastebin,
# res_pastesite
)
g_res.apply_async()
def run(self):
self.init = task_flushall_redis.delay()
sleep(1)
if self.init.ready():
self.redis = task_prepare_redis.delay()
while not self._stopevent.isSet():
if self.redis.ready():
res_pastie = chain(task_pastie_grabber.s() |
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_nopaste = chain(task_nopaste_grabber.s() |
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_pastebin = chain(task_pastebin_grabber.s() |
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
# res_pastesite = chain(task_pastesite_grabber.s() |
# task_check_link_redis.s() |
# task_download_pastes.s() |
# task_add_downloaded_link_redis.s()
# )
res_paste_ie = chain(task_paste_ie_grabber.s()|
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_pastebinca = chain(task_pastebinca_grabber.s()|
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_paste_is = chain(task_paste_is_grabber.s()|
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
res_pastefrubar_net = chain(task_pastefrubar_net_grabber.s()|
task_check_link_redis.s() |
task_download_pastes.s() |
task_add_downloaded_link_redis.s()
)
g_res = group(res_nopaste,
res_pastie,
res_pastebin,
res_paste_ie,
res_paste_is,
res_pastefrubar_net,
res_pastebinca
# res_pastesite
)
g_res.apply_async()
sleep(300)
sleep(1)