Ejemplo n.º 1
0
 def run(self):
     # Naively check file type
     ext = self.fname.split(".")[-1]
     params = common_params(self, AbstractParseTask)
     if ext == "csv":
         local_target = yield ParseCSVTask(**params)
     elif ext == "json":
         local_target = yield ParseJSONTask(**params)
     else:
         raise Exception("Not sure how to handle that file type...")
     with local_target.open() as inf, self.output().open("w") as outf:
         outf.write(inf.read())
Ejemplo n.º 2
0
 def requires(self):
     special_param2 = str(datetime.datetime.now())
     return G(param2=special_param2, **common_params(self, G))
Ejemplo n.º 3
0
 def requires(self):
     return G(**common_params(self, G))
Ejemplo n.º 4
0
 def requires(self):
     return F(**common_params(self, F))
Ejemplo n.º 5
0
 def requires(self):
     return J(param1="Required parameter", **common_params(J, self))
Ejemplo n.º 6
0
 def requires(self):
     return J(**common_params(self, J))
Ejemplo n.º 7
0
 def requires(self):
     return F(**common_params(self, F))
Ejemplo n.º 8
0
 def requires(self):
     special_param2 = str(datetime.datetime.now())
     return G(param2=special_param2, **common_params(self, G))
Ejemplo n.º 9
0
 def requires(self):
     return G(**common_params(self, G))
Ejemplo n.º 10
0
 def requires(self):
     return J(param1="Required parameter", **common_params(J, self))
Ejemplo n.º 11
0
 def requires(self):
     return J(**common_params(self, J))
Ejemplo n.º 12
0
 def create_child_task_with_common_params(self, task_class, **kwargs):
     params = util.common_params(self, task_class)
     params["caller_output_path"] = self._extend_output_path()
     params["job_id"] = self.job_id
     params.update(kwargs)
     return task_class(**params)