Exemplos de AnnotateMapper em Python

Exemplo n.º 1

Arquivo: pipeline.py Projeto: thecodemasterk/openfda

 def run(self):
     harmonized_file = self.input()[0].path
     parallel.mapreduce(
         parallel.Collection.from_sharded(self.input()[1].path),
         annotate.AnnotateMapper(harmonized_file),
         parallel.IdentityReducer(),
         self.output().path)

Exemplo n.º 2

Arquivo: pipeline.py Projeto: viktor-evdokimov/openfda

 def run(self):
     harmonized_file = self.input()[0].path
     parallel.mapreduce(glob.glob(self.input()[1].path + '*-of-*'),
                        annotate.AnnotateMapper(harmonized_file),
                        parallel.identity_reducer,
                        self.output().path,
                        num_shards=10,
                        map_workers=2)