Ejemplos de itermapred en Python

Ejemplo n.º 1

Archivo: testlib.py Proyecto: rock999/dumbo

 def teststats(self):
     input = [("testkey", i) for i in xrange(10)]
     input = core.itermapred(input, lib.identitymapper, lib.statscombiner)
     output = dict(core.itermapred(input, lib.identitymapper, lib.statsreducer))
     self.assertEqual(output["testkey"][0], 10)  # n
     self.assertEqual(output["testkey"][1], 4.5)  # mean
     self.assertAlmostEqual(output["testkey"][2], 3.02765035409749)  # std

Ejemplo n.º 2

Archivo: testlib.py Proyecto: Mozilla-GitHub-Standards/441e91400508d94b5a6931d7693918293007697b91395acd9460441a437990ec

 def teststats(self):
     input = [('testkey', i) for i in xrange(10)]
     input = core.itermapred(input, lib.identitymapper, lib.statscombiner)
     output = dict(
         core.itermapred(input, lib.identitymapper, lib.statsreducer))
     self.assertEqual(output['testkey'][0], 10)  # n
     self.assertEqual(output['testkey'][1], 4.5)  # mean
     self.assertAlmostEqual(output['testkey'][2], 3.02765035409749)  # std

Ejemplo n.º 3

Archivo: mapredtest.py Proyecto: CyaLiven/dumbo

 def run(self):
     """Run test"""
     it = itermapred(self._input_source, self._mapper, self._reducer)
     for output in it:
         exp_out = self._output_source.next()
         assert output == exp_out, \
                "Output {0} did not match expected output: {1}".format(\
                    output, exp_out)     

Ejemplo n.º 4

Archivo: mapredtest.py Proyecto: Mozilla-GitHub-Standards/441e91400508d94b5a6931d7693918293007697b91395acd9460441a437990ec

 def run(self):
     """Run test"""
     it = itermapred(self._input_source, self._mapper, self._reducer)
     for output in it:
         exp_out = self._output_source.next()
         assert output == exp_out, \
                "Output {0} did not match expected output: {1}".format(\
                    output, exp_out)

Ejemplo n.º 5

Archivo: testmapred.py Proyecto: CyaLiven/dumbo

 def testwordcount(self):
     def mapper(key,value):
         for word in value.split(): yield word,1
     def reducer(key,values):
         yield key,sum(values)
     input = enumerate(['one two','two one two'])
     output = dict(core.itermapred(input,mapper,reducer))
     self.assertEqual(output['one'],2)
     self.assertEqual(output['two'],3)

Ejemplo n.º 6

Archivo: testmapred.py Proyecto: Mozilla-GitHub-Standards/441e91400508d94b5a6931d7693918293007697b91395acd9460441a437990ec

    def testwordcount(self):
        def mapper(key, value):
            for word in value.split():
                yield word, 1

        def reducer(key, values):
            yield key, sum(values)

        input = enumerate(['one two', 'two one two'])
        output = dict(core.itermapred(input, mapper, reducer))
        self.assertEqual(output['one'], 2)
        self.assertEqual(output['two'], 3)

Ejemplo n.º 7

Archivo: mapredtest.py Proyecto: zhiaozhou/dumbo

 def run(self):
     """Run test"""
     assert_iters_equal(
         self._output_source,
         itermapred(self._input_source, self._mapper, self._reducer))

Ejemplo n.º 8

Archivo: mapredtest.py Proyecto: HeidCloud/dumbo

 def run(self):
     """Run test"""
     assert_iters_equal(self._output_source, itermapred(self._input_source, self._mapper, self._reducer))