Esempi in Python per SparkConf.get

Esempio n. 1

 def test_set_if_missing(self):
     conf = SparkConf()
     conf.set(self.RANDOM_KEY, self.RANDOM_VALUE)
     conf.setIfMissing(self.RANDOM_KEY, self.RANDOM_VALUE2)
     self.assertEquals(conf.get(self.RANDOM_KEY), self.RANDOM_VALUE)
     conf.setIfMissing(self.RANDOM_KEY2, self.RANDOM_VALUE2)
     self.assertEquals(conf.get(self.RANDOM_KEY2), self.RANDOM_VALUE2)

Esempio n. 2

 def test_set_executor_env2(self):
     conf = SparkConf()
     conf.setExecutorEnv(key=self.RANDOM_KEY,
                         value=self.RANDOM_VALUE,
                         pairs=[(self.RANDOM_KEY2, self.RANDOM_VALUE2)])
     self.assertEquals(conf.get(self.RANDOM_KEY), self.RANDOM_VALUE)
     self.assertEquals(conf.get(self.RANDOM_KEY2), self.RANDOM_VALUE2)

Esempio n. 3

File: test_conf.py Progetto: htssouza/DummyRDD

 def test_set_if_missing(self):
     conf = SparkConf()
     conf.set(self.RANDOM_KEY, self.RANDOM_VALUE)
     conf.setIfMissing(self.RANDOM_KEY, self.RANDOM_VALUE2)
     self.assertEquals(conf.get(self.RANDOM_KEY), self.RANDOM_VALUE)
     conf.setIfMissing(self.RANDOM_KEY2, self.RANDOM_VALUE2)
     self.assertEquals(conf.get(self.RANDOM_KEY2), self.RANDOM_VALUE2)

Esempio n. 4

 def test_set_all(self):
     conf = SparkConf()
     conf.setAll(
         pairs=[(self.RANDOM_KEY,
                 self.RANDOM_VALUE), (self.RANDOM_KEY2,
                                      self.RANDOM_VALUE2)])
     self.assertEquals(conf.get(self.RANDOM_KEY), self.RANDOM_VALUE)
     self.assertEquals(conf.get(self.RANDOM_KEY2), self.RANDOM_VALUE2)

Esempio n. 5

File: test_conf.py Progetto: htssouza/DummyRDD

 def test_set_all(self):
     conf = SparkConf()
     conf.setAll(
         pairs=[(self.RANDOM_KEY, self.RANDOM_VALUE),
                (self.RANDOM_KEY2, self.RANDOM_VALUE2)]
     )
     self.assertEquals(conf.get(self.RANDOM_KEY), self.RANDOM_VALUE)
     self.assertEquals(conf.get(self.RANDOM_KEY2), self.RANDOM_VALUE2)

Esempio n. 6

File: test_conf.py Progetto: htssouza/DummyRDD

 def test_set_executor_env2(self):
     conf = SparkConf()
     conf.setExecutorEnv(
         key=self.RANDOM_KEY,
         value=self.RANDOM_VALUE,
         pairs=[(self.RANDOM_KEY2, self.RANDOM_VALUE2)]
     )
     self.assertEquals(conf.get(self.RANDOM_KEY), self.RANDOM_VALUE)
     self.assertEquals(conf.get(self.RANDOM_KEY2), self.RANDOM_VALUE2)

Esempio n. 7

    def test_named_properties(self):
        conf = SparkConf()

        conf.setMaster(self.RANDOM_VALUE)
        self.assertEquals(conf.get('master'), self.RANDOM_VALUE)

        conf.setAppName(self.RANDOM_VALUE)
        self.assertEquals(conf.get('appName'), self.RANDOM_VALUE)

        conf.setSparkHome(self.RANDOM_VALUE)
        self.assertEquals(conf.get('sparkHome'), self.RANDOM_VALUE)

Esempio n. 8

File: test_conf.py Progetto: htssouza/DummyRDD

    def test_named_properties(self):
        conf = SparkConf()

        conf.setMaster(self.RANDOM_VALUE)
        self.assertEquals(conf.get('master'), self.RANDOM_VALUE)

        conf.setAppName(self.RANDOM_VALUE)
        self.assertEquals(conf.get('appName'), self.RANDOM_VALUE)

        conf.setSparkHome(self.RANDOM_VALUE)
        self.assertEquals(conf.get('sparkHome'), self.RANDOM_VALUE)