Python WordCountPySparkTask.dbnd_run Beispiele

Beispiel #1

Datei: test_emr_spark_task.py Projekt: databand-ai/dbnd

 def test_word_count_pyspark(self):
     logging.info("Running %s", WordCountPySparkTask)
     actual = WordCountPySparkTask(
         text=TEXT_FILE, task_version=str(random.random()), override=conf_override
     )
     actual.dbnd_run()
     print(target(actual.counters.path, "part-00000").read())

Beispiel #2

Datei: test_livy_spark_task.py Projekt: databand-ai/dbnd

 def test_word_count_pyspark(self):
     with dbnd_config(disable_tracker_api()):
         actual = WordCountPySparkTask(
             text=TEXT_FILE,
             task_version=str(random.random()),
             override=conf_override,
         )
         actual.dbnd_run()
         print(target(actual.counters.path, "part-00000").read())

Beispiel #3

Datei: test_spark_task.py Projekt: turbaszek/dbnd

 def test_word_count_pyspark(self):
     actual = WordCountPySparkTask(text=__file__)
     actual.dbnd_run()
     print(target(actual.counters.path, "part-00000").read())