Ejemplos de WordCountPySparkTask.dbnd_run en Python

Ejemplo n.º 1

Archivo: test_emr_spark_task.py Proyecto: databand-ai/dbnd

 def test_word_count_pyspark(self):
     logging.info("Running %s", WordCountPySparkTask)
     actual = WordCountPySparkTask(
         text=TEXT_FILE, task_version=str(random.random()), override=conf_override
     )
     actual.dbnd_run()
     print(target(actual.counters.path, "part-00000").read())

Ejemplo n.º 2

Archivo: test_livy_spark_task.py Proyecto: databand-ai/dbnd

 def test_word_count_pyspark(self):
     with dbnd_config(disable_tracker_api()):
         actual = WordCountPySparkTask(
             text=TEXT_FILE,
             task_version=str(random.random()),
             override=conf_override,
         )
         actual.dbnd_run()
         print(target(actual.counters.path, "part-00000").read())

Ejemplo n.º 3

Archivo: test_spark_task.py Proyecto: turbaszek/dbnd

 def test_word_count_pyspark(self):
     actual = WordCountPySparkTask(text=__file__)
     actual.dbnd_run()
     print(target(actual.counters.path, "part-00000").read())