Python WordCountPySparkTask.dbnd_runの例

コード例 #1

ファイル: test_emr_spark_task.py プロジェクト: databand-ai/dbnd

 def test_word_count_pyspark(self):
     logging.info("Running %s", WordCountPySparkTask)
     actual = WordCountPySparkTask(
         text=TEXT_FILE, task_version=str(random.random()), override=conf_override
     )
     actual.dbnd_run()
     print(target(actual.counters.path, "part-00000").read())

コード例 #2

ファイル: test_livy_spark_task.py プロジェクト: databand-ai/dbnd

 def test_word_count_pyspark(self):
     with dbnd_config(disable_tracker_api()):
         actual = WordCountPySparkTask(
             text=TEXT_FILE,
             task_version=str(random.random()),
             override=conf_override,
         )
         actual.dbnd_run()
         print(target(actual.counters.path, "part-00000").read())

コード例 #3

ファイル: test_spark_task.py プロジェクト: turbaszek/dbnd

 def test_word_count_pyspark(self):
     actual = WordCountPySparkTask(text=__file__)
     actual.dbnd_run()
     print(target(actual.counters.path, "part-00000").read())