Esempi in Python per require_spark

Esempio n. 1

File: test_recovery.py Progetto: zzz1990771/spark-build

def setup_module(module):
    utils.require_spark()

Esempio n. 2

def setup_module(module):
    if utils.hdfs_enabled():
        utils.require_hdfs()
    utils.require_spark()
    utils.upload_file(os.environ["SCALA_TEST_JAR_PATH"])

Esempio n. 3

def test_marathon_group():
    app_id = "/path/to/spark"
    options = {"service": {"name": app_id}}
    utils.require_spark(options=options, service_name=app_id)
    test_jar(app_name=app_id)
    LOGGER.info("Uninstalling app_id={}".format(app_id))

Esempio n. 4

def setup_module(module):
    if utils.hdfs_enabled():
        utils.require_hdfs()
    utils.require_spark()