Python require_spark Beispiele

Beispiel #1

Datei: test_recovery.py Projekt: zzz1990771/spark-build

def setup_module(module):
    utils.require_spark()

Beispiel #2

def setup_module(module):
    if utils.hdfs_enabled():
        utils.require_hdfs()
    utils.require_spark()
    utils.upload_file(os.environ["SCALA_TEST_JAR_PATH"])

Beispiel #3

def test_marathon_group():
    app_id = "/path/to/spark"
    options = {"service": {"name": app_id}}
    utils.require_spark(options=options, service_name=app_id)
    test_jar(app_name=app_id)
    LOGGER.info("Uninstalling app_id={}".format(app_id))

Beispiel #4

def setup_module(module):
    if utils.hdfs_enabled():
        utils.require_hdfs()
    utils.require_spark()