Exemplos de require_spark em Python

Exemplo n.º 1

Arquivo: test_recovery.py Projeto: zzz1990771/spark-build

def setup_module(module):
    utils.require_spark()

Exemplo n.º 2

def setup_module(module):
    if utils.hdfs_enabled():
        utils.require_hdfs()
    utils.require_spark()
    utils.upload_file(os.environ["SCALA_TEST_JAR_PATH"])

Exemplo n.º 3

def test_marathon_group():
    app_id = "/path/to/spark"
    options = {"service": {"name": app_id}}
    utils.require_spark(options=options, service_name=app_id)
    test_jar(app_name=app_id)
    LOGGER.info("Uninstalling app_id={}".format(app_id))

Exemplo n.º 4

def setup_module(module):
    if utils.hdfs_enabled():
        utils.require_hdfs()
    utils.require_spark()