コード例 #1
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_spark_context():
	with station.start(spark=True):
		mode = station.mode()
		n = station.engine().parallelize([1,2,3]).count()
	assert mode == 'spark'
	assert n == 3
	assert station.mode() == 'local'
コード例 #2
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_spark_existing():
	sc = SparkContext()
	station.start(sc)
	assert station.mode() == 'spark'
	assert isinstance(station.engine(), SparkContext)
	assert station.engine().parallelize([1,2,3]).count() == 3
	station.stop()
コード例 #3
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_spark_opts():
	station.start(spark=True, opts={'master': 'local', 'appName': 'hello'})
	assert station.mode() == 'spark'
	assert isinstance(station.engine(), SparkContext)
	assert station.engine().master == 'local'
	assert station.engine().appName == 'hello'
	assert station.engine().parallelize([1,2,3]).count() == 3
	station.stop()
コード例 #4
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_local_context():
	with station.start():
		mode = station.mode()
	assert mode == 'local'
コード例 #5
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_spark_close():
	station.start(spark=True)
	assert station.mode() == 'spark'
	station.stop()
	assert station.mode() == 'local'
コード例 #6
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_local():
	station.start()
	assert station.engine() is None
	assert station.mode() == 'local'
コード例 #7
0
ファイル: test_main.py プロジェクト: freeman-lab/station 
def test_spark():
	station.start(spark=True)
	assert station.mode() == 'spark'
	assert isinstance(station.engine(), SparkContext)
	assert station.engine().parallelize([1,2,3]).count() == 3
	station.stop()