コード例 #1
0
ファイル: new-multi-file-test.py プロジェクト: toowzh/h5spark
def test_multi_2(sc,path_to_repo):
    
    resource_dir = 'src/resources/hdf5/'
    path = os.path.join(path_to_repo, resource_dir)
    h5_list = [(path + '/test_mat2.h5', 'data'),(path + '/test_mat3.h5', 'data') ]
    #h5_list_file = 'file_names_and_pathsd.csv'
    h5_tuple = (path + '/test_mat2.h5', 'data')
    rdd = read.h5read(sc, h5_list)
    print rdd.take(1)
    #rdd2 = read.readH5(sc, h5_list_file)
    #print rdd2.take(1)
    rdd3 = read.h5read(sc, h5_tuple)
    print rdd3.take(1)
    
    idx_row_m = read.h5read_imat(sc, h5_tuple )
    print idx.rows.take(1)
コード例 #2
0
ファイル: new-multi-file-test.py プロジェクト: toowzh/h5spark
def testmultihdf5(sc,path_to_repo):
    rdd = read.h5read(sc,path_to_repo)