Python from_file_parallel Beispiele

Beispiel #1

Datei: backup-pagerank.py Projekt: GatsbyNewton/graph-computation-benchmark

def loadMatrix(ctx, filePath, numPage):
    #return eager(expr.from_file(filePath, tile_hint = (numPage, numPage / 8)))
    return eager(expr.from_file_parallel(filePath, "numpy", sparse = True, tile_hint = (numPage, numPage/10)))

Beispiel #2

Datei: backup-bfs.py Projekt: GatsbyNewton/graph-computation-benchmark

def loadMatrix(ctx, filePath, dim):
	return expr.from_file_parallel(filePath, "numpy", tile_hint=(dim, dim/ 10))

Beispiel #3

Datei: concomp.py Projekt: GatsbyNewton/graph-computation-benchmark

def loadMatrix(ctx, filePath, dim):
	return expr.from_file_parallel(filePath, tile_hint = (dim, dim / ctx.num_workers))