Ejemplos de chunks en Python

Ejemplo n.º 1

Archivo: test_bcolz.py Proyecto: Back2Basics/blaze

def test_chunks():
    x = np.array([(int(i), float(i)) for i in range(100)],
                 dtype=[('a', np.int32), ('b', np.float32)])
    b = bcolz.ctable(x)

    assert count(chunks(b, chunksize=10)) == 10
    assert (next(chunks(b, chunksize=10)) == x[:10]).all()

Ejemplo n.º 2

Archivo: test_bcolz.py Proyecto: vitan/blaze

def test_chunks():
    x = np.array([(int(i), float(i)) for i in range(100)],
                 dtype=[('a', np.int32), ('b', np.float32)])
    b = bcolz.ctable(x)

    assert count(chunks(b, chunksize=10)) == 10
    assert (next(chunks(b, chunksize=10)) == x[:10]).all()

Ejemplo n.º 3

def into(_, data, filename=None, datapath=None, **kwargs):
    t = PyTables(filename,
                 datapath=datapath,
                 dshape=kwargs.get('dshape', discover(data)))
    for chunk in map(partial(into, np.ndarray), chunks(data)):
        into(t, chunk)
    return t

Ejemplo n.º 4

Archivo: test_bcolz.py Proyecto: Back2Basics/blaze

def test_into_chunks():
    from blaze.compute.numpy import chunks, compute_up
    from blaze.compute.chunks import chunks, compute_up, ChunkIterator
    from blaze import into
    x = np.array([(int(i), float(i)) for i in range(100)],
                 dtype=[('a', np.int32), ('b', np.float32)])
    cs = chunks(x, chunksize=10)

    b1 = into(bcolz.ctable, ChunkIterator(cs))
    b2 = into(bcolz.ctable, x)

    assert str(b1) == str(b2)

Ejemplo n.º 5

Archivo: test_bcolz.py Proyecto: vitan/blaze

def test_into_chunks():
    from blaze.compute.numpy import chunks, compute_up
    from blaze.compute.chunks import chunks, compute_up, ChunkIterator
    from blaze import into
    x = np.array([(int(i), float(i)) for i in range(100)],
                 dtype=[('a', np.int32), ('b', np.float32)])
    cs = chunks(x, chunksize=10)

    b1 = into(bcolz.ctable, ChunkIterator(cs))
    b2 = into(bcolz.ctable, x)

    assert str(b1) == str(b2)

Ejemplo n.º 6

Archivo: into.py Proyecto: dalejung/blaze

def into(coll, x, **kwargs):
    from blaze.bcolz import chunks
    for chunk in chunks(x):
        into(coll, chunk)

Ejemplo n.º 7

Archivo: into.py Proyecto: Back2Basics/blaze

def into(_, data, filename=None, datapath=None, **kwargs):
    t = PyTables(filename, datapath=datapath,
                 dshape=kwargs.get('dshape', discover(data)))
    for chunk in map(partial(into, np.ndarray), chunks(data)):
        into(t, chunk)
    return t

Ejemplo n.º 8

Archivo: into.py Proyecto: Back2Basics/blaze

def into(bc, data, **kwargs):
    cs = chunks(data)
    bc = into(bc, next(cs))
    for chunk in cs:
        bc.append(chunk)
    return bc

Ejemplo n.º 9

Archivo: test_bcolz_compute.py Proyecto: ChrisBeaumont/blaze

def test_chunks():
    assert len(list(chunks(b, chunksize=2))) == 2
    assert (next(chunks(b, chunksize=2)) == into(np.array(0), b)[:2]).all()

Ejemplo n.º 10

def test_chunks():
    assert len(list(chunks(b, chunksize=2))) == 2
    assert (next(chunks(b, chunksize=2)) == into(np.array(0), b)[:2]).all()

Ejemplo n.º 11

def into(coll, x, **kwargs):
    from blaze.bcolz import chunks
    for chunk in chunks(x):
        into(coll, chunk)

Ejemplo n.º 12

def into(bc, data, **kwargs):
    cs = chunks(data)
    bc = into(bc, next(cs))
    for chunk in cs:
        bc.append(chunk)
    return bc