Exemplos de pad_batch em Python

Exemplo n.º 1

Arquivo: dual.py Projeto: masonreznov/transformer

def batch_padder(finput, ftarget, vocabi, vocabt, bsize, maxpad, maxpart,
                 maxtoken, minbsize):
    for i_d, td, mlen_i, mlen_t, nsent in batch_mapper(finput, ftarget, vocabi,
                                                       vocabt, bsize, maxpad,
                                                       maxpart, maxtoken,
                                                       minbsize):
        yield pad_batch(i_d, mlen_i), pad_batch(td, mlen_t), nsent

Exemplo n.º 2

def batch_padder(finput, vocabi, vocabtask, bsize, maxpad, maxpart, maxtoken,
                 minbsize):

    for i_d, taskd, mlen_i in batch_mapper(finput, vocabi, vocabtask, bsize,
                                           maxpad, maxpart, maxtoken,
                                           minbsize):
        yield pad_batch(i_d, mlen_i), taskd

Exemplo n.º 3

Arquivo: single.py Projeto: masonreznov/transformer

def batch_padder(finput, vocabi, bsize, maxpad, maxpart, maxtoken, minbsize):

	for i_d, mlen_i, nsent in batch_mapper(finput, vocabi, bsize, maxpad, maxpart, maxtoken, minbsize):
		yield pad_batch(i_d, mlen_i), nsent