Exemplos de Vocab.getMaskToken em Python

Exemplo n.º 1

    def maskOffTokens(self, labels):
        inputs = list(labels)

        for i in range(1, len(labels)):
            if self.random.binomial(1, 0.15):
                if self.random.binomial(1, 0.8):
                    inputs[i] = Vocab.getMaskToken()
                else:
                    if self.random.binomial(1, 0.5):
                        inputs[i] = self.random.randint(Vocab.getVocabOffset(),
                            self.vocab.getSize())

        inputs[0] = Vocab.getClassLabelToken()

        return inputs

Exemplo n.º 2

Arquivo: FallbackTokenEvaluator.py Projeto: sudnya/bert-word-embeddings

 def isPredictedToken(self, token):
     return token == Vocab.getMaskToken() or token == Vocab.getVocabOffset()