def maskOffTokens(self, labels):
inputs = list(labels)
for i in range(1, len(labels)):
if self.random.binomial(1, 0.15):
if self.random.binomial(1, 0.8):
inputs[i] = Vocab.getMaskToken()
else:
if self.random.binomial(1, 0.5):
inputs[i] = self.random.randint(Vocab.getVocabOffset(),
self.vocab.getSize())
inputs[0] = Vocab.getClassLabelToken()
return inputs
def isPredictedToken(self, token):
return token == Vocab.getMaskToken() or token == Vocab.getVocabOffset()