def torchscriptify(self):
return ScriptRoBERTaTensorizerWithIndices(
tokenizer=self.tokenizer.torchscriptify(),
vocab=ScriptVocabulary(
list(self.vocab),
pad_idx=self.vocab.get_pad_index(),
bos_idx=self.vocab.get_bos_index(),
eos_idx=self.vocab.get_eos_index(),
),
max_seq_len=self.max_seq_len,
)
def _mock_roberta_tensorizer(self, max_seq_len=100):
return ScriptRoBERTaTensorizerWithIndices(
tokenizer=ScriptDoNothingTokenizer(),
vocab=self._mock_vocab(),
max_seq_len=max_seq_len,
)