Exemplos de ScriptRoBERTaTensorizerWithIndices em Python

Exemplo n.º 1

 def torchscriptify(self):
     return ScriptRoBERTaTensorizerWithIndices(
         tokenizer=self.tokenizer.torchscriptify(),
         vocab=ScriptVocabulary(
             list(self.vocab),
             pad_idx=self.vocab.get_pad_index(),
             bos_idx=self.vocab.get_bos_index(),
             eos_idx=self.vocab.get_eos_index(),
         ),
         max_seq_len=self.max_seq_len,
     )

Exemplo n.º 2

Arquivo: test_tensorizer.py Projeto: facebookresearch/pytext

 def _mock_roberta_tensorizer(self, max_seq_len=100):
     return ScriptRoBERTaTensorizerWithIndices(
         tokenizer=ScriptDoNothingTokenizer(),
         vocab=self._mock_vocab(),
         max_seq_len=max_seq_len,
     )