Exemplos de XLMTokenizer em Python

Exemplo n.º 1

 def get_tokenizer(self, **kwargs):
     return XLMTokenizer.from_pretrained(self.tmpdirname, **kwargs)