Ejemplos de BertTokenizer.from_pretrained en Python

Ejemplo n.º 1

 def get_tokenizer(*args, **kwargs):
     """
     Gets the tokenizer that is customized for this module.
     """
     return BertTokenizer.from_pretrained(
         pretrained_model_name_or_path='bert-wwm-ext-chinese',
         *args,
         **kwargs)

Ejemplo n.º 2

Archivo: module.py Proyecto: xyxie87/PaddleHub

 def get_tokenizer(*args, **kwargs):
     """
     Gets the tokenizer that is customized for this module.
     """
     return BertTokenizer.from_pretrained(
         pretrained_model_name_or_path='bert-base-multilingual-cased',
         *args,
         **kwargs)