Exemplos de BertTokenizer em Python

Exemplo n.º 1

 def get_tokenizer(*args, **kwargs):
     """
     Gets the tokenizer that is customized for this module.
     """
     return BertTokenizer.from_pretrained(
         pretrained_model_name_or_path='bert-wwm-ext-chinese',
         *args,
         **kwargs)

Exemplo n.º 2

Arquivo: module.py Projeto: xyxie87/PaddleHub

 def get_tokenizer(*args, **kwargs):
     """
     Gets the tokenizer that is customized for this module.
     """
     return BertTokenizer.from_pretrained(
         pretrained_model_name_or_path='bert-base-multilingual-cased',
         *args,
         **kwargs)