Exemplo n.º 1
0
def _process_tokens(text):
    return [t for t in wikitext_split.tokenize(text or "")]
Exemplo n.º 2
0
def _process_tokens(text):
    return [t for t in wikitext_split.tokenize(text or "")]