コード例 #1
0
ファイル: tokenized.py プロジェクト: wiki-ai/revscoring 
def _process_tokens(text):
    return [t for t in wikitext_split.tokenize(text or "")]
コード例 #2
0
def _process_tokens(text):
    return [t for t in wikitext_split.tokenize(text or "")]