Python ReplacementTokenizerの例

コード例 #1

def test_tokenizer_errors(content, expected):
    tokenizer = ReplacementTokenizer()
    tokens = tokenizer.tokenize(content)
    assert expected == tokens

コード例 #2

ファイル: test_replacement_tokenizer.py プロジェクト: Coder206/servo

def test_tokenizer_errors(content, expected):
    tokenizer = ReplacementTokenizer()
    tokens = tokenizer.tokenize(content)
    assert expected == tokens