Exemplos de ReplacementTokenizer em Python

Exemplo n.º 1

def test_tokenizer_errors(content, expected):
    tokenizer = ReplacementTokenizer()
    tokens = tokenizer.tokenize(content)
    assert expected == tokens

Exemplo n.º 2

Arquivo: test_replacement_tokenizer.py Projeto: Coder206/servo

def test_tokenizer_errors(content, expected):
    tokenizer = ReplacementTokenizer()
    tokens = tokenizer.tokenize(content)
    assert expected == tokens