Exemplos de Lexer.peek_token em Python

Exemplo n.º 1

Arquivo: identifiers_tokens_test.py Projeto: clde-ber/minishell_v2

def eat_tokens(line):
    lex = Lexer(line)
    line = ""
    while lex.get_next_token():
        line += lex.peek_token().test()
        if lex.peek_token().type in ["EOF", "ERROR"]:
            break
    return line

Exemplo n.º 2

Arquivo: keywords_tokens_test.py Projeto: clde-ber/minishell_v2

def eat_tokens(line):
    lex = Lexer(line)
    line = ""
    while lex.get_next_token():
        line += lex.peek_token().test()
    return line