Exemplo n.º 1
0
 def get_tokens(self, string):
     return list(tokenize.get_tokens(string))
Exemplo n.º 2
0
def get_tokens(code_string):
    return tokenize.get_tokens(code_string + "\n")
Exemplo n.º 3
0
def get_tokens(code_string):
    return tokenize.get_tokens(code_string + '\n')
Exemplo n.º 4
0
 def get_tokens(self, string):
     return list(tokenize.get_tokens(string))