예제 #1
0
 def get_tokens(self, string):
     return list(tokenize.get_tokens(string))
예제 #2
0
def get_tokens(code_string):
    return tokenize.get_tokens(code_string + "\n")
예제 #3
0
파일: test_ast.py 프로젝트: sjabow/cppclean 
def get_tokens(code_string):
    return tokenize.get_tokens(code_string + '\n')
예제 #4
0
 def get_tokens(self, string):
     return list(tokenize.get_tokens(string))