コード例 #1
0
def tokenize(text):
    # print text
    tokenizer = TextParser(stopword_file='stopwords.txt')
    # tokens = tokenizer.parse_words(text)
    tokens = tokenizer.parse_words(text, stem=True)
    return tokens