Beispiel #1
0
def get_frequency_of_word(filename):
    """指定したテキストファイル内で使用されている単語の出現頻度をカウントする"""

    try:
        f = open(TEXT_DIR + filename + ".txt", "r")
    except IOError:
        print("%s can't open!" % filename + ".txt")

    text = nltk.filestring(open(TEXT_DIR + filename + ".txt"))
    word_token = nltk.word_tokenize(text)
    freqdist = nltk.FreqDist(word_token)

    return freqdist
Beispiel #2
0
def get_frequency_of_word(filename):
    """指定したテキストファイル内で使用されている単語の出現頻度をカウントする"""

    try:
        f = open(TEXT_DIR + filename + ".txt", "r")
    except IOError:
        print("%s can't open!" % filename + ".txt")

    text = nltk.filestring(open(TEXT_DIR + filename + ".txt"))
    word_token = nltk.word_tokenize(text)
    freqdist = nltk.FreqDist(word_token)

    return freqdist
Beispiel #3
0
# -*- coding:utf-8 -*-
import sys
import nltk

filename = raw_input()
text = nltk.filestring(open(filename))
word_tok = nltk.word_tokenize(text)
freqdist = nltk.FreqDist(word_tok)

for k, v in freqdist.items():
    print k, v
Beispiel #4
0
# -*- coding:utf-8 -*-
import sys
import nltk

filename = raw_input()
text = nltk.filestring(open(filename))
word_tok = nltk.word_tokenize(text)
freqdist = nltk.FreqDist(word_tok)

for k,v in freqdist.items():
    print k,v