Python PlaintextCorpusReader.open Beispiele

Beispiel #1

Datei: wsd_shane_4_test.py Projekt: abbaszadehcs/Word-Sense-Disambiguation

        3]  # خواندن مقادیر برچسبها از فايل متني ليست تصميم و نگهداري آنها در يک ليست جداگانه براي مقايسه

fp_train_sorted_decision_list.close()

# خواندن اطلاعات از فايل متني تست
#############################################

from nltk.corpus import PlaintextCorpusReader
corpus_root = '/'
corpus_root = 'WSD/shane_4 folds_texts/shane_test/'  # یا هر نسخه دیگر پایتون که بر روی دستگاه نصب شده) قرارگيرد)  python34 که شامل زیرفولدرهاي ذکر شده است بايد حتما در دايرکتوري WSD فولدر
peykare = PlaintextCorpusReader(corpus_root, '.*')

f = peykare.fileids()
l = len(f)

fp = peykare.open(f[3])

peykare_lines = fp.read().split('\n')
peykare_lines_count = len(peykare_lines)  # تعداد خطوط پيکره

fp.seek(0)

test_given_lines_tags = ['' for i in range(peykare_lines_count)]
for i in range(peykare_lines_count):
    line_str = fp.readline()
    line_words = line_str.split()
    test_given_lines_tags[i] = line_words[
        -1]  # test_given_lines_tags ذخیره‌کردن برچسب خطوط فايل در بردار

fp.seek(0)

Beispiel #2

Datei: wsd_shir_1_test.py Projekt: abbaszadehcs/Word-Sense-Disambiguation

fp_train_sorted_decision_list.close()

# خواندن اطلاعات از فايل متني تست
#############################################

from nltk.corpus import PlaintextCorpusReader
corpus_root = '/'
corpus_root = 'WSD/shir_4 folds_texts/shir_test/' # یا هر نسخه دیگر پایتون که بر روی دستگاه نصب شده) قرارگيرد)  python34 که شامل زیرفولدرهاي ذکر شده است بايد حتما در دايرکتوري WSD فولدر
peykare = PlaintextCorpusReader(corpus_root, '.*') 

f=peykare.fileids()
l=len(f)

fp=peykare.open(f[0])

peykare_lines=fp.read().split('\n')
peykare_lines_count=len(peykare_lines) # تعداد خطوط پيکره

fp.seek(0)


test_given_lines_tags=['' for i in range(peykare_lines_count)]
for i in range(peykare_lines_count):
    line_str=fp.readline()       
    line_words=line_str.split()       
    test_given_lines_tags[i]=line_words[-1]     # test_given_lines_tags ذخیره‌کردن برچسب خطوط فايل در بردار  

fp.seek(0)

Beispiel #3

from features_list_2 import *

import nltk
import math
import codecs

from nltk.corpus import PlaintextCorpusReader

corpus_root = '/'
corpus_root = 'WSD/krm_4 folds_texts/krm_train/'  # یا هر نسخه دیگر پایتون که بر روی دستگاه نصب شده) قرارگيرد)  python34 که شامل زیرفولدرهاي ذکر شده است بايد حتما در دايرکتوري WSD فولدر
peykare = PlaintextCorpusReader(corpus_root, '.*')

f = peykare.fileids()
l = len(f)

fp = peykare.open(f[2])
peykare_lines = fp.read().split('\n')
peykare_lines_count = len(peykare_lines)  # تعداد خطوط پيکره

fp.seek(0)

peykare_words = fp.read().split()  # کل کلمات پيکره

fp.seek(0)

lines_tags = ['' for i in range(peykare_lines_count)]
for i in range(peykare_lines_count):
    line_str = fp.readline()
    line_words = line_str.split()
    lines_tags[i] = line_words[
        -1]  # lines_tags ذخیره‌کردن برچسب خطوط فايل در بردار

Beispiel #4

Datei: wsd_krm_2_train.py Projekt: abbaszadehcs/Word-Sense-Disambiguation

from features_list_2 import *

import nltk
import math
import codecs

from nltk.corpus import PlaintextCorpusReader
corpus_root = '/'
corpus_root = 'WSD/krm_4 folds_texts/krm_train/'  # یا هر نسخه دیگر پایتون که بر روی دستگاه نصب شده) قرارگيرد)  python34 که شامل زیرفولدرهاي ذکر شده است بايد حتما در دايرکتوري WSD فولدر
peykare = PlaintextCorpusReader(corpus_root, '.*')

f = peykare.fileids()
l = len(f)

fp = peykare.open(f[1])
peykare_lines = fp.read().split('\n')
peykare_lines_count = len(peykare_lines)  # تعداد خطوط پيکره

fp.seek(0)

peykare_words = fp.read().split()  # کل کلمات پيکره

fp.seek(0)

lines_tags = ['' for i in range(peykare_lines_count)]
for i in range(peykare_lines_count):
    line_str = fp.readline()
    line_words = line_str.split()
    lines_tags[i] = line_words[
        -1]  # lines_tags ذخیره‌کردن برچسب خطوط فايل در بردار

Beispiel #5

Datei: u5_execution.py Projekt: atokop/compling

def file_words(corpus_root):
	file_list = []
	corpus = PlaintextCorpusReader(corpus_root, '.*')
	for infile in sorted(corpus.fileids()):
		file_list.append([corpus.open(infile).read().encode('utf8').strip()]) 
	return file_list