lista_sufixos = []
print("análise léxica: ", palavras)
sem_stopwords = []
for palavra in palavras:
if palavra not in stop_words:
sem_stopwords.append(palavra)
print('remoção stopword: ', sem_stopwords)
radicalizacao = []
rslp = RSLPStemmer()
rules = []
for i in range(0, 7):
rules.append(rslp.read_rule('step{}.pt'.format(i)))
# print(rules)
lista = []
excessoes = []
sufixos = open("sufixos.txt", "w")
arquivo = open("excessoes.txt", "w")
lista_sufixo = []
for rule in rules:
for r in rule:
sufixo = normalize('NFKD', r[0]).encode('ASCII',
'ignore').decode('ASCII')
lista.append(sufixo)
lista_sufixo.append(sufixo)
sufixos.writelines(sufixo + '\n')
if r[2]:
sufixo = normalize('NFKD', r[2]).encode('ASCII',
