def get(self, text):
xm = XmNLP(text)
time_stamp = str(int(time.time()))
data = get_tc_res(text, time_stamp)
result = {'polar': 0, 'confd': 0, 'sentiment': 0}
result['sentiment'] = xm.sentiment()
if data['polar'] == 0:
result['polar'] = 1
else:
result['polar'] = data['polar']
# result['polar'] = data['polar'] if data['polar'] == 0 else 1
result['confd'] = data['confd']
return jsonify(result)
def get_sentiment(testtxt):
# 情感分析 example 1
xm = XmNLP(testtxt)
if xm.sentiment() < 0.2:
return 0
elif xm.sentiment() < 0.4:
return 1
elif xm.sentiment() < 0.6:
return 2
elif xm.sentiment() < 0.8:
return 3
else:
return 4
import sys
sys.path.append("..")
if sys.version_info[0] == 2:
reload(sys)
sys.setdefaultencoding('utf8')
descr = """
文本纠错
/ n-gam + levenshtein /
"""
print(descr)
doc = """这理风景绣丽，而且天汽不错，我的心情各外舒畅!"""
print('\n++++++++++++++++++++++++ usage 1 ++++++++++++++++++++++++\n')
"""
1. 使用类来进行操作
"""
from xmnlp import XmNLP
xm = XmNLP(doc)
print('Error: \n', doc)
print('Correct: \n', xm.checker())
print('\n++++++++++++++++++++++++ usage 2 ++++++++++++++++++++++++\n')
import xmnlp
print('Error: \n', doc)
print('Correct: \n', xmnlp.checker(doc))
from xmnlp import XmNLP
xm = XmNLP()
# 分词
def doc_seg(_doc):
print('分词', xm.seg(_doc))
# 词性分析
def doc_tag(_doc):
print('词性', list(xm.tag(_doc)))
# 纠错
def doc_checker(_doc):
print('纠错', xm.checker(_doc))
# 摘要
def doc_keyphrase(_doc):
print('摘要')
for sentence in xm.keyphrase(_doc):
for word in sentence:
print(word, end='')
print()
# 情感分析
def doc_sentiment(_doc):
/ Textrank /
"""
print(descr)
doc = """自然语言处理: 是人工智能和语言学领域的分支学科。
在这此领域中探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。
自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。"""
print('\n++++++++++++++++++++++++ usage 1 ++++++++++++++++++++++++\n')
"""
1. 使用类来进行操作 (推荐)
"""
from xmnlp import XmNLP
xm = XmNLP(doc, stopword=True)
print('keyphrase: ')
for p in xm.keyphrase(k=5):
print(''.join(p))
print()
print('keyword: ')
print(xm.keyword(k=5))
print('\n++++++++++++++++++++++++ usage 2 ++++++++++++++++++++++++\n')
import xmnlp
print('keyphrase: ')
for p in xmnlp.keyphrase(doc):
print(''.join(p))
print()
doc = """自然语言处理: 是人工智能和语言学领域的分支学科。
在这此领域中探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。
自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。"""
doc2 = """人工智能: 是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，
该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，
可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。"""
print('\n++++++++++++++++++++++++ usage 1 ++++++++++++++++++++++++\n')
"""
1. 使用类来进行操作 (推荐)
"""
from xmnlp import XmNLP
xm = XmNLP(doc)
xm.set_userdict('./userdict.txt')
out = []
for word, tag in xm.tag(hmm=True):
out.append(word + ' ' + tag)
print(' / '.join(out))
print()
out = []
tagset = set()
for word, tag in xm.tag(doc2, hmm=True):
out.append(word + ' ' + tag)
tagset.add(tag)
print(' / '.join(out))
print()
情感计算
/ naive bayes /
"""
print(descr)
doc = """真伤心"""
doc2 = """天气太好了，我们去钓鱼吧"""
print('\n++++++++++++++++++++++++ usage 1 ++++++++++++++++++++++++\n')
"""
1. 使用类来进行操作
"""
from xmnlp import XmNLP
xm = XmNLP(doc, stopword=True)
print('Text: ', doc)
print('Score: ', xm.sentiment())
print('Text: ', doc2)
print('Score: ', xm.sentiment(doc2))
print('\n++++++++++++++++++++++++ usage 2 ++++++++++++++++++++++++\n')
import xmnlp
print('Text: ', doc)
print('Score: ', xmnlp.sentiment(doc))
print('Text: ', doc2)
print('Score: ', xmnlp.sentiment(doc2))
import sys
sys.path.append("..")
if sys.version_info[0] == 2:
reload(sys)
sys.setdefaultencoding('utf8')
descr = """
文本转拼音
/ trie tree /
"""
print(descr)
doc = """面朝大海，春暖花开"""
print('\n++++++++++++++++++++++++ usage 1 ++++++++++++++++++++++++\n')
"""
1. 使用类来进行操作
"""
from xmnlp import XmNLP
xm = XmNLP(doc)
print('Text: \n', doc)
print('PinYin: \n', xm.pinyin())
print('\n++++++++++++++++++++++++ usage 2 ++++++++++++++++++++++++\n')
import xmnlp
print('Text: \n', doc)
print('PinYin: \n', xmnlp.pinyin(doc))
自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。"""
doc2 = """人工智能: 是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，
该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来，理论和技术日益成熟，应用领域也不断扩大，
可以设想，未来人工智能带来的科技产品，将会是人类智慧的“容器”。"""
print('\n++++++++++++++++++++++++ usage 1 ++++++++++++++++++++++++\n')
"""
1. 使用类来进行操作 (推荐)
"""
from xmnlp import XmNLP
xm = XmNLP(doc)
xm.set_userdict('./userdict.txt')
seg_list1 = xm.seg(hmm=True)
print(' / '.join(seg_list1))
print()
seg_list2 = xm.seg(doc2, hmm=True)
print(' / '.join(seg_list2))
print('\n++++++++++++++++++++++++ usage 2 ++++++++++++++++++++++++\n')
"""
2. 直接引包使用 (不可使用系统停用词)