words = jiagu.cut(text) # 分词
print(words)
pos = jiagu.pos(words) # 词性标注
print(pos)
ner = jiagu.ner(words) # 命名实体识别
print(ner)
# 字典模式分词
text = '思知机器人挺好用的'
words = jiagu.seg(text)
print(words)
# jiagu.load_userdict('dict/user.dict') # 加载自定义字典，支持字典路径、字典列表形式。
jiagu.load_userdict(['思知机器人'])
words = jiagu.seg(text)
print(words)
text = '''
该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。”
NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。”
“MODIS的数据让我们能在非常小的尺度上理解这一现象，我们发现人类活动也作出了贡献。”
NASA文章介绍，在中国为全球绿化进程做出的贡献中，有42%来源于植树造林工程，对于减少土壤侵蚀、空气污染与气候变化发挥了作用。
据观察者网过往报道，2017年我国全国共完成造林736.2万公顷、森林抚育830.2万公顷。其中，天然林资源保护工程完成造林26万公顷，退耕还林工程完成造林91.2万公顷。京津风沙源治理工程完成造林18.5万公顷。三北及长江流域等重点防护林体系工程完成造林99.1万公顷。完成国家储备林建设任务68万公顷。
'''
keywords = jiagu.keywords(text, 5) # 关键词抽取
print(keywords)
words = jiagu.cut(text) # 分词
print(words)
pos = jiagu.pos(words) # 词性标注
print(pos)
ner = jiagu.ner(text) # 命名实体识别
print(ner)
# 字典模式分词
text = '知识图谱机器人'
words = jiagu.seg(text)
print(words)
jiagu.load_userdict('dict/user.dict') # 加载自定义字典，支持字典路径、字典列表形式。
# jiagu.load_userdict(['知识图谱'])
words = jiagu.seg(text)
print(words)
text = '''
该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。”
NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。”
“MODIS的数据让我们能在非常小的尺度上理解这一现象，我们发现人类活动也作出了贡献。”
NASA文章介绍，在中国为全球绿化进程做出的贡献中，有42%来源于植树造林工程，对于减少土壤侵蚀、空气污染与气候变化发挥了作用。
据观察者网过往报道，2017年我国全国共完成造林736.2万公顷、森林抚育830.2万公顷。其中，天然林资源保护工程完成造林26万公顷，退耕还林工程完成造林91.2万公顷。京津风沙源治理工程完成造林18.5万公顷。三北及长江流域等重点防护林体系工程完成造林99.1万公顷。完成国家储备林建设任务68万公顷。
'''
keywords = jiagu.keywords(text, 5) # 关键词抽取
print(keywords)
import jiagu
text = '有意义'
words = jiagu.seg(text)
print(words)
# jiagu.load_userdict('dict/user.dict') # 加载自定义字典，支持字典路径、字典列表形式。
jiagu.load_userdict(['意义'])
words = jiagu.seg(text) # 自定义分词，字典分词模式有效
print(words)
import jiagu
jiagu.load_userdict('dict/user.dict')
# load file
contract_file = open("contract.txt", "r")
contract_contents = contract_file.read()
segs = jiagu.seg(contract_contents)
ner = jiagu.ner(segs)
print(segs)
print(ner)
content_arr = list(segs)
for i in range(len(content_arr)):
if (content_arr[i] != '\n'):
print('index: ' + str(i) + ':' + content_arr[i] + ' ' + ner[i])
else:
print()
words = jiagu.cut(text) # 分词
print(words)
pos = jiagu.pos(words) # 词性标注
print(pos)
ner = jiagu.ner(text) # 命名实体识别
print(ner)
# 字典模式分词
text = '知识图谱机器人'
words = jiagu.seg(text)
print(words)
# jiagu.load_userdict('dict/user.dict') # 加载自定义字典，支持字典路径、字典列表形式。
jiagu.load_userdict(['知识图谱'])
words = jiagu.seg(text)
print(words)
text = '''
该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。”
NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。”
“MODIS的数据让我们能在非常小的尺度上理解这一现象，我们发现人类活动也作出了贡献。”
NASA文章介绍，在中国为全球绿化进程做出的贡献中，有42%来源于植树造林工程，对于减少土壤侵蚀、空气污染与气候变化发挥了作用。
据观察者网过往报道，2017年我国全国共完成造林736.2万公顷、森林抚育830.2万公顷。其中，天然林资源保护工程完成造林26万公顷，退耕还林工程完成造林91.2万公顷。京津风沙源治理工程完成造林18.5万公顷。三北及长江流域等重点防护林体系工程完成造林99.1万公顷。完成国家储备林建设任务68万公顷。
'''
keywords = jiagu.keywords(text, 5) # 关键词抽取
print(keywords)
words = jiagu.cut('天下无贼是一部电影')
print(words)
# 分词各种模式使用方式
text = '汉服和服装、知识图谱机器人'
words = jiagu.cut(text) # 深度学习分词
print(words)
words = jiagu.seg(text) # 字典分词
print(words)
# jiagu.load_userdict('dict/user.dict') # 加载自定义字典，支持字典路径、字典列表形式。
jiagu.load_userdict(['知识图谱机器人'])
words = jiagu.seg(text) # 自定义分词，字典分词模式有效
print(words)
# 知识图谱关系抽取
# 吻别是由张学友演唱的一首歌曲。
# 苏州大学（Soochow University），简称“苏大”，坐落于历史文化名城苏州。
# 《盗墓笔记》是2014年欢瑞世纪影视传媒股份有限公司出品的一部网络季播剧，改编自南派三叔所著的同名小说，由郑保瑞和罗永昌联合导演，李易峰、杨洋、唐嫣、刘天佐、张智尧、魏巍等主演。
# 姚明（Yao Ming），1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理。
text = '吻别是由张学友演唱的一首歌曲'
knowledge = jiagu.knowledge(text)
print(knowledge)
# 情感分析
#jiagu.init() # 可手动初始化，也可以动态初始化
text = '厦门明天会不会下雨'
words = jiagu.seg(text) # 分词
print(words)
pos = jiagu.pos(words) # 词性标注
print(pos)
ner = jiagu.ner(words) # 命名实体识别
print(ner)
text = '汉服和服装、维基图谱'
words = jiagu.seg(text)
print(words)
# jiagu.load_userdict('dict/user.dict') # 加载自定义字典，支持字典路径、字典列表形式。
jiagu.load_userdict(['汉服和服装'])
words = jiagu.seg(text) # 自定义分词，字典分词模式有效
print(words)
text = '姚明1980年9月12日出生于上海市徐汇区，祖籍江苏省苏州市吴江区震泽镇，前中国职业篮球运动员，司职中锋，现任中职联公司董事长兼总经理。'
knowledge = jiagu.knowledge(text)
print(knowledge)
text = '''
该研究主持者之一、波士顿大学地球与环境科学系博士陈池（音）表示，“尽管中国和印度国土面积仅占全球陆地的9%，但两国为这一绿化过程贡献超过三分之一。考虑到人口过多的国家一般存在对土地过度利用的问题，这个发现令人吃惊。”
NASA埃姆斯研究中心的科学家拉玛·内曼尼（Rama Nemani）说，“这一长期数据能让我们深入分析地表绿化背后的影响因素。我们一开始以为，植被增加是由于更多二氧化碳排放，导致气候更加温暖、潮湿，适宜生长。”
“MODIS的数据让我们能在非常小的尺度上理解这一现象，我们发现人类活动也作出了贡献。”
NASA文章介绍，在中国为全球绿化进程做出的贡献中，有42%来源于植树造林工程，对于减少土壤侵蚀、空气污染与气候变化发挥了作用。
据观察者网过往报道，2017年我国全国共完成造林736.2万公顷、森林抚育830.2万公顷。其中，天然林资源保护工程完成造林26万公顷，退耕还林工程完成造林91.2万公顷。京津风沙源治理工程完成造林18.5万公顷。三北及长江流域等重点防护林体系工程完成造林99.1万公顷。完成国家储备林建设任务68万公顷。
'''
keywords = jiagu.keywords(text, 5) # 关键词
def init_jiagu(self, userdict):
jiagu.load_userdict(userdict)
jiagu.init()
int(my_date.day)).strftime("%Y-%m-%d"))
if __name__ == "__main__":
stock_code_list = ['000513.SZ', '000698.SZ']
trade_date = str(datetime.now().strftime('%Y%m%d'))
last_ten_trady_date = get_last_ten_trady_date(trade_date)
df_market_news = get_market_news(trade_date)
df_stock_message_and_money_flow = pd.DataFrame(columns=[
'tscode', 'message_original', 'message_parsed', 'label', 'score'
])
for i in range(len(stock_code_list)):
stock_code = stock_code_list[i]
stock_concept = get_stock_concept(stock_code)
#加载特定股票的关键词字典
jiagu.load_userdict(stock_concept)
for j in range(len(df_market_news)):
content = df_market_news.loc[j]['content']
#中文分词
words = jiagu.seg(content)
for k in range(len(words)):
if (stock_concept.count(words[k])) > 0:
message_parsed = content + get_stock_money_flow(
stock_code, last_ten_trady_date, trade_date)
df_stock_message_and_money_flow = df_stock_message_and_money_flow.append(
pd.DataFrame(
data={
'tscode': [stock_code],
'message_original': [content],
'message_parsed': [message_parsed],
'label': [0],
import jiagu
import pandas as pd
from pyltp import SentenceSplitter
import re
import data
sens_split = SentenceSplitter()
car_dic=[x.replace("\n",'').strip() for x in open('./corpus/car_dic.txt','r',encoding='utf-8')]
cpt_dic = [y.replace("\n",'').strip() for y in open('./corpus/cpt_dic.txt','r',encoding='utf-8')]
user_dic = [z.replace("\n",'').strip() for z in open('./corpus/user_dict.txt','r',encoding='utf-8')]
jiagu.load_userdict(user_dic)
def to_lower_case(filepath,outpath):
lower_words=[]
with open(filepath,'r',encoding='utf-8') as f:
for word in f.readlines():
flag = re.search('[A-Z]',word)
if flag!=None:
lower_words.append(str(word).lower())
with open(outpath,'w',encoding='utf-8') as w:
for i,word_ in enumerate(lower_words):
print(i)
w.write(word_)
#to_lower_case('./corpus/car_dic.txt','./corpus/lower_car.txt')
def train_test_split(filepath,outpath):
df_train=pd.read_excel(filepath,sheet_name='训练集')
df_test = pd.read_excel(filepath,sheet_name='测试集')
train_row_len = df_train.shape[0]
