def pred_input(path_hyper_parameter=path_hyper_parameters):
# 输入预测
# 加载超参数
hyper_parameters = load_json(path_hyper_parameter)
pt = PreprocessText()
# 模式初始化和加载
graph = Graph(hyper_parameters)
graph.load_model()
ra_ed = graph.word_embedding
ques = '我要打王者荣耀'
# str to token
ques_embed = ra_ed.sentence2idx(ques)
if hyper_parameters['embedding_type'] == 'bert':
x_val_1 = np.array([ques_embed[0]])
x_val_2 = np.array([ques_embed[1]])
x_val = [x_val_1, x_val_2]
else:
x_val = ques_embed
# 预测
pred = graph.predict(x_val)
# 取id to label and pred
pre = pt.prereocess_idx(pred[0])
print(pre)
while True:
print("请输入: ")
ques = input()
ques_embed = ra_ed.sentence2idx(ques)
print(ques_embed)
if hyper_parameters['embedding_type'] == 'bert':
x_val_1 = np.array([ques_embed[0]])
x_val_2 = np.array([ques_embed[1]])
x_val = [x_val_1, x_val_2]
else:
x_val = ques_embed
pred = graph.predict(x_val)
pre = pt.prereocess_idx(pred[0])
print(pre)
def train(hyper_parameters=None, rate=1.0):
"""
训练函数
:param hyper_parameters: json, 超参数
:param rate: 比率, 抽出rate比率语料取训练
:return: None
"""
if not hyper_parameters:
hyper_parameters = {
'len_max': 32, # 句子最大长度, 固定 推荐20-50
'embed_size': 768, # 字/词向量维度
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的, 即控制可不可以微调
'level_type': 'char', # 级别, 最小单元, 字/词, 填 'char' or 'word'
'embedding_type':
'xlnet', # 级别, 嵌入类型, 还可以填'xlnet'、'random'、 'bert' or 'word2vec"
'gpu_memory_fraction': 0.76, #gpu使用率
'model': {
'label': 17, # 类别数
'batch_size':
2, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
'filters': [2, 3, 4, 5], # 卷积核尺寸
'filters_num': 300, # 卷积个数 text-cnn:300-600
'channel_size': 1, # CNN通道数
'dropout': 0.5, # 随机失活, 概率
'decay_step': 1000, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.9, # 学习率衰减系数, 乘法
'epochs': 20, # 训练最大轮次
'patience': 3, # 早停,2-3就好
'lr': 5e-5, # 学习率, 对训练会有比较大的影响, 如果准确率一直上不去,可以考虑调这个参数
'l2': 1e-9, # l2正则化
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'is_training': True, # 训练后者是测试模型
'model_path': path_model,
# 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters':
path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture':
path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
},
'embedding': {
'layer_indexes': [0, 1,
24], # bert/xlnet取的层数,包括embedding层0，其他是正常的层
# 'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址, keras-bert可以加载谷歌版bert,百度版ernie(需转换，https://github.com/ArthurRizar/tensorflow_ernie),哈工大版bert-wwm(tf框架，https://github.com/ymcui/Chinese-BERT-wwm)
'xlnet_embed': {
'attention_type': 'bi', # or 'uni'
'memory_len': 0,
'target_len': 32,
},
},
'data': {
'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型\embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed,
rate=rate,
shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed,
rate=rate,
shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time() - time_start))
def train(hyper_parameters=None, rate=1.0):
if not hyper_parameters:
hyper_parameters = {
'len_max':
5, # 句子最大长度, 固定推荐20-50, bert越长会越慢, 占用空间也会变大, 本地win10-4G设为20就好, 过大小心OOM
'embed_size': 768, # 字/词向量维度, bert取768, word取300, char可以更小些
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的, 即控制可不可以微调
'level_type':
'char', # 级别, 最小单元, 字/词, 填 'char' or 'word', 注意:word2vec模式下训练语料要首先切好
'embedding_type':
'bert', # 级别, 嵌入类型, 还可以填'random'、 'bert' or 'word2vec"
'gpu_memory_fraction': 0.66, #gpu使用率
'model': {
'label': 17, # 类别数
'batch_size':
32, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
'dropout': 0.5, # 随机失活, 概率
'decay_step': 100, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.9, # 学习率衰减系数, 乘法
'epochs': 20, # 训练最大轮次
'patience': 3, # 早停,2-3就好
'lr':
5e-5, # 学习率,bert取5e-5,其他取1e-3, 对训练会有比较大的影响, 如果准确率一直上不去,可以考虑调这个参数
'l2': 1e-9, # l2正则化
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'is_training': True, # 训练后者是测试模型
'model_path': path_model,
# 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters':
path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture':
path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
},
'embedding': {
'layer_indexes': [12], # bert取的层数
# 'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址, keras-bert可以加载谷歌版bert,百度版ernie(需转换，https://github.com/ArthurRizar/tensorflow_ernie),哈工大版bert-wwm(tf框架，https://github.com/ymcui/Chinese-BERT-wwm)
},
'data': {
'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型和embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed,
rate=rate,
shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed,
rate=rate,
shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time() - time_start))
def train(hyper_parameters=None, rate=1.0):
if not hyper_parameters:
hyper_parameters = {
'len_max':
50, # 句子最大长度, 固定推荐20-50, bert越长会越慢, 占用空间也会变大, 本地win10-4G设为20就好, 过大小心OOM
'embed_size': 300, # 字/词向量维度, bert取768, word取300, char可以更小些
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的, 即控制可不可以微调
'level_type':
'char', # 级别, 最小单元, 字/词, 填 'char' or 'word', 注意:word2vec模式下训练语料要首先切好
'embedding_type':
'random', # 级别, 嵌入类型, 还可以填'random'、 'bert' or 'word2vec"
'gpu_memory_fraction': 0.66, #gpu使用率
'model': {
'label': 17, # 类别数
'batch_size':
32, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
# only VDCNN
'top_k': 2, # k-max pooling
'pool_type': 'max', # 池化选择, 可以选"max"、"avg"、"conv"
'shortcut': True, # resnet方案
# 论文参数, 长文本, long sentence, ,max_len=256 or 1024 ans so on
'filters': [[64, 1], [128, 1], [256, 1],
[512, 1]], # 9 layer, 256 len max
# 'filters': [[64, 2], [128, 2], [256, 2], [512, 2]], # 17 layer
# 'filters': [[64, 5], [128, 5], [256, 2], [512, 2]], # 29 layer
# 'filters': [[64, 8], [128, 8], [256, 5], [512, 3]], # 49 layer, 1024 len max
# 自己设置的,效果不太佳, 短文本, short sentence, ,max_len=32 or 64 ans so on
# 'filters': [[3, 8], [6, 8], [12, 5], [24, 3]], # 49 layer
# 'filters': [[4, 8], [8, 8], [16, 5], [32, 3]], # 49 layer
# 'filters': [[3, 1], [6, 1], [12, 1], [24, 1]], # 9 layer
# 'filters': [[4, 1], [8, 1], [16, 1], [32, 1]], # 9 layer
'channel_size': 1, # CNN通道
'dropout': 0.32, # 随机失活, 概率
'decay_step': 100, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.9, # 学习率衰减系数, 乘法
'epochs': 20, # 训练最大轮次
'patience': 3, # 早停,2-3就好
'lr':
1e-3, # 学习率,bert取5e-5,其他取1e-3, 对训练会有比较大的影响, 如果准确率一直上不去,可以考虑调这个参数
'l2': 1e-9, # l2正则化
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'is_training': True, # 训练后者是测试模型
'model_path':
path_model, # 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters':
path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture':
path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
},
'embedding': {
'layer_indexes': [12], # bert取的层数
# 'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址
},
'data': {
'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型和embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed,
rate=rate,
shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed,
rate=rate,
shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time() - time_start))
def train(hyper_parameters=None, rate=1.0):
"""
训练函数
:param hyper_parameters: json, 超参数
:param rate: 比率, 抽出rate比率语料取训练
:return: None
"""
if not hyper_parameters:
hyper_parameters = {
'len_max': 50, # 句子最大长度, 固定 推荐20-50
'embed_size': 768, # 字/词向量维度
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的
'level_type': 'char', # 级别, 最小单元, 字/词, 填 'char' or 'word'
'embedding_type':
'random', # 级别, 嵌入类型, 还可以填'random'、 'bert' or 'word2vec"
'gpu_memory_fraction': 0.66, # gpu使用率
'model': {
'label': 17, # 类别数
'batch_size':
64, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
'dropout': 0.1, # 随机失活, 概率
'decay_step': 100, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.9, # 学习率衰减系数, 乘法
'epochs': 50, # 训练最大轮次
'patience': 5, # 早停,2-3就好
'lr': 1e-3, # 学习率, 对训练会有比较大的影响, 如果准确率一直上不去,可以考虑调这个参数
'l2': 1e-9, # l2正则化
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'is_training': True, # 训练后者是测试模型
'model_path':
path_model, # 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_fineture':
path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
'path_hyper_parameters':
path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'droupout_spatial': 0.25,
'encoder_num': 1,
'head_num': 12,
'hidden_dim': 3072,
'attention_activation': 'relu',
'feed_forward_activation': 'relu',
'use_adapter': False,
'adapter_units': 768,
'adapter_activation': 'relu',
},
'embedding': {
'layer_indexes': [12], # bert取的层数,
# 'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址
},
'data': {
'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型\embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed,
rate=rate,
shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed,
rate=rate,
shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time() - time_start))
def pred_tet(path_hyper_parameter=path_hyper_parameters,
path_test=None,
rate=1.0):
"""
测试集测试与模型评估
:param hyper_parameters: json, 超参数
:param path_test:str, path of test data, 测试集
:param rate: 比率, 抽出rate比率语料取训练
:return: None
"""
hyper_parameters = load_json(path_hyper_parameter)
if path_test: # 从外部引入测试数据地址
hyper_parameters['data']['val_data'] = path_test
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
graph.load_model()
print("graph load ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText(path_model_dir)
y, x = read_and_process(hyper_parameters['data']['val_data'])
# 取该数据集的百分之几的语料测试
len_rate = int(len(y) * rate)
x = x[1:len_rate]
y = y[1:len_rate]
y_pred = []
count = 0
for x_one in x:
count += 1
ques_embed = ra_ed.sentence2idx(x_one)
if hyper_parameters['embedding_type'] in ['bert',
'albert']: # bert数据处理, token
x_val_1 = np.array([ques_embed[0]])
x_val_2 = np.array([ques_embed[1]])
x_val = [x_val_1, x_val_2]
else:
x_val = ques_embed
# 预测
pred = graph.predict(x_val)
pre = pt.prereocess_idx(pred[0])
label_pred = pre[0][0][0]
if count % 1000 == 0:
print(label_pred)
y_pred.append(label_pred)
print("data pred ok!")
# 预测结果转为int类型
index_y = [pt.l2i_i2l['l2i'][i] for i in y]
index_pred = [pt.l2i_i2l['l2i'][i] for i in y_pred]
target_names = [
pt.l2i_i2l['i2l'][str(i)] for i in list(set((index_pred + index_y)))
]
# 评估
report_predict = classification_report(index_y,
index_pred,
target_names=target_names,
digits=9)
print(report_predict)
print("耗时:" + str(time.time() - time_start))
def train(hyper_parameters=None, rate=1.0):
if not hyper_parameters:
hyper_parameters = {
'len_max': 50, # 句子最大长度, 固定推荐20-50, bert越长会越慢, 占用空间也会变大, 小心OOM
'embed_size': 150, # 字/词向量维度, bert取768, word取300, char可以更小些
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的, 即控制可不可以微调
'level_type':
'char', # 级别, 最小单元, 字/词, 填 'char' or 'word', 注意:word2vec模式下训练语料要首先切好
'embedding_type':
'random', # 级别, 嵌入类型, 还可以填'xlnet'、'random'、 'bert'、 'albert' or 'word2vec'
# 'gpu_memory_fraction': 0.76, #gpu使用率
'model': {
'label': 17, # 类别数
'batch_size':
512, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
'filters': [3, 4, 5], # 卷积核尺寸
'filters_num': 300, # 卷积个数 text-cnn:300-600
'channel_size': 1, # CNN通道数
'dropout': 0.5, # 随机失活, 概率
'decay_step': 1000, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.999, # 学习率衰减系数, 乘法
'epochs': 20, # 训练最大轮次
'patience': 6, # 早停,2-3就好
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'optimizer_name':
'Adam', # 优化器, 可选['Adam', 'Radam', 'RAdam,Lookahead'], win10下必须使用GPU, 原因未知
'is_training': True, # 训练后者是测试模型
'model_path': path_model,
# 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters':
path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture':
path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
},
'embedding': {
'layer_indexes': [24], # bert取的层数
},
'data': {
'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型\embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print('graph init ok!')
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText(path_model_dir)
x_train, y_train = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed,
rate=rate,
shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed,
rate=rate,
shuffle=True)
print('data propress ok!')
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print('耗时:' + str(time.time() - time_start))
def train(hyper_parameters=None, rate=1.0):
if not hyper_parameters:
hyper_parameters = {
'len_max': 50, # 句子最大长度, 固定推荐20-50, bert越长会越慢, 占用空间也会变大, 本地win10-4G设为20就好, 过大小心OOM
'embed_size': 300, # 字/词向量维度, bert取768, word取300, char可以更小些
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的, 即控制可不可以微调
'level_type': 'char', # 级别, 最小单元, 字/词, 填 'char' or 'word', 注意:word2vec模式下训练语料要首先切好
'embedding_type': 'random', # 级别, 嵌入类型, 还可以填'random'、 'bert' or 'word2vec"
'gpu_memory_fraction': 0.66, #gpu使用率
'model': {'label': 17, # 类别数
'batch_size': 32, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
'filters': 3, # 固定feature maps(filters)的数量
'filters_num': 256,
'channel_size': 1,
'dropout': 0.5, # 随机失活, 概率
'decay_step': 100, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.9, # 学习率衰减系数, 乘法
'epochs': 20, # 训练最大轮次
'patience': 3, # 早停,2-3就好
'lr': 1e-3, # 学习率,bert取5e-5,其他取1e-3, 对训练会有比较大的影响, 如果准确率一直上不去,可以考虑调这个参数
'l2': 1e-9, # l2正则化
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'is_training': True, # 训练后者是测试模型
'model_path': path_model, # 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters': path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture': path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
# only DPCNN
'pooling_size_strides': [3, 2], # 固定1/2池化
'droupout_spatial': 0.2, # 作用是字/词/句向量某些维度覆盖,与dropout作用相同
'activation_conv': 'linear', # Shortcut connections with pre-activation
'layer_repeats': 7, # 小单元block,重复次数
'full_connect_unit': 256, # 全连接层隐藏元
},
'embedding': {'layer_indexes': [12], # bert取的层数
# 'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址
},
'data':{'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型和embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed, rate=rate, shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed, rate=rate, shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time()-time_start))
def train(hyper_parameters=None, rate=1.0):
"""
训练函数
:param hyper_parameters: json, 超参数
:param rate: 比率, 抽出rate比率语料取训练
:return: None
"""
if not hyper_parameters:
hyper_parameters = {
'len_max': 50, # 句子最大长度, 固定 推荐20-50
'embed_size': 300, # 字/词向量维度
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': True, # embedding是静态的还是动态的, 即控制可不可以微调
'level_type': 'char', # 级别, 最小单元, 字/词, 填 'char' or 'word'
'embedding_type':
'random', # 级别, 嵌入类型, 还可以填'random'、 'bert' or 'word2vec"
'gpu_memory_fraction': 0.66, #gpu使用率
'model': {
'label':
17, # 类别数
'batch_size':
32, # 批处理尺寸, 感觉原则上越大越好,尤其是样本不均衡的时候, batch_size设置影响比较大
'filters': [2, 3, 4, 5], # 卷积核尺寸
'filters_num':
300, # 卷积个数 text-cnn:300-600
'channel_size':
1, # CNN通道数
'dropout':
0.5, # 随机失活, 概率
'decay_step':
100, # 学习率衰减step, 每N个step衰减一次
'decay_rate':
0.9, # 学习率衰减系数, 乘法
'epochs':
20, # 训练最大轮次
'patience':
3, # 早停,2-3就好
'lr':
1e-3, # 学习率, 对训练会有比较大的影响, 如果准确率一直上不去,可以考虑调这个参数
'l2':
1e-9, # l2正则化
'activate_classify':
'softmax', # 最后一个layer, 即分类激活函数
'loss':
'categorical_crossentropy', # 损失函数
'metrics':
'accuracy', # 保存更好模型的评价标准
'is_training':
True, # 训练后者是测试模型
'model_path':
path_model,
# 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters':
path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture':
path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
# only charCNN_kim
'char_cnn_layers':
[[50, 1], [100, 2], [150, 3], [200, 4], [200, 5], [200, 6],
[200, 7]
], # [[25, 1], [50, 2], [75, 3], [100, 4], [125, 5], [150, 6]]) # small
'highway_layers':
2, # highway_layers个数
'num_rnn_layers':
2, # num_rnn_layers个数
'rnn_type':
'LSTM', # rnn_type类型
'rnn_units':
650, # RNN隐藏层, large is 650, small is 300
'len_max_word':
30, # 最大词语长度,
},
'embedding': {
'layer_indexes': [12], # bert取的层数,
# 'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址
},
'data': {
'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
},
}
# 删除先前存在的模型\embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed,
rate=rate,
shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(
hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed,
rate=rate,
shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time() - time_start))
sys.path.append(project_path)
# 地址
from keras_textclassification.conf.path_config import path_model, path_fineture, path_model_dir, path_hyper_parameters
# 训练验证数据地址
from keras_textclassification.conf.path_config import path_baidu_qa_2019_train, path_baidu_qa_2019_valid
# 数据预处理, 删除文件目录下文件
from keras_textclassification.data_preprocess.text_preprocess import PreprocessText, read_and_process, load_json
# 模型图
from keras_textclassification.m02_TextCNN.graph import TextCNNGraph as Graph
import numpy as np
# flask
from flask import Flask, request, jsonify
app = Flask(__name__)
hyper_parameters = load_json(path_hyper_parameters)
pt = PreprocessText(path_model_dir)
# 模式初始化和加载
graph = Graph(hyper_parameters)
graph.load_model()
ra_ed = graph.word_embedding
ques = '我要打王者荣耀'
# str to token
ques_embed = ra_ed.sentence2idx(ques)
if hyper_parameters['embedding_type'] in ['bert', 'albert']:
x_val_1 = np.array([ques_embed[0]])
x_val_2 = np.array([ques_embed[1]])
x_val = [x_val_1, x_val_2]
else:
x_val = ques_embed
# 预测
pred = graph.predict(x_val)
def train(hyper_parameters=None, rate=1.0):
"""
训练函数
:param hyper_parameters: json, 超参数
:param rate: 比率, 抽出rate比率语料取训练
:return: None
"""
if not hyper_parameters:
hyper_parameters = {
'len_max': 50, # 句子最大长度, 固定 推荐20-50
'embed_size': 96, # 字/词向量维度
'vocab_size': 20000, # 这里随便填的，会根据代码里修改
'trainable': False, # embedding是静态的还是动态的
'level_type': 'char', # 级别, 最小单元, 字/词, 填 'char' or 'word'
'embedding_type': 'random', # 级别, 嵌入类型, 还可以填'random'、 'bert' or 'word2vec"
'model': {'label': 17, # 类别数
'batch_size': 64, # 批处理尺寸
'filters': [3, 4, 5], # 卷积核尺寸
'filters_num': 300, # 卷积个数 text-cnn:300-600
'channel_size': 3, # CNN通道数
'dropout': 0.5, # 舍弃概率
'decay_step': 100, # 学习率衰减step, 每N个step衰减一次
'decay_rate': 0.9, # 学习率衰减系数, 乘法
'epochs': 20, # 训练最大轮次
'lr': 1e-3, # 学习率
'l2': 1e-9, # l2正则化
'activate_classify': 'softmax', # 最后一个layer, 即分类激活函数
'loss': 'categorical_crossentropy', # 损失函数
'metrics': 'accuracy', # 保存更好模型的评价标准
'is_training': True, # 训练后者是测试模型
'model_path': path_model,
# 模型地址, loss降低则保存的依据, save_best_only=True, save_weights_only=True
'path_hyper_parameters': path_hyper_parameters, # 模型(包括embedding)，超参数地址,
'path_fineture': path_fineture, # 保存embedding trainable地址, 例如字向量、词向量、bert向量等
'routings': 1,
'dim_capsule': 16,
},
'embedding': {'layer_indexes': [12], # bert取的层数,
'corpus_path': '', # embedding预训练数据地址,不配则会默认取conf里边默认的地址
},
'data': {'train_data': path_baidu_qa_2019_train, # 训练数据
'val_data': path_baidu_qa_2019_valid # 验证数据
}, }
# 删除先前存在的模型\embedding微调模型等
delete_file(path_model_dir)
time_start = time.time()
# graph初始化
graph = Graph(hyper_parameters)
print("graph init ok!")
ra_ed = graph.word_embedding
# 数据预处理
pt = PreprocessText()
x_train, y_train = pt.preprocess_label_ques_to_idx(hyper_parameters['embedding_type'],
hyper_parameters['data']['train_data'],
ra_ed, rate=rate, shuffle=True)
x_val, y_val = pt.preprocess_label_ques_to_idx(hyper_parameters['embedding_type'],
hyper_parameters['data']['val_data'],
ra_ed, rate=rate, shuffle=True)
print("data propress ok!")
print(len(y_train))
# 训练
graph.fit(x_train, y_train, x_val, y_val)
print("耗时:" + str(time.time() - time_start))
