GitHub

本仓库,项目汇总说明:

albert的配置:

huggingface项目中重要例子/transformers/src/transformers/configuration_albert.py

所有的albert使用model,看接哪个头适合. C:\Users\Administrator.PyCharm2019.3\system\remote_sources-456540730-337502517\transformers\modeling_albert.py

经典textrank算法做ext: 中国搜索/TextRank4ZH-master/example/example01.py

人脸/facenet-pytorch/examples

是人脸识别项目包含识别,检测,和训练代码.

22222222/gector-master2/train_finetune_latest3.py

 是 纠错最终版本(对原有开源模型进行了多种加强和bug修复.)

PreSumm2\src\train2.py

 是extract 模型. 输入一段句子, 返回最有用的句子的index (index从0开始计数) (没有对原有开源模型进行加强,只是简单的函数封装.)

PreSumm2/src/train3.py

是abs模型.     输入一段句子, /output_abs.txt 会返回abs.

ctrl模型:

ctrl模型/ctrl原始代码/ctrl/pytorch_generation.py

这个直接运行就会返回所有生成的过程.

ctrl模型/run_generation (2)_for_ctrl.py

更简洁的hugging-face generate代码.

ctrl模型/ctrl原始代码/ctrl/training_utils/training.py ctrl模型训练代码.还没调通.

一些其他的翻页和nlg任务:

一些可以直接调用的nlp算法/一些语言之间的翻译和生成.md

中文nlg: gpt2做中文nlg/gpt2-ml-master/demo2.py 直接运行即可. 然后输入点汉子,就会后面续写.

中文nlg自己训练,加运行的代码: gpt2做中文nlg/GPT2-Chinese-master修改为mega版本/README.md

python加速算法:

量化/main

欢迎有爱的童鞋扫码

Name		Name	Last commit message	Last commit date
Latest commit History 44 Commits
.idea		.idea
1212121		1212121
22222222		22222222
333		333
444		444
56565		56565
898989		898989
8989谢兄pickle处理bug		8989谢兄pickle处理bug
99999999999999		99999999999999
Learning3学学fairseq		Learning3学学fairseq
MASS		MASS
MPNet-master		MPNet-master
PreSumm		PreSumm
PreSumm2		PreSumm2
albert-master		albert-master
albert使用		albert使用
beamSearch讲解		beamSearch讲解
bert-nmt-master		bert-nmt-master
bert获取中文vec		bert获取中文vec
bpe算法		bpe算法
ctrl模型		ctrl模型
examples_in_fariseq都是非常重要的例子		examples_in_fariseq都是非常重要的例子
gat网络		gat网络
gpt2做中文nlg		gpt2做中文nlg
huggingface项目中重要例子		huggingface项目中重要例子
jiexi2-master加很多工具		jiexi2-master加很多工具
kmp		kmp
lianghua		lianghua
otehr		otehr
other		other
pic		pic
roberta_zh-master		roberta_zh-master
transformer666		transformer666
tutorial		tutorial
utils_for_bert翻译峰哥		utils_for_bert翻译峰哥
vae算法		vae算法
wordpiece算法实际代码		wordpiece算法实际代码
一些nlp常用的库包看看		一些nlp常用的库包看看
一些可以直接调用的nlp算法		一些可以直接调用的nlp算法
下载google盘		下载google盘
中国搜索		中国搜索
人脸		人脸
传统方法做nlg		传统方法做nlg
元学习		元学习
区块链		区块链
句子分割算法		句子分割算法
垃圾		垃圾
如何引入上级库包		如何引入上级库包
学习fairseq		学习fairseq
学习roberta		学习roberta
学习一些c代码		学习一些c代码
差分隐私		差分隐私
摘要算法		摘要算法
文本生成		文本生成
服务器网页展示		服务器网页展示
生成器装饰器		生成器装饰器
看看glue任务		看看glue任务
看看langid源码		看看langid源码
知识图谱项目		知识图谱项目
研究yolov4		研究yolov4
跑教程		跑教程
这个文件夹用来存一个相关的项目包可以作为工具来使用		这个文件夹用来存一个相关的项目包可以作为工具来使用
量化		量化
1		1
11.png		11.png
111.png		111.png
111.py		111.py
1111111.py		1111111.py
111111111.py		111111111.py
11111111tokenize算法.py		11111111tokenize算法.py
1_abs.txt		1_abs.txt
2		2
22222222222.py		22222222222.py
2312312.py		2312312.py
344234.py		344234.py
565645645.py		565645645.py
56565656.py		56565656.py
66666666.py		66666666.py
7878787.py		7878787.py
__init__.py		__init__.py
bertChineseVec.py		bertChineseVec.py
gpt2做中文nlg.rar		gpt2做中文nlg.rar
m_Style2.PNG		m_Style2.PNG
mass文本生成.pdf		mass文本生成.pdf
readme.md		readme.md
readme日常开发规范		readme日常开发规范
成功selium.py		成功selium.py
提交任务.docx		提交任务.docx
检测电脑端口是否打开.py		检测电脑端口是否打开.py

yf1291/nlp3

Folders and files

Latest commit

History