Skip to content

450586509/DLNLP

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

35 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

DLNLP

如何构建LSTM的输入数据(X)和标签(label):

B:begin E:end M:middle S:sigle

例如:小明喜欢自然语言处理的问题

分词后的结果为:小B明E喜B欢E自B然E语B言E处B理E的S问B题E

训练数据:

X = [[[w(小)][w(明)][w(喜)]...]] Y = [[B,E,B,E...]...] 最外层list代表所有的句子,第二层list代表一个句子,第三层list代表一个字的窗口比如w(明)= [小,明,喜]

dataUtils 数据预处理:

  • 将word映射为index
  • 把n个字的句子映射为[x1,x2,x3,...,xn]。其中x_i为list,指w_i的context.
  • dataUtils也计算了[B,E,M,S]的初始概率和相互的转移概率。

About

No description, website, or topics provided.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published