神经网络模型不仅可以得到语言模型的参数还顺便得到了词向量,即word embedding(南大周志华翻译成词嵌入),亦即得到了词的向量表示。最早用神经网络的思路训练神经网络的模型是百度IDL的徐伟2000提出的。而这篇《A neural probabilistic langulage model》是Bingio在2003年发表在JMLR上的文章。

Continue reading

Word Representation

in NLP   |    Views

任何信息在计算机内的存储方式都是数字,更加具体的说是0-1的二进制码。为了能够让生活中的语言能够存储于计算机中,我们会给所有的字符(包括字母字符,汉子等所有的其他语言文字)一个编码方式

Continue reading

Convolutional neural network for NLP

in NLP   |    Views

当我们听到卷积神经网络的时候,我们讨论的都是计算机视觉(CV),对于图像,一般都有如下的假设:图像的某个点的像素值与其周围的值相似,也就是说图像具有光滑性。
如果将句子转换成像图像那样的“像素矩阵”,那同样的就可以在sentence上做卷积操作了。
Continue reading

  • page 1 of 1

Wen Jun

author.bio


author.job


Anhui, Hefei