第130章 步步紧逼的追赶者(下)（1 / 2）

第130章步步紧逼的追赶者(下

哈雷·普莱斯知道埃克莱尔·基尔卡加所说的LSTM神经网络。

LSTM神经网络更确切的称呼应该叫做“长短期记忆神经网络”。

这是一种特殊的循环神经网络。

相比普通的循环神经网路，长短期记忆神经网络在应用中对间隙长度不敏感。

这是长短期记忆神经网络的一个优势，使得其能够在处理更长的序列中有不错的表现。

哈雷·普雷斯仔细回想LINHUI在技术路线中所描述算法特征以及南风APP这款软件的实际表现。

LINHUI在生成式摘要算法中提到的技术路线里面明确表示了要将文本信息通过向量来实现序列化标记之后再进一步处理。

而长短期记忆神经网络恰好可以处理长序列文本。

LINHUI鼓捣的算法在处理文本摘要时具有极高的准确性。

而长短期记忆神经网络在处理实际问题的时候一大特点就是具有颇高的准确性。

LINHUI依托于生成式摘要算法鼓捣出来的南风APP一次只能处理一条新闻摘要。

而长短期记忆神经网络的缺点就是结构较为复杂，并行处理上存在劣势。

如果LINHUI的算法只是一个方面和长短期记忆神经网络特性比较吻合。

哈雷·普莱斯或许会以为只是个巧合。

但现在，三个小概率事件凑到一块。

哈雷·普莱斯觉得并不是简单的巧合。

他越发感觉埃克莱尔·基尔卡加的推断是正确的，不由得感慨道：

“我说为什么LINHUI算法中应用的那个神经网络有循环神经网络的影子但又和传统的循环神经网络有些不一样呢，原来用的居然是长短期记忆神经网络。

埃克莱尔·基尔卡加还真有你的！居然能想到这个这个方向。

说实话，我一开始虽然觉得LINHUI算法中应用的神经网络特性有点怪异。

但是还真没往长短期记忆神经网络那个方向想……”

埃克莱尔·基尔卡加能理解哈雷·普莱斯为什么没在第一时间想到长短期记忆神经网络。

近几年长短期记忆神经网络主要都是用于语音识别方面的原因。

现在这个阶段一般的研究学者还真不会想到会将长短期记忆神经网络用在文本摘要这方面。

不过理论上讲将长短期记忆神经网络神经网路用于文本识别方面完全是可行的。

但具体如何将长短期记忆神经网络应用于文本识别，暂时埃克莱尔·基尔卡加也不太清楚。

这个还需要一段时间的研究来探索。

哈雷·普莱斯没有想到长短期记忆神经网络神经网路应该还有另一方面的原因。

因为长短期记忆神经网络并不是什么新鲜玩意。

Hochreiter和Schmidhuber于1997年提出了长短期记忆神经网络。

距今天已经将近二十年了，可以说是很久远了。

虽然长短期记忆神经网络在处理长序列文本的时候可能会有一定的优势。

但实际上当初提出长短期记忆神经网络并不是为了文本处理。

当时之所以提出长短期记忆神经网络神经网路是为了处理训练传统循环神经网路时可能遇到的梯度消失和梯度爆炸问题。

在机器学习中，用基于梯度的学习方法和反向传播训练人工神经网络时。

有时会遇到梯度消失和梯度爆炸的问题。

这两种情况都不是研究人员希望看到的情况。

出现梯度消失或梯度爆炸后，原本的深度学习根本深不起来，只能说是浅度学习。

个别极端情况，别说浅度学习了，连最起码的机器学习都做不到。

总而言之，梯度消失和梯度爆炸问题会极大地降低利用神经网络的深度学习的训练效率。