快捷搜索:

物理波动力学计算在模拟循环神经网络的应用

(文章滥觞:量子认知)

对人脑神经元收集系统进行抽象建立模型构成的人工神经收集,简称神经收集或类神经收集。神经收集的根基是大年夜量的称为节点的神经元的元素的聚拢,平日以慎密互连的束状排列。简而言之,神经元是具有多个输入和单个输出的特性的细胞。单元的输出是其输入的直接函数,每个单元在输出的总体供献中获得不合的“关注”。这种“留意力”水平称为权重。输出会带有某种阈值效应,仅在神经元跨越这个阈值时才孕育发生引发相应。连接到引发神经元的相关输入被“引发”,该历程在全部收集中进行,直到终极输出。

对神经元行径进行建模的数学形式表示,可所以离散或脉冲形式的模型,这是现在人工智能中常用的数字电子技巧实现的神经元器件;还可所以继续形式表示的模型,这是代表人体中神经细胞活动的最靠近表示,是经由过程模拟电子技巧实现的神经元器件。

用模拟电子技巧实现的神经元器件,称为模拟神经元。用模拟神经元组成的收集称为模拟神经收集。轮回神经收集(Recurrent Neural Network, 简称RNN)是一类以序列数据为输入,在序列的演进偏向进行递归且所有节点,即轮回单元,按链式连接的递归神经收集。模拟轮回神经收集,便是经由过程模拟电子技巧,而不是数字电子技巧,实现的轮回神经收集。

机械进修在履行繁杂的信息处置惩罚义务方面取得了显明成功,例如谋略机视觉识别和机械翻译,这因此前传统谋略措施难以实现的。然则,这些利用法度榜样的谋略需求呈指数级增长,这匆匆使人们努力开拓新的专用硬件平台,以快速高效地履行机械进修模型。此中包括神经形态硬件平台,其架构仿照大年夜脑的生物电路。此外,使用继续物理系统的自然演化来履行谋略的模拟谋略平台也正在成为实现机械进修的紧张偏向。

模拟机械进修供给了更节能、更快速、更符合人的神经收集的平台。基于声学和光学的波物理学是为时变旌旗灯号构建模拟处置惩罚器的自然选择。

近来,斯坦福大年夜学利用物理与电气工程系的钻研团队确定了轮回神经收集中波物理动力学与谋略之间的映射,该映射关系注解,可以应用神经收集的标准练习技巧来练习物理波系统,以进修光阴数据中的繁杂特性。作为示例,钻研职员证清楚明了逆设计的非平均介质可以对原始音频旌旗灯号进行元音分类,由于原始音频旌旗灯号的波形在此平分散并传播,从而实现了与递归神经收集的标准数字实现相称的机能。

为了证实颠簸力学和轮回神经收集之间的等效性,钻研职员确定了轮回神经收集的功能及其与颠簸力学的关系。经由过程在慢慢历程中对每个输入序列成员利用相同的基础操作,轮回神经收集可以将输入序列转换为输出序列。然后,轮回神经收集的暗藏状态将对先前步骤的内存进行编码,以在每个步骤中进行更新。暗藏状态可以保留对以前信息的影象,并懂得数据的光阴布局和经久依附关系。

这样,钻研团队提出了一种基于波的模拟轮回神经收集,具有许多优越的质量指标,从而创立了一个最具盼望的处置惩罚光阴编码信息。应用物理学来履行谋略可能会引发出一个模拟机械进修设备的新平台,以便比其数字同类产品更自然、更有效地履行谋略。钻研团队应用传播介质的大年夜小确定了模拟轮回神经收集暗藏状态的大年夜小及其存储容量。他们注解颠簸方程的动力学在观点上与轮回神经收集等效。这种观点上的联系将为新型的模拟硬件平台铺平蹊径,此中赓续成长的光阴动力学将在物理和大年夜数据处置惩罚中扮演紧张角色。

(责任编辑:fqj)

您可能还会对下面的文章感兴趣: