编辑 | 绿萝
人工智能研究人员在神经网络方面取得了一系列成功，神经网络是大致模仿我们大脑组织方式的计算机程序。但是，尽管进展迅速，神经网络仍然相对不灵活，几乎没有能力即时改变或适应不熟悉的环境。
2020 年，麻省理工学院的两名研究人员领导了一个团队，他们引入了一种基于现实生活智能的新型神经网络——但不是我们自己的。相反，他们从微小的蛔虫秀丽隐杆线虫中获得灵感，以产生他们所谓的液体神经网络。在去年取得突破后，新型网络现在可能具有足够的通用性，可以在某些应用中取代传统网络。
论文地址：https://arxiv.org/abs/2006.04439
加州大学伯克利分校的机器人专家 Ken Goldberg 说，液态神经网络提供了「一种优雅而紧凑的替代方案」。他补充说，实验已经表明，这些网络可以比其他所谓的连续时间神经网络运行得更快、更准确，后者模拟随时间变化的系统。
Ramin Hasani 和 Mathias Lechner 多年前就意识到新设计背后的驱动力，秀丽隐杆线虫可能是一种理想的有机体，可用来弄清楚如何制造能够适应意外的弹性神经网络。这种一毫米长的海底捕食者是少数拥有完整神经系统的生物之一，它能够进行一系列高级行为：移动、寻找食物、睡觉、交配，甚至从经验中学习。「它生活在变化不断的现实世界中，在几乎任何条件下它都能表现良好，」Lechner 说。
对这种低等蠕虫的尊重促使 Lechner 和 Hasani 建立了他们的新液体网络，其中每个神经元都受一个方程式控制，该方程式可以预测其随时间的行为。正如神经元相互联系一样，这些方程式也相互依赖。该网络基本上解决了整个连接方程组，使其能够表征系统在任何给定时刻的状态——这与传统神经网络不同，传统神经网络仅在特定时刻及时给出结果。
「[它们] 只能在一秒、两秒或三秒内告诉你发生了什么，」Lechner 说。「但是像我们这样的连续时间模型可以描述在 0.53 秒或 2.14 秒或你选择的任何其他时间发生的事情。」
液体网络在处理突触（人工神经元之间的连接）的方式上也有所不同。标准神经网络中这些连接的强度可以用一个数字表示，即它的权重。在液体网络中，神经元之间的信号交换是一个由「非线性」函数控制的概率过程，这意味着对输入的响应并不总是成比例的。例如，输入加倍可能导致输出发生更大或更小的变化。这种内在的可变性是网络被称为「流动性」的原因。神经元的反应方式取决于它接收到的输入。
Mathias Lechner（左）和 Ramin Hasani 设想了一种基于秀丽隐杆线虫神经系统的新型灵活神经网络。
虽然传统网络的核心算法是在训练期间设置的，但当这些系统被输入大量数据以校准其权重的最佳值时，液体神经网络更具适应性。麻省理工学院计算机科学与人工智能实验室主任 Daniela Rus 表示：「他们能够根据观察到的输入来改变基本方程式，」特别是改变神经元的反应速度。
展示这种能力的早期测试包括尝试驾驶自动驾驶汽车。传统的神经网络只能以固定的时间间隔分析来自汽车摄像头的视觉数据。液体网络——由 19 个神经元和 253 个突触组成（以机器学习的标准来看是微不足道的）——可能会更加灵敏。「我们的模型可以更频繁地采样，例如，当道路曲折时，」Rus 说，他是本文和其他几篇关于液体网络的论文的合著者。
该模型成功地使汽车保持在正轨，但它有一个缺陷，Lechner 说：「它真的很慢。」 这个问题源于代表突触和神经元的非线性方程——这些方程通常需要在计算机上重复计算才能求解，在最终收敛于一个解之前要经过多次迭代。这项工作通常委托给称为求解器的专用软件包，这些软件包需要分别应用于每个突触和神经元。
在去年的一篇论文中，该团队揭示了一种绕过该瓶颈的新型液体神经网络。这个网络依赖于相同类型的方程，但关键的进步是 Hasani 发现这些方程不需要通过艰苦的计算机计算来求解。相反，网络可以使用几乎精确的或「封闭形式」的解决方案来运行，原则上可以用铅笔和纸来解决。通常，这些非线性方程没有封闭形式的解，但 Hasani 想出了一个足够好用的近似解。
论文地址：https://www.nature.com/articles/s42256-022-00556-7
「拥有一个封闭形式的解意味着你有一个方程式，你可以为其插入参数值并进行基本数学运算，然后你就会得到答案，」Rus 说。「你一次就能得到答案」，而不是让电脑不停地工作，直到确定它足够接近。这减少了计算时间和精力，大大加快了这个过程。
「他们的方法在不牺牲准确性的情况下以几个数量级的优势击败了竞争对手，」伊利诺伊大学厄巴纳-香槟分校的计算机科学家 Sayan Mitra 说。
Hasani 说，除了速度更快之外，他们最新的网络也异常稳定，这意味着该系统可以处理大量输入而不会失控。科罗拉多大学博尔德分校的计算机科学家 Sriram Sankaranarayanan 说：「这里的主要贡献是稳定性和其他优良特性通过其纯粹的结构融入到这些系统中。」 液态网络似乎在他所谓的「最佳点」运行：它们足够复杂，可以让有趣的事情发生，但又不会复杂到导致混乱行为。
目前，麻省理工学院的团队正在用一架自主空中无人机测试他们最新的网络。尽管无人机经过训练可以在森林中航行，但他们已将其转移到剑桥的城市环境中，以了解它如何应对新情况。Lechner 称初步结果令人鼓舞。
除了改进当前模型外，该团队还致力于改进其网络架构。Lechner 说，下一步「是弄清楚我们实际需要多少神经元来执行给定任务。」 该小组还想设计出一种连接神经元的最佳方式。目前，每个神经元都与其他所有神经元相连，但这并不是它在秀丽隐杆线虫中的工作方式，那里的突触连接更具选择性。通过进一步研究蛔虫的接线系统，他们希望确定系统中的哪些神经元应该耦合在一起。
除了自动驾驶和飞行等应用外，液体网络似乎也非常适合分析电力网络、金融交易、天气和其他随时间波动的现象。此外，Hasani 说，最新版本的液体网络可用于「以以前无法实现的规模进行大脑活动模拟。」
Mitra 对这种可能性特别感兴趣。「在某种程度上，这有点诗意，表明这项研究可能正在圆满结束，」他说。「神经网络正在发展到这样的程度，即我们从大自然中汲取的想法可能很快就会帮助我们更好地理解自然。」
参考内容：https://www.quantamagazine.org/researchers-discover-a-more-flexible-apPRoach-to-machine-learning-20230207/
发表评论