“成长与修剪”人工智能模仿大脑发育，大幅减少能源使用

 
这可能会让父母面对蹒跚学步的生活的每日震撼，但是大脑的复杂性在三岁左右达到顶峰。
在最初的几年中，神经元之间的连接数量实际上激增。之后，大脑开始修剪掉这个庞大的网络中未使用的部分，到我们成年时，大脑的数量减少到大约一半。过度配置幼儿大脑可以使我们掌握语言并发展精细的运动技能。但是我们不使用的东西，我们会输。
现在，生物复杂性的起伏不定激发了普林斯顿大学的一个研究团队创建一种人工智能的新模型，创建了仅使用一小部分能量即可达到或超过行业标准的程序。在今年早些时候发表的两篇论文中，研究人员展示了如何从简单的AI网络设计开始，如何通过添加人工神经元和连接来扩展网络，然后修剪掉未使用的部分，从而获得精简但高效的最终产品。
电气工程学教授Niraj Jha表示：“我们的方法就是所谓的“成长与修剪”范式。 “这与从婴儿时期到蹒跚学步的大脑相似。”第三年，人类的大脑开始切断脑细胞之间的联系。这个过程一直持续到成年期，因此发育成熟的大脑大约在其突触峰的一半处运作。
贾哈说：“成人大脑专长于我们提供的任何训练。” “对于通用学习而言，它不如学步儿童大脑好。”
不断增长和修剪的软件所需的计算能力只有一小部分，因此所消耗的能源要少得多，从而可以对世界做出同样好的预测。限制能源使用对于将这种先进的AI(称为机器学习)应用于手机和手表等小型设备至关重要。
“在本地运行机器学习模型非常重要，因为(传输到云)需要大量精力，”前普林斯顿大学研究生，两篇论文的第一作者戴晓亮说。戴现在是Facebook的研究科学家。
在第一项研究中，研究人员重新检查了机器学习的基础-称为人工神经网络的抽象代码结构。该团队从儿童早期的发展中汲取了灵感，设计了一种神经网络综合工具(NeST)，该工具可以使用1980年代首次开发的复杂数学模型从头开始自动重新创建几个顶级神经网络。
NeST仅从少量的人工神经元和连接开始，通过向网络中添加更多的神经元和连接来增加复杂性，一旦达到给定的性能基准，它就会随着时间和训练而缩小。以前的研究人员采用了类似的修剪策略，但是从“婴儿大脑”到“幼儿大脑”，向“成人大脑”瘦身的“成长与修剪”组合代表了从旧理论到新颖演示的飞跃。
第二篇论文包括Facebook和加州大学伯克利分校的合作者，介绍了一个名为Chameleon的框架，该框架以预期的结果开始，然后向后寻找合适的工具。在设计的特定方面有成千上万种变化可用，工程师面临的选择悖论远远超出了人的能力。例如：推荐电影的架构看起来并不像识别肿瘤的架构。针对肺癌调整的系统看起来与针对宫颈癌的系统不同。老年痴呆症助手对于男女可能看起来有所不同。等等，是无限的。
贾(Jha)将Chameleon描述为引导工程师朝着有利的设计子集发展。贾哈说：“这给了我一个很好的邻居，我可以在CPU分钟内完成它。”他指的是计算过程时间的度量。 “因此，我可以很快获得最佳的体系结构。”而不是整个庞大的大都市，仅需搜索几条街道即可。
Chameleon的工作方式是训练并抽样比较少量的代表多种选择的体系结构，然后在给定的条件下预测这些设计的性能。 Facebook的博客文章称，由于它可以削减前期成本并在精益平台上运行，因此高度自适应的方法“可以为目前尚无资源利用这项技术的研究组织扩展对神经网络的访问”。