当前位置:首页 » 网络杂谈 » 正文

神经网络引擎——Google推出用于训练稀疏神经网络的RigL算法

36229 人参与  2020年12月26日 15:22  分类 : 网络杂谈  评论

如今大多数AI模型都基于人工神经网络。这些神经网络由通过软件连接链接在一起的人工神经元系统组成。这些连接通过传递数据将不同的输入连接到不同的输出,执行数学算法以生成最佳结果。相同的数据路径很多,但是在许多AI模型中只使用了其中的一小部分,而其他的则未使用,占用了大量空间。这可能会导致模型变慢。神经网络引擎-

为了克服这个问题,Google最近发布了RigL,该算法可以使基于神经网络的人工智能模型更加高效。它通过在模型的训练阶段对神经网络的结构进行策略性调整来消除无用的连接,从而实现这一目标。

为了测试RigL,研究人员使用图像处理模型来分析不同字符的图像。在模型的训练阶段,RigL观察到只需要在前景图像中跳过背景图像即可对其进行处理。因此,它删除了用于处理背景像素的连接,并添加了新的更有效的连接。神经网络引擎

Google声称,即使RigL删除了某些连接,也不会影响模型的准确性。在一项测试中,Google研究人员使用RigL删除了ResNet-模型的%的连接。最终的神经网络获得了与原始神经网络相当的准确性。在另一个实验中,研究人员将ResNet-缩小了%,但仍达到了.%的最大精度。

并非只有Google的RigL会尝试压缩神经网络以提高准确性。有许多方法可以做到这一点,但是它们通常会损害模型的准确性。Google声称可以达到更高的准确性,同时所需的FLOP数比迄今为止最成功的三种替代技术少。因此RigL可以同时实现精度和效率。神经网络引擎-

本文链接:http://www.woshiqian.com/post/54519.html

百度分享获取地址:https://share.baidu.com/code
神经网络引擎  

我是钱微信/QQ:5087088

广告位、广告合作QQ:5087088

<< 上一篇 下一篇 >>

  • 评论(0)
  • 赞助本站

       

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。