GoogleBrain用强化学习为行动装置CNN模型(中)

以往的网络架构搜寻方法中,模型的执行速度通常借助另一种指标参考(比如考虑装置的每秒运算数目),而 GoogleBrain 此次透过在给定的装置上执行模型,直接测量模型的执行时间长短;研究使用的就是自家 Pixel 手机,可直接测量模型在真实环境执行时的具体表现,尤其不同型号的行动装置有不同的软硬件属性,仅凭运算速度这项指标无法概括全部情况;为了达到准确率和执行速度之间的最佳平衡,所需的模型架构也有不同。

伟德娱乐平台
伟德娱乐平台

GoogleBrain 方法的总体流程主要由3个部分组成:一个基于 RNN 的控制器用于学习模型架构并取样,一个训练器用于构建模型并训练模型得到准确率,还有一个推理引擎,会在真实手机上透过 TensorFlow Lite 执行模型、测量模型的执行速度。他们把工作公式化为一个多目标最佳化问题,最佳化过程中得以兼顾高准确率和高执行速度;使用的强化学习算法有个自订反馈函数,可在不断探索时找到帕累托最优的解决方案(如不断提升模型准确率,同时不让执行速度降低)。

伟德娱乐官网
伟德娱乐官网

对网络架构搜寻过程,为了在搜寻弹性和空间大小之间取得平衡,GoogleBrain 研究人员提出一种新的因子分解层级化搜寻空间,设计是把一整个卷积网络分解为一系列按顺序连线的模块,然后用一个层级化搜寻空间决定每个模块的层架构。

为您推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注