阿里巴巴机器智能团队

阿里巴巴机器智能实验室线下智能团队开始涉足线下智能领域。探索至今，算法方面，他们提出了自主研发的模型压缩方法，新型模型结构和目标检测框架；工程方面，他们研发出一套非数据依赖的量化训练工具，并且针对不同硬件平台，研发了高效推理计算库；同时，他们也和服务器研发团队一起抽象出了一套软硬件产品化方案，以服务多样的业务形式，并在真实业务场景中实验落地。

在今天这篇文章中，阿里翎翀将从算法探索、训练工具、推理框架、产品化和业务模式等方面对此前的工作做出总结和分享，正文如下，雷锋网(公众号：雷锋网) AI 科技评论获其授权转载。

算法探索

基于 ADMM 的低比特量化

低比特量化是模型压缩（ ModelCompression）和推理加速（Inference Acceleration）中一个核心的问题，目的是将神经网络中原有的浮点型参数量化成 1-8Bits 的定点参数，从而减小模型大小和计算资源消耗。为了解决这个问题，我们提出了基于 ADMM（Alternating Direction Method ofMultipliers）的低比特量化方案。在公开数据集 ImageNet 上，我们在 Alexnet，ResNet-18，Resnet-50 等经典 CNN 网络结构上做了实验，无论是精度上还是速度上均超过了目前已知的算法。我们可以在 3-bit 上面做到几乎无损压缩。目前该方法已经被广泛应用到各种端上目标检测和图像技术可以通过简化计算单元（浮点计算单元->定点计算单元）提升推理速度。稀疏化( Pruning ) 技术则是通过对神经网络中的通路进行裁剪来减少真实计算量。我们很自然的将这两个技术融合到了一起，来获取极限的理论加速比。在剪枝过程中，我们采用了渐进式的训练方法，并结合梯度信息决定网络中路径牺牲了硬件友好性，很难在实际应用中获得理论加速比。在后面的章节中，我们会通过两个角度来解决这个问题：

• 软硬件协同设计，从软硬件角度同时出发解决问题；

• 新型轻量级网络，从软件角度设计更适合现有硬件的结构。

软硬件协同网络结构

通过量化和稀疏技术，我们可以获得一个理论计算量足够低，所需计算单元足够简单的深度网络模型。下一个要解决的问题就是我们如何将其转换成一个真实推理延时低的算法服务。为了挑战极限的推理加速效果，我们和服务器研发团队一起，从软硬件联合设计出发解决该问题。在该项目中，我们提出了以下几个创新点，其中包括：

• 软硬件协同设计方面，我们针对硬件物理特性提出了异构并行分支结构，***化并行效率。

• 算法方面，我们利用量化、稀疏、知识蒸馏等技术，将理论计算量压缩到原始模型的 18%。

• 硬件方面，我们通过算子填充技术解决稀疏计算带来的带宽问题，利用算子重排技术平衡 PE 负载。
  

（编辑：青岛站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!