模型压缩实战

666DZY666/micronet

• github repo

Pytorch official

• Quantization
  • intro
  • 知乎 - Gemfield - PyTorch的量化
  • A developer-friendly guide to model quantization with PyTorch

• FBGEMM - Blog

• Pruning

Tensorflow official

腾讯 PocketFlow

基于Tensorflow开发，集成了当前主流与腾讯AI Lab自研的多个模型压缩与训练算法，方便快速地部署到移动端产品上。

• github repo

• 如何看待腾讯 AI Lab 开源的 PocketFlow？

• 代码风格，文档，算法数目。看知乎的评论好像现在还不是很好用。

Intel Distiller

基于 PyTorch 的开源神经网络压缩框架，Distiller 是由 Intel AI Lab 维护的基于 PyTorch 的开源神经网络压缩框架。主要包括：

1. 用于集成剪枝，正则化和量化算法的框架。
2. 一套用于分析和评估压缩性能的工具。
3. 现有技术压缩算法的示例实现。

• github repo

• Distiller 模型剪枝教程
• CSDN-Distiller:神经网络压缩研究框架

百度PaddleSlim

PaddlePaddle实现了目前主流的网络量化、剪枝、蒸馏三种压缩策略，并可快速配置多种压缩策略组合使用。针对体积已经很小的 MobileNet 模型，在模型效果不损失的前提下实现 70% 以上的体积压缩。

• github repo

• 精度无损，体积压缩70%以上，百度PaddleSlim为你的模型瘦身

• 深度学习-模型压缩-PaddleSlim

微软NNI

github repo

自动机器学习(AutoML)工具和框架，其中集成了多种模型压缩算法，并支持PyTorch，TensorFlow，MXNet，Caffe2等多个开源框架。不过重点不是模型压缩。

上新了，NNI！微软开源自动机器学习工具NNI概览及新功能详解

TensorRT（推理）

一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。

• TensorRT(1)-介绍-使用-安装
• 如何使用TensorRT对训练好的PyTorch模型进行加速? - 伯恩legacy的文章 - 知乎

腾讯NCNN（推理）

纯 C++ 实现，跨平台，支持 android ios

ncnn 是一个为手机端极致优化的高性能神经网络前向计算框架。ncnn 从设计之初深刻考虑手机端的部署和使用。手机端 cpu 的速度快于目前所有已知的开源框架。

注：只包含前向计算，因此无法进行训练，需要导入其他框架训练好的模型参数。

• github repo
• 移动端机器学习框架ncnn简介与实践
• pytorch模型的部署（系列一）–ncnn的编译和使用 - limzero的文章 - 知乎 https://zhuanlan.zhihu.com/p/137458205
• nihui-视频-谈谈ncnn的设计理念和软件工程

• https://github.com/zchrissirhcz/awesome-ncnn

  • 😎 A Collection of Awesome NCNN-based Projects
• 知乎专栏-ncnn初探
• 关注nihui大佬知乎不迷路
• 如何阅读一个前向推理框架？以 NCNN 为例。

腾讯TNN

• github repo