模型量化

（如INT4、INT8、FP16、BF16等）
INT4（4位整数）：
表示范围：-8到7或0到15，具体取决于是否使用有符号或无符号表示。
压缩率：提供了最高的压缩率，但精度较低。
适用场景：对于资源受限且对精度要求不高的应用。
INT8（8位整数）：
表示范围：-128到127或0到255，具体取决于是否使用有符号或无符号表示。
压缩率：较高的压缩率，相对较低的精度。
适用场景：适用于大多数应用，可以在减小模型大小的同时保持较好的性能。
FP16（半精度浮点数）：
表示范围：较广，但精度相对较低。
压缩率：较高的压缩率，适用于加速计算。
适用场景：适用于大型模型，如深度学习模型。
BF16（Brain Floating Point 16）：
表示范围：类似于FP16，但在某些情况下具有更好的数值范围。
压缩率：较高的压缩率，适用于加速计算。
适用场景：适用于大型模型，尤其是在硬件支持BF16的情况下。

TensorFlow是什么

TensorFlow 是一个端到端开源机器学习平台

分类任务回归任务的区别

分类任务：

定义：分类任务旨在将实例数据划分到合适的类别中。
示例：判断网站是否被黑客入侵（二分类）、手写数字的自动识别（多分类）、多目标分类等。
输出：输出是物体所属的类别。
值类型：输出是离散的。
评估指标：通常使用准确率、精确度、召回率等指标。

回归任务：

定义：回归任务主要用于预测数值型数据。
示例：股票价格波动的预测、房屋价格的预测等。
输出：输出是物体的值。
值类型：输出是连续的。
评估指标：通常使用均方根误差（RMSE）等指标。

联系：

无论是分类还是回归，其本质都是对输入做出预测，并且都是监督学习。
说白了，就是根据特征，分析输入的内容，判断它的类别或者预测其值。

区别：

输出不同：
    分类问题输出的是物体所属的类别，回归问题输出的是物体的值。
值类型不同：
    分类问题输出的值是离散的，回归问题输出的值是连续的。
目的不同：
    分类的目的是寻找决策边界，回归的目的是找到最优拟合。
结果和评估指标不同：
分类的结果没有逼近，对就是对，错就是错；回归是对真实值的一种逼近预测。

当模型在真正部署，需要模型压缩的时候，量化、剪枝、知识蒸馏等压缩方法一般会使用哪些呢？

A：量化是一个大部分硬件平台都会支持的，因此比较常用；知识蒸馏有利于获得小模型，还可以进一步提升量化模型的精度，所以这个技巧也会使用，尤其是在有已经训好比较强的大模型的基础上会非常有用。剪枝用的会相对较少，因为可以被网络结构搜索覆盖。https://zhuanlan.zhihu.com/p/132561405