知识蒸馏文章阅读

Learning with Privileged Information for Efficient Image Super-Resolution

评价：利用特权信息 Privileged Information学习高效图像超分辨率。

针对问题：单图超分FSRCNN网络的轻量化。

本文的目的：对模型的参数量和运行时间进行优化。

实现的方法：

使用自编码器提取关键信息

对于自编码获得的压缩信息做了约束。

个人的思考:知识蒸馏一般用在分类问题上比较多，这篇文章使用自编码器，可以把知识蒸馏用在回归问题上。

Anomaly Detection in Video via Self-Supervised and Multi-Task Learning

知识蒸馏也是模型的压缩，希望小网络能够最大程度上接近大网络的输出，YOLOV3和ResNet50都是teacher network，特征提取网络(3D 卷积) 是student network：

1：ResNet50是非常好的特征提取器，但是其网络结构复杂，运行时间长，在进行异常检测时不能满足实时性要求，所以通过知识蒸馏使得特征提取网络性能接近ResNet50，所以在训练时数据仍需经过ResNet50，在异常检测时抛弃ResNet50。

2：YOLOV3对物体进行检测，通过知识蒸馏，3D卷积网络学习目标检测。

通过知识蒸馏，3D卷积学习到了YOLOV3的目标检测，同时满足了特征提取的要求。

异常类别：知识蒸馏后，3D卷积遇到正常物体(人行道行人)与YOLOV3检测结果差异小，遇到异常物体(人行道车辆)与YOLOV3检测结果差异较大，能够完成异常物体类别的异常检测，同时特征提取的能力帮助其他三个代理任务完成异常检测。