数据缩至 1/5000，模型准确率却翻倍，谷歌新“蒸馏法”火了
相关文章
热门标签
本文内容整理自公开资料与微梦云-AI云控业务实践，如与官方说明不一致，请以官方最新发布为准。
正在炼丹历程中，为了减少训练所需资源，MLer 有时会将大型复纯的大模型“蒸馏”为较小的模型，同时还要担保取压缩前相当的结因。那便是知识蒸馏，一种模型压缩 / 训练办法。不过跟着技术展开，各人也逐渐将蒸馏的对象扩展到了数据集上。
正在炼丹历程中，为了减少训练所需资源，MLer 有时会将大型复纯的大模型“蒸馏”为较小的模型，同时还要担保取压缩前相当的结因。那便是知识蒸馏，一种模型压缩 / 训练办法。不过跟着技术展开，各人也逐渐将蒸馏的对象扩展到了数据集上。
本文内容整理自公开资料与微梦云-AI云控业务实践，如与官方说明不一致，请以官方最新发布为准。