本文提出 轻量化多模态大模型 LLaVA-MoD，通过集成稀疏的专家混合（MoE）架构，优化小模型的网络结构，并提出 Dense-to-Sparse 蒸馏框架，结合两阶段蒸馏策略（模仿蒸馏+偏好蒸馏），实现全面的知识迁移。 该方案仅用 0.3% 数据和 23% 激活参数，即实现 2B 小模型 ...

创建一个新的目录并且叫做 ExampleMod （这个目录名称必须和第四步里面的 Id 一致） Create a new folder and name it ExampleMod (Must be the same as the Id you use for Step #4)； 创建一个名叫 bin 的目录, 并且在这个目录下，创建一个新的目录 Win64_Shipping_Client； 在 ...