MoE混合专家模型深入浅出，现有大模型技术的限制以及另外一种可能

1 MoE简单介绍
这段内容主要讲述了关于MOE（混合专家模型）的简单探讨。
MOE是一种先进的机器学习框架，通过组合多个专家网络来提升模型的表达能力和泛化能力。
这种方法可以结合不同领域的知识，如数学、历史和地理等，让相应的专家回答问题。
MOE的优势在于，它可以学习到复杂特征，提高模型表达能力。由于不需要所有专家同时运行，MOE在处理数据时更加高效。


2 MOE模型的优势与发展历程
主要介绍了多领域专家网络（MOE）的概念、发展历程以及其在各种领域的应用。MOE最早在1991年由Michael Jordan提出，后来衍生出门控网络等概念。在2000年代，MOE与其他机器学习技术结合，应用于大规模高维度数据处理。
2021年，Google Brain发布的Switch Transformer模型引发了MOE在大模型方面的实践。
MOE的核心是专家网络，它将不同的领域专家网络划分为不同的网络，门控网络则类似于路由，动态分配给每个专家处理任务。
在训练MOE模型时，需要同时训练专家网络和门控网络，以实现预测和真实标签之间的最小差异。


3 专家网络与门控网络的协同作用
专家网络类似于足球队中的前锋、中场和后卫，每个专家擅长不同的事情。门控网络类似于教练，可以决定比赛哪几个队员上场，以及哪几个队员比较重要，以及整体打法风格。输出融合则是所有比赛结果都是球员和教练共同达成的。
训练方法需要进行团队协作，专家网络和门控网络必须同时训练以提升性能。
通用性和灵活性是指每个MOE内部都有自己的一些核心战术和配置，可以根据场景进行调整和优化。
MOE架构在当今大模型时代可能是一种较好的解决方法，因为它能够有效降低模型的压力。


4 MOE领域的论文精读与分享
主要介绍了MOE（模型蒸馏）的相关概念和论文。MOE是一种领读性较强的技术，需要专业知识的学习。
其中，Jordan文达的《Adaptive Mixture of Local Export》论文是MOE领域的奠基性论文，首次提出了包含多个专家网络的监督学习过程。
此外，还有其他重要的应用论文。
还提到了大模型的发展历程，从17年开始，大模型的参数量逐年增加，导致资源占用增加，英伟达市值暴涨。为了降低资源占用，研究人员提出了压缩模型和蒸馏等方法。


5 神经网络模型的量化与优化
主要讨论了量化在神经网络中的应用。量化主要是通过将32位或64位的浮点数转换为低精度浮点数，从而减小模型大小，提高计算效率和降低能耗。
量化可以减少资源占用，提高计算效率，降低能耗。与MOE（模型优化）的关系是，量化使神经网络模型变得更小，使其能够更快地在普通机器上部署。
此外，量化还通过使用支持低精度运算的硬件和框架，优化数据类型，提高计算效率。


6 深度学习中的数据格式及其优化
主要介绍了浮点数格式的常见格式，包括单精度浮点格式（FFP32）、半精度浮点格式（FP16）以及Google大脑团队开发的B16格式。这些格式的选择可以根据数据量、存储空间和计算速度等因素进行权衡。量化技术可以减少体积、加快推理，但同时也会损失部分信息。在实际应用中，需要根据具体需求和度量标准来选择合适的量化格式。


7 GPU与CPU推理的量化模型
主要讲述了量化模型的方法和技术。首先，提到了GPU在量化模型中的应用，如GGM、GGML和GPTQ等。
接着，介绍了一个专门用于量化语言模型的方法——Er. GPTQ，该模型通过将大语言模型转换为更少的位数表示，并使用C语言重构。
此外，还提到了CPU推理在量化模型中的应用，如GGM和GGML等。最后，强调了量化模型的推理性能与硬件平台无关，可以在消费级硬件上运行。


8 Ollama的运行方式和应用
主要讨论了一个小概念，即group size，它代表了模型的权重。通过调整group size，可以降低显存占用率。
Ollama项目是一个很好的例子，它使用类似dockerfile的方式进行模型打包，支持跨平台运行，如Linux、Windows等。
Ollama官方仓库提供了丰富的模型资源，用户可以根据需求选择。此外，欧拉玛还支持多模态模型，如视觉解析等方面的应用。


9 大模型运行与硬件性能展示
主要介绍了一个大模型在混合模型中的运行情况。通过使用48GB的内存，可以在本地运行M的混合模型和八乘七P的大模型。
在测试过程中，可以看到模型的输出速度较快，GPU占用不高的情况下，CPU推理也是可以接受的。
此外，还介绍了欧拉玛在Mac电脑上的运行效果，因为Mac具有统一内存，所以在GPU推理时具有优势。
最后，展示了在命令行中使用欧拉玛相关命令进行模型查看的简单操作。


10 小模型的应用与边缘设备的潜力
主要介绍了欧拉玛在边缘设备上的应用潜力。欧拉玛的小模型非常精简，可以在本地运行，通过优化在边缘设备上可以直接运行。
在特殊行业中，小模型可以处理特定领域的特定事情，通过量化格式支持边缘资源较少的硬件上运行特定任务。
Ollma的UI界面丰富，提供了社区选择，用户可以根据喜好选择。此外，欧拉玛还提供了多语言客户端和API，方便开发者调用。


11 MOE模型的使用与部署探索
主要介绍了一个名为欧拉玛（Oerlama）的模型，该模型支持视觉输入，可以通过Web UI上传图片进行解析解释。
Ollama模型具有很多优点，如与多个人结合使用，可以实现GPU推理，与云端部署相结合，可以满足GPU需求的弹性伸缩。
此外，欧拉玛模型还提供了自定义model的功能，可以通过F格式或原生格式创建模型。会议还提到了一些Web UI的快捷指令，如下斜杠等。最后，会议表示后续会有更多关于欧拉玛模型的深入分享。