摘要
Ministraux在文本生成、推理、函数调用和效率方面表现出色，性能超过了Meta的Llama-3.2和谷歌的Gemma-2，重新定义了100亿参数以下小模型的性能标准。
Ministraux 3B在多个主流基准测试中取得了高分，性能优于谷歌和Meta的同类模型，甚至超过了一些参数更多的模型。
Ministraux 8B采用了特殊的交错滑动窗口注意力机制，提高了推理效率和内存利用率，使其适合在移动端使用。
Mistral.AI计划继续开源更多高性能、小参数的模型，以支持开发者在本地轻松部署使用。
法国著名大模型平台Mistral.AI开源了最新小参数模型——Ministraux。
Ministraux一共有Ministral 3B和8B两个版本，是专为手机、平板、笔记本等移动设备设计，在文本生成、推理、函数调用和效率方面非常强悍，大幅度超过了Meta的Llama-3.2和谷歌的Gemma-2，重新定义100亿参数以下小模型的性能。
所以，Mistral.AI在发布时也挺直接，这是目前世界最好的开源小参数模型。
开源地址：https://huggingface.co/mistralai/Ministral-8B-Instruct-2410
从Mistral.AI公布的测试数据来看，Ministraux的性能确实不错。以最小参数的3B为例，在MMLU、AGIEval、Winogrande、Arc-c、TriviaQA等主流基准测试平台中，分别达到了60.9、42.1、72.7、64.2、56.7的超高分数。
比谷歌的Gemma-2-2B、Meta的Llama-3.2-3B性能高出一大截，甚至超过了70亿参数的模型性能。
而8B版本与Meta、谷歌开源的同类模型相比，在主流测试基准中同样大幅度超越。
Ministral 3B和8B支持128k上下文长度，能够处理超长文本序列，这对于打造AI翻译、离线AI助手、本地数据分析AI助手等非常有帮助。
此外，如果你想开发一个更复杂的AI助手，也可以将Ministraux与Mistral Large等参数较大的模型混合使用，可以充当多流程的智能代理，处理输入解析、任务路由，并根据用户意图在极低延迟和成本下调用多个上下文的API。
架构方面，Ministral 8B版本使用了特殊的交错滑动窗口注意力机制，极大提升了推理效率、内存利用率以及用户响应，这也是能在移动端使用离线大模型的主要原因之一。
传统的Transformer自注意力机制需要对序列中的每个位置计算与其他所有位置的相似度，这会导致计算量和内存需求呈现二次方增长。
而滑动窗口注意力机制通过限制注意力计算的范围，仅在固定大小的窗口内进行计算，只计算窗口内的位置之间的相似度，并将注意分数归一化得到权重。这可以大幅度减少AI算力，并保持局部依赖性。
价格方面，如果不是本地部署也可以使用Mistral.AI服务，Ministral 8B 的API定价为每百万输入和输出token0.1美元，而Ministral 3B 的定价为每百万输入和输出token 0.04美元。
Mistral.AI表示，新发布的Ministraux只是他们对小参数模型的尝试，效果却非常好超过了一年前发布的Ministral 7B。
未来会继续开源更多高性能、小参数的模型，让更多的开发者可以轻松在本地部署使用。
本文源自「私域神器」，发布者：siyushenqi.com，转载请注明出处：https://www.siyushenqi.com/32619.html
微信扫一扫 
支付宝扫一扫 
