Mistral Large 4开放权重:490亿激活参数该怎么理解
Mistral Large 4的权重已经开放。它在10月6日先以API公开预览,10月29日公布的是继续训练后的改进版权重;想自己部署的人现在可以检查模型文件和推理框架的要求。
这是一款多模态混合专家模型,接收文字和图片,输出文字。总参数约1万亿,但每个token只激活其中一部分:模型卡给出的口径是约490亿,算入嵌入层和输出层约520亿。490亿是激活参数量,不代表只需要存放490亿参数的完整权重;估算部署成本时还要考虑权重格式、上下文长度、并行方式和运行时开销。
官方提供FP8和NVFP4两种权重格式。NVFP4是量化版本,模型卡标明面向Blackwell GPU;实际能否运行,仍要核对自己的硬件和推理软件版本。上下文标称100万token,也不等于每种部署配置都能在可接受的显存和速度下处理满长度。
新版提供Low、Medium、High三个推理档位,High为默认。Mistral在其公布的Terminal-Bench 4.0评测中报告新版为41%,并称比公开预览版提高约13个百分点。这是厂商公布的特定评测结果,不代表任意代码库都会有相同提升;选择档位时,最好用自己的任务同时比较结果、耗时和成本。
权重采用Mistral Ecosystem Open-Weight许可,不宜直接当成无条件的MIT许可。官方说明模型即服务的商业经营涉及额外许可要求;准备对外提供服务时,应按自己的使用方式核对完整条款。官方还说完整技术报告稍后发布,训练和评测细节仍需等待。