Granite Speech新增2B语音模型,多语转写与多人标注分别更新
IBM这轮Granite Speech更新,把多语转写、翻译和多人录音分别交给了不同型号。10月21日公布的更新说明包含一个新模型和两个已有型号的升级;新模型5.0-2B标注的发布日期是10月20日。
| 型号 | 这轮主要变化 | 更适合的任务 |
|---|---|---|
| 5.0-2B,20亿参数 | 新模型,支持输入语言提示,关键词列表上限提高到2000项,改进长语音和对话翻译 | 多语转写、语音译文、带专有名词的材料 |
| 5.0-470M-TurboCTC,4.7亿参数 | 从原来的仅英语版扩到7种语言,直接输出标点和大小写 | 注重吞吐量或端侧部署的转写 |
| 4.1-2B-Plus,20亿参数 | 更新权重,改善说话人归属、词级时间戳、关键词识别和长录音处理 | 会议、访谈等需要区分说话人的录音 |
语言范围值得单独看。 5.0-2B的语音转写支持英语、法语、德语、西班牙语、葡萄牙语和日语;翻译支持这几种语言与英语互译,另有英语译成意大利语、普通话。470M的转写语言则是前述六种再加意大利语。
普通话在这里列为2B的翻译目标,三款公布的转写支持范围都未列普通话。若要处理中文会议,不能把“有中文译文”理解为“支持中文音频转写”。
Plus虽然还叫4.1,权重已在10月19日更新,转写范围列为英、法、德、西、葡五种语言。它会用编号区分说话人,并可输出词级时间信息;这些标注方便找回原录音中的位置。它仍不提供标点和大小写输出,和另外两款的格式化转写要分开看。
这三款均按Apache 2.0许可开放,已有Transformers支持。选型可以先按任务拆开:需要翻译或较长关键词表看2B,需要轻量转写看470M,需要“谁说了什么、何时说的”看Plus。实际录音里的口音、串音和远场噪声,仍需用自己的材料验证。