GSLM2:一段语音拆成多层表示,语言判断能改善多少
语音模型未必需要先把每段声音转成文字,再交给语言模型处理。Meta 在 11 月 4 日介绍的研究模型 GSLM2 走的是另一条路:先从声音中学出离散的语音单元,再直接建模这些单元。
这次的关键变化是“不只留一条单元序列”。研究者用 SpidR 2.0 编码器,从不同层提取多组表示,再让模型同时学习这些序列及其相互关系。论文的分析发现,编码器不同层对语音细节和较高层的语言信息各有侧重;多条序列一起用,可能减少只选一层时丢掉的信息。
怎么衡量它听懂了多少?论文列了几种成对比较:例如给模型听一个真实英语词和一个发音规则相近的虚构词,看它是否给真实词更高分;语法测试比较只差一点的正确句和错误句;故事测试则比较合理结尾和从别的故事随机抽来的结尾。这些是模型对候选项打分的测试,不是让它自由对话。
以论文中一组英语有声读物实验为例:语言模型用约 6000 小时语音训练、参数量 3 亿;单流版本在词汇、语法和故事结尾测试分别得到 73.9%、65.1%、74.7%,多流 GSLM2 对应为 76.3%、67.2%、78.9%。这是该组设定下的成对判断准确率,不是所有场景的识别率;编码器另有预训练。作者还报告了更大规模的英语对话数据实验,并在英、法、德语数据上做了补充比较。
边界也挺清楚:论文主要考察语言和语音内容,并没有专门保证语调等声音特征能被保留;多流训练的计算成本更高。测试中一部分语音由合成系统生成,作者还发现合成方式可能给语法题带来额外线索,因此某项分数领先不能直接等同于真实交流或中文语音能力领先。训练代码和模型权重已由研究团队开放;这些是论文报告的结果,没有在这里重新训练或测试模型。