ElevenLabs披露Cue:把现成文稿对到音频的每个字
有了正确文稿,字幕仍可能跟声音错开。10月28日,ElevenLabs介绍了强制对齐模型Cue的技术细节:给它录音和对应文字,它会把词、字符放到音频时间轴上。
Cue已经用于Scribe的转写流程,也能通过独立的Forced Alignment API调用。这次是披露模型的工作方式和评估情况,并非宣布接口当天首次上线。Scribe负责识别录音说了什么,Cue接着确定这些文字出现在什么时间;已有文稿的人,也可以单独做对齐。
接口返回的是两组时间信息:words对应词,characters对应字符,每项有text、start、end。字幕随播放高亮当前词、有声书点文字跳到录音位置、歌词逐字显示,都需要这类定位。返回字符时间轴,也不等于已经做好了字幕断句、每行字数和画面排版,这些仍是后续处理。
这次披露的另一点是长录音处理。ElevenLabs称,Cue可以整段处理长录音,减少先切成短块、再拼回去时积累的对齐误差。它们用真实请求构建评估集,并把未能定位的词也计作错误;这是厂商自己的评估,不能直接当作任意录音都能达到的精度保证。
独立接口目前不支持区分标注不同说话人(diarization),给文稿加上说话人标签也不能让它自动完成这一步。另外,研究介绍中的长录音能力不等于接口没有上传限制:当前概览写最大3GB,接口参考却写文件须小于1GB,两页容量说明尚不一致,不能据此承诺3GB文件一定能提交。
对已经校好文稿、正在补字幕时间轴的人,Cue对应的是这一步;如果还没有文稿,前面仍需要转写和校对。