AI(字幕慢半)拍 不知道大家笑什么 新方法让:同!传性能直逼离线翻译

2025-07-29 09:19:00      来源:大洋网

本文第一作者是徐婷,是香港中文大学博士生,主要研究兴趣是大模型的后训练;通讯作者分别是黄志超和程善伯,来自字节跳动Seed团队。

你是否经历过这样的场景:观看一场激动人心的全球发布会,AI字幕却总是慢半拍,等你看到翻译,台上的梗已经冷掉了。

或者,在跨国视频会议上,机器翻译的质量时好时坏,前言不搭后语,让人啼笑皆非。

这就是同声传译(SimultaneousMachineTranslation,SiMT)领域一直以来的核心技术挑战:“质量-延迟”权衡问题(Quality-LatencyTrade-off)。

现在,这些问题迎来了新的解决方案。来自香港中文大学、字节跳动Seed和斯坦福大学的研究团队联手提出了一种面向同声传译的序贯策略优化框架(SequentialPolicyOptimizationforSimultaneousMachineTranslation,SeqPO-SiMT)。

该方法将同传任务巧妙地建模为序贯决策过程,通过优化完整的决策序列,显著提升了翻译质量,同时有效控制了延迟,其性能直逼、甚至在某些方面超越了同等大小的离线翻译模型。

论文标题:SeqPO-SiMT:SequentialPolicyOptimizationforSimultaneousMachineTranslation

研究背景

同声传译的核心在于机器需要动态地决定“继续听”(READ)还是“开始说”(WRITE)。这个决策直接影响最终的翻译效果。例如,当模型接收到英文单词“bark”时,它面临一个困境:如果立即翻译,可能会译为“狗叫”,但若后文出现“ofthetree”,则正确翻译应为“树皮”。

传统的同传方法,它每一步决策(是继续听,还是开始翻译)都是孤立的。它可能会因为眼前的“小利”(比如翻译出一个词)而牺牲掉全局的“大利”(整个句子的流畅度和准确性)。

核心方法

针对这一难点,该论文提出了SeqPO-SiMT框架。其核心思想是将同声传译任务建模为一个序贯决策问题,综合评估整个翻译流程的翻译质量和延迟,并对整个决策序贯进行端到端的优化。

该方法的主要特点是:它不再孤立地评估每一步决策的好坏,而是将一整句话的翻译过程(即一个完整的决策序贯)视为一个整体,更符合人类对同传的评估过程。

其中,λ是一个超参数,用于权衡质量与延迟的重要性。

实验结果与分析

为了验证方法的有效性,研究者们在多个公开的英汉互译测试集上进行了实验,并与多种现有的同传模型进行了对比。实验结果显示:在低延迟水平下,SeqPO-SiMT框架生成的译文质量相较于基线模型有明显提升。

本文将SeqPO-SiMT的实时同传结果与多个高性能模型的离线翻译结果进行对比。结果显示,SeqPO-SiMT的翻译质量不仅优于监督微调(SFT)的离线模型及LLaMA-3-8B,其表现甚至能媲美乃至超越Qwen-2.5-7B的离线翻译水平。这表明该方法在70亿参数(7B)规模上实现了业界顶尖(SoTA)的性能。

总结与讨论

总的来说,SeqPO-SiMT这项工作的主要贡献在于,为解决同声传译中的质量-延迟权衡问题提供了一个新的视角。它强调了对决策“序贯”进行整体优化的重要性。该研究提出的方法,对于需要进行实时、连续决策的自然语言处理任务具有一定的参考意义,并为未来开发更高效、更智能的同声传译系统提供了有价值的探索。

  针对近期持续高温干旱对农业生产造成的不利影响,农业农村部在前期发布预警信息的基础上,于6月11日对河北、山西、江苏、安徽、山东、河南、陕西等省启动农业重大自然灾害四级应急响应。

责编:陈昆绍编辑

保护情绪和保护健康一样重要

  中国煤矿文工团成立于1947年东北解放区,是国家级艺术院团中历史最悠久的单位之一。2005年,加挂了“中国安全生产艺术团”的牌子。2018年9月,转隶到文化和旅游部。

王安宇胡先煦不打不相识

  第二,议程设置失灵。新任领导刚上任,却没有提出让民众有感的重大改革行动,欠缺议程设置能力,迄未展现其领导能力,无法主导政治议程,反而任由蓝白“在野”党主导议题引领风潮。

迪丽热巴工作室还不出图

  据四川省政府官网介绍,四川是国家系统推进全面创新改革试验的八个区域之一,拥有中国(四川)自由贸易试验区、成都国家自主创新示范区、天府新区、绵阳科技城、攀西战略性资源创新开发试验区等多个重大区域创新平台。

刘学义孟子义看起来差辈了

  在会见国泰集团行政总裁林绍波时,自治区党委书记马兴瑞表示,希望国泰集团发挥优势,和新疆共同运行好直航航线,不断提升吸引力和可持续性。着眼更大范围、更宽领域拓展双方互利合作,助力新疆经济社会加快发展,打造亚欧黄金通道和向西开放桥头堡。用好新疆区位优势,积极开拓中亚等区域市场,实现更大发展。

酱园弄悬案王传君一人分饰角

  除了国际航线网络的短板,乌鲁木齐也缺乏国际顶级航司入驻。国泰航空凭借座舱、餐食、服务等方面的表现,建立起国际品牌形象,常年与新加坡航空、阿联酋航空、卡塔尔航空这样的顶级航司保持同一水准。通过国泰开航,乌鲁木齐有望在国际市场引起更多关注。

骄阳似我

  据携程数据,今年以来,澳大利亚位列中国入境游第5大客源国,入境旅游订单同比增长155%,澳大利亚到中国的航班数量同比增幅超过220%。澳大利亚游客来中国的热门目的地包括上海、广州、北京、成都、深圳、杭州、重庆、厦门、南京和西安。在即将到来的暑假,澳大利亚-中国的机票均价较去年同期降低近三成。/p>

硬座结膜炎

  新疆机场集团总经理吕辉斌表示,国泰航空开通乌鲁木齐至香港航线,标志着乌鲁木齐天山国际机场的航线网络又一次升级,满足了新疆及周边地区旅客日益增长的出行需求,不仅提升了乌鲁木齐机场的国际化水平,也将进一步增强新疆的区位优势和影响力,共同助力打造乌鲁木齐成为连接亚欧区域门户复合型国际航空枢纽目标。/p>

留学生称无人机在伊朗楼顶上空爆炸

  要解决这一问题,放松税收征管并非良策,因为这不仅涉及税务机关工作人员渎职问题,也影响社会公平,毕竟各地税务机关征管力度不一,将影响企业公平竞争,有违全国统一大市场构建。