大厂算法工程师揭秘机器翻译内幕

本文转自：火山翻译公众号

大家应该都使用过机器翻译来辅助自己高效工作，但你对它的了解有多少？

除了翻译外文文献、帮助我们撰写外文材料以外，它还有哪些用途？不同的机器翻译引擎的翻译结果为什么不一样？机器翻译如何提升翻译效果？...

不久前字节跳动AI Lab算法工程师刘志成受邀出席火山翻译·第五届全国机器翻译译后编辑大赛动员会，为大家介绍机器翻译的应用与发展。

嘉宾介绍

刘志成，字节跳动AI Lab算法工程师。硕士毕业于上海交通大学，主要研究方向为自然语言处理/机器翻译，现参与负责语音翻译/火山同传业务实践与学术探索。

快速了解全文内容

1. 机器翻译的应用场景

2. 在现今的应用场景下火山翻译做了哪些技术创新

3. 在当前的机器翻译场景下，作为口译或者笔译，如何看待机器翻译的现在和未来

“

01 机器翻译的应用场景

关于机器翻译的应用场景，我们必须要了解两点：机器翻译是什么？它的现状如何？

那到底什么是机器翻译呢？机器翻译就是通过机器自动完成将 X 语言转化成 Y 语言的过程。如果讲到机器翻译，大家一般都会想到，它和人工翻译有什么区别呢？

相比人工翻译来说，机器翻译有以下三个优势：首先，机器翻译的效率足够高，它能够快速地翻译大规模文本。其次，机器翻译的翻译质量非常稳定：译员的翻译结果可能会因为外界因素的干扰，出现拼写错误或者其他问题。而机器翻译的质量是非常稳定的，不会因为外部原因而出现质量波动。第三个优势是节省预算，降低成本。在翻译非常大规模的文本时，如果采用人工翻译的话，是非常消耗预算的，相对来说机器翻译的价格比较友好，是一个理想的选择。

那相比人工翻译，机器翻译有哪些劣势呢？虽然在一些语向上（比如英语相关语向），机器翻译已经能够达到人类的平均水平了，但在大部分语向上，机器翻译的质量和人类的顶尖水平还是有差距的。第二个劣势是关于意译的问题，比如说，机器翻译俗语、俚语的时候还是比较生硬的。

这里我举一个英语和日语的 case。大家可以看一下，大家觉得右边的这个译文到底是机器翻译出来的还是人工翻译出来的？

大部分同学都能看出来两个译文都是机器翻译，这说明机器翻译跟人工翻译还是存在一定的差距的，虽然这个差距并不至于影响基本的阅读理解。

这就是机器翻译的大致概念及效果，那机器翻译是如何做到在短短1秒内提供一个可用甚至优质的翻译结果的？以火山翻译为例，作为字节跳动旗下的机器翻译品牌，我们也为字节跳动的企业级服务平台——火山引擎提供核心人工智能中台能力。火山翻译日均的调用量达百亿字符，每天的用户量是数千万，内部支持的业务方达数百个，是非常大的量级。

大家可能会有疑问，那为什么我好像没有听说过火山翻译呢？这和整体的公司战略也有关系。大家对字节跳动不一定很了解，但是一定都接触过我们的产品：抖音、火山小视频、今日头条等等。目前我们支持114个语种，不仅是中文、英文、日文、韩语这些主流语种，也包括比如欧洲、东南亚和非洲的小语系。特别的是，我们还可以支持文言文的翻译。

或许又有同学有疑问：日常生活中，我们什么时候用得上这么多个语种？

以西瓜视频的字幕翻译为例：为了能让中国观众享受到不同语言的优质内容，我们希望能够把这些视频翻译成中文，但大家也知道我们的内容池量级非常大，如果用人工翻译的话，能翻译的数量是非常有限的。我们在做的一个场景是直接用机器翻译把视频的标题、评论以及内容翻译成中文。如果视频里面创作者在说话，我们就翻译语音。如果创作者提供了字幕，我们就识别其中的字幕，再把它翻译成中文。

另一个更大的场景是办公翻译。字节跳动在海外都有办公室，日常办公中大家需要沟通。那么不同语言的员工之间如何沟通呢？我们可以为办公软件（如：飞书）提供对话翻译服务。还有一个更通用的场景是邮件翻译。有些邮件字体中间有黑体，或者附件中有图片，翻译邮件的时候我们怎么把多媒体的信息也翻译好，也是我们比较大的应用方向。

更难的一个方向是同声传译。我们研发了智能同传产品火山同传，提供实时的语音翻译能力，为各大会议和活动提供同传服务。2020年，日本艺术家村上隆在抖音举办了一场直播活动。大家可以看到主持人跟村上隆先生一直在对话，界面下方中文和日文的双语字幕实时显示，这就是火山同传提供的服务。之前用户很难直接观看类似的跨国直播，但如果通过机器翻译提供同传字幕，用户观看起来会更加轻松，从而极大地提升了直播流量。

“

02 火山翻译的技术创新

上面我们提到，机器翻译仍然存在很多不足。作为技术工程师，我们如何尽可能优化机器翻译效果呢？接下来我先简单介绍一下机器翻译发展的历程，其次，我会举一些机器翻译出错的例子，讨论机器翻译技术到底有哪些问题，我们如何通过技术创新解决这些问题。大家参加MTPE比赛的时候，也可以根据这些难点去发现机器翻译的问题。

基于神经网络的机器翻译

机器翻译发展历史，主要是分为四个阶段。这里我重点讲最后一个阶段：基于神经网络的机器翻译。2013 年谷歌首次提出了完全基于端到端神经网络的机器翻译模型。

那究竟什么是基于神经网络的机器翻译呢？要解答这个问题，我们需要先理解机器翻译的原理。

和我们小时候学习英语不同，机器并不会学习明确的语言规则，比如说什么是定语从句，什么是过去完成时。它更像母语是英语的人，多听多看，自然就会了。例如，机器看到好几次“新年快乐”和“Happy New Year”一起出现，慢慢就学会了把“新年快乐”翻译成“Happy New Year”。

因为计算机是无法识别人类语言的，所以机器翻译要先把一句话从文字转变成计算机能接受的表示形式，从而完成计算，这个表示就是词向量。每个词语都可以用向量来表示，例如最容易理解的独热向量表示(one-hot)，就是一个长度为n的向量，n代表某一语言的词语总数，向量只有一个位置上为1，其他位置都为0，其中值为1的位置就是单词在整个词典中的位置，那么“苹果”的向量可能就是[1,0,0,0,…,0]，“梨”的向量可能是[0,1,0,0,…,0]。要表示一句话，是通过把这些词向量拼接成一个矩阵来实现的。

而神经网络，就是通过一系列的计算完成从输入到输出的转变，也可以简单地用公式表述为多个y=f(wx+b)的矩阵运算叠加。神经网络最终就是把这样用于表示一句话的源语输入矩阵，经过一系列计算转变成用于表示另一句话的目标语输出矩阵，但因为这些矩阵里都是一些数值，所以就需要用词典把这些数值映射到真正需要的语言文字上，最终成功“解码”，实现从源语言到目标语言的翻译。

从2013年起，因为神经网络机器翻译技术的出现和演化，机器翻译取得了非常大的进步，从发展历程来看我们也能发现语言专家的参与比重在逐步降低。当前基于神经网络的机器翻译的时代，语言专家参与的比重又是多少呢？这个我也不太确定，但确定的是语言专家在其中仍然发挥着不小的作用。比如现在大火的MTPE译后编辑，就是根据语言专家的修改建议让机器翻译结果更完美。

机器翻译的技术难点

关于机器翻译的技术难点，第一个就是术语翻译。机器翻译已经在这个方面进行改进，但很难做到非常完美。这里有一个例子：抖音这个词是专业术语，但是英文翻译结果完全偏离了原文，这对用户来说是不可接受的。这种情况就是机器翻译需要改进和避免的。

第二个难点是如何实现多义词的准确翻译。

比如 knife 这个单词。在不同的语境里面，它的意思是不一样的。第一个句子中“小刀”是一个物品，它是用来切苹果的。第二个句子中“小刀”是打折的意思。机器翻译并不总是能完美地区分同一个词在不同语境中的含义，这个也是我们想要克服的困难，希望机器翻译能够做到对于歧义词的准确翻译。

第三个点是同声传译，这个是相对于文本翻译来说是更难的场景。有时候主讲人说了这一段话：“她怎么了？是哭了吗？为什么哭？”如果你放到机器翻译系统中进行翻译，机器常常会把它识别成三句独立的句子，这样它翻译的时候会出现指代不清的问题，带来歧义。如果要把这段话翻译成日语，还会涉及到更复杂的问题——敬语的一致性。识别、处理不同语种特有的语法现象也是机器翻译的难点。

针对上面的三个问题，我们团队不断探索前沿技术来攻克难关，提供多个效果更佳的翻译产品。

产品的创新从三个角度出发，也就是中国近代翻译家提出的翻译理论“三难原则”：信达雅。针对技术我们也做了四个方面的创新。通过这些创新我们在机器翻译上已经取得了一定的成果。包括在全球学术界公认的国际顶级机器翻译比赛——国际机器翻译大赛上，我们分别于20年、21 年都获得了重要语向的冠军。此外，我们发表的研究成果拿下了某计算机顶级会议的最佳论文，也是这个顶级会议成立 59 年以来，中国科学家第二次拿到这个最高荣誉。

“

03 外语人才的复合发展

最后我想谈的是，在机器翻译不断迭代进步的时代背景下，作为译员，要如何适应现今的态势？从两点来说，第一，人机结合是不可逆转的趋势，在这个前提下，成为复合型人才，才能够适应时代的发展。

人机结合的必要性在于上面提到的机器翻译的劣势，也就是说机器翻译不能完美解决所有的问题。比如在同声传译场景，机器翻译的效果离人工同传的最高水平还有一定差距。机器同传翻译一般要先经过语音识别出原文本，再翻译成对应的译文。

如果语音识别得到的原文出现错误，翻译就更加困难了。机器翻译并不能代替人工翻译，它很难去理解那些微妙的部分。日语中表示委婉拒绝的方式比较多，机器就很难理解他们之间的异同。在专业术语上，比如人名、地名、书名等，机器也容易出错。还有更多的语法、时态等规则，也是机器翻译需要“学习”的。

对于深耕机器翻译领域的火山翻译，我们如何看待“人机结合”呢？我们追求的肯定是高效率高质量。高效率通过机器翻译已经做到了，而高质量要通过人工，通过在座的各位语言专家帮助我们解决这个问题。不仅是文本翻译，还有视频翻译、同声传译等等翻译场景，都非常需要语言专家的参与。

那现在企业需要样的复合型人才呢？首先是语言方面的能力，这个是基础。第二个是 PE (Post editing) 能力，掌握 CAT (Computeraidedtranslation，计算机辅助翻译) 等，这样的能力是企业非常需要的。还有其他专业领域的知识（比如医药、金融等），这些都是复合型人才的技能优势。我觉得这次 mtpe 大赛对大家各个方面的能力是一个非常好的锻炼。对大家毕业之后的成长有非常大的帮助，在这里也鼓励大家去参加这个比赛。如果要做 PE 的话，你肯定要了解机器翻译的优劣势，了解机器翻译有哪部分还有欠缺？此外，还需要掌握译后编辑的工具或者平台。掌握这个能力不仅是多一项技能，它对之后的工作效率也有极大的帮助。

最后插播一则广告~ 字节跳动火山翻译非常需要语言专家来加入我们。这里是我们在招的岗位。

除了英语之外，我们也非常欢迎小语种同学的加入。英语、日语或是欧洲语系，或是东南亚语系，我们都需要大量这些语种的人才。机器翻译在小语种方向上的表现没有大语种那么好，因此我们需要更多的小语种专家加入我们。来火山翻译实习能够增加各方面的能力，也有机会参与文本、视频等企业级的人机协作的项目，比如我们刚刚说的村上隆的直播活动，就是由语言专家参与进行译后编辑，从而进一步提高直播字幕翻译的准确度。

关注微信公众号“语言服务行业”，“翻译技术教育与研究”，了解更多语言服务行业与翻译技术相关的资讯和洞察~