机器翻译：基础与模型

Machine Translation: Foundations and Models

作者：肖桐 (Tong Xiao) 朱靖波 (Jingbo Zhu)

单位：东北大学自然语言处理实验室 (NEUNLPLab) / 小牛翻译 (NiuTrans Research)

顾问：姚天顺 (Tianshun Yao) 王宝库 (Baoku Wang)

网站：https://niutrans.github.io/MTBook/ or https://opensource.niutrans.com/mtbook/homepage.html

GitHub：https://github.com/NiuTrans/MTBook

百度网盘： https://pan.baidu.com/s/1a0OG5Qnb9WGlitPsvbtx6A 提取码：MTBK

纸质版： 京东当当

豆瓣评分： 豆瓣

这是一个教程，目的是对机器翻译的基础知识和建模方法进行较为系统的介绍，并在此基础上对机器翻译的一些前沿技术展开讨论（前身为《机器翻译：统计建模与深度学习方法》）。其内容被编纂成书，可以供计算机、人工智能相关专业高年级本科生及研究生学习之用，亦可作为自然语言处理，特别是机器翻译相关研究人员的参考资料。本书用tex编写，所有源代码均已开放。

本书共分为四个部分，每部分由若干章节组成，章节的顺序参考了机器翻译技术发展的时间脉络，同时兼顾了机器翻译知识体系的内在逻辑。各部分的主要关系如下（如果无法显示图片可以稍后再试）：

完整PDF版

本书的完整pdf版本：mt-book.pdf

章节内容（Web版）

<a href="https://opensource.niutrans.com/mtbook/coverpage.html" title="封面、前言和目录">封面、前言和目录</a>

Part I 机器翻译基础

机器翻译简介

<a href="https://opensource.niutrans.com/mtbook/section1-1.html" title="机器翻译的概念">1.1 机器翻译的概念</a>
<a href="https://opensource.niutrans.com/mtbook/section1-2.html" title="机器翻译简史">1.2 机器翻译简史</a>
<a href="https://opensource.niutrans.com/mtbook/section1-3.html" title="机器翻译现状及挑战">1.3 机器翻译现状及挑战</a>
<a href="https://opensource.niutrans.com/mtbook/section1-4.html" title="基于规则的方法">1.4 基于规则的方法</a>
<a href="https://opensource.niutrans.com/mtbook/section1-5.html" title="数据驱动的方法">1.5 数据驱动的方法</a>
<a href="https://opensource.niutrans.com/mtbook/section1-6.html" title="推荐学习资源">1.6 推荐学习资源</a>

统计语言建模基础

<a href="https://opensource.niutrans.com/mtbook/section2-1.html" title="概率论基础">2.1 概率论基础</a>
<a href="https://opensource.niutrans.com/mtbook/section2-2.html" title="掷骰子游戏">2.2 掷骰子游戏</a>
<a href="https://opensource.niutrans.com/mtbook/section2-3.html" title="n-gram 语言模型">2.3 n-gram 语言模型</a>
<a href="https://opensource.niutrans.com/mtbook/section2-4.html" title="预测与搜索">2.4 预测与搜索</a>
<a href="https://opensource.niutrans.com/mtbook/section2-5.html" title="小结及拓展阅读">2.5 小结及拓展阅读</a>

词法分析和语法分析基础

<a href="https://opensource.niutrans.com/mtbook/section3-1.html" title="问题概述">3.1 问题概述</a>
<a href="https://opensource.niutrans.com/mtbook/section3-2.html" title="中文分词">3.2 中文分词</a>
<a href="https://opensource.niutrans.com/mtbook/section3-3.html" title="命名实体识别">3.3 命名实体识别</a>
<a href="https://opensource.niutrans.com/mtbook/section3-4.html" title="句法分析（短语结构分析）">3.4 句法分析（短语结构分析）</a>
<a href="https://opensource.niutrans.com/mtbook/section3-5.html" title="小结及拓展阅读">3.5 小结及拓展阅读</a>

翻译质量评价

<a href="https://opensource.niutrans.com/mtbook/section4-1.html" title="译文质量评价所面临的挑战">4.1 译文质量评价所面临的挑战</a>
<a href="https://opensource.niutrans.com/mtbook/section4-2.html" title="人工评价">4.2 人工评价</a>
<a href="https://opensource.niutrans.com/mtbook/section4-3.html" title="有参考答案的自动评价">4.3 有参考答案的自动评价</a>
<a href="https://opensource.niutrans.com/mtbook/section4-4.html" title="无参考答案的自动评价">4.4 无参考答案的自动评价</a>
<a href="https://opensource.niutrans.com/mtbook/section4-5.html" title="小结及拓展阅读">4.5 小结及拓展阅读</a>

Part II 统计机器翻译

基于词的机器翻译建模

<a href="https://opensource.niutrans.com/mtbook/section5-1.html" title="词在翻译中的作用">5.1 词在翻译中的作用</a>
<a href="https://opensource.niutrans.com/mtbook/section5-2.html" title="一个简单实例">5.2 一个简单实例</a>
<a href="https://opensource.niutrans.com/mtbook/section5-3.html" title="噪声信道模型">5.3 噪声信道模型</a>
<a href="https://opensource.niutrans.com/mtbook/section5-4.html" title="统计机器翻译的三个基本问题">5.4 统计机器翻译的三个基本问题</a>
<a href="https://opensource.niutrans.com/mtbook/section5-5.html" title="IBM 模型1">5.5 IBM 模型1</a>
<a href="https://opensource.niutrans.com/mtbook/section5-6.html" title="小结及拓展阅读">5.6 小结及拓展阅读</a>

基于扭曲度和繁衍率的模型

<a href="https://opensource.niutrans.com/mtbook/section6-1.html" title="基于扭曲度的模型">6.1 基于扭曲度的模型</a>
<a href="https://opensource.niutrans.com/mtbook/section6-2.html" title="基于繁衍率的模型">6.2 基于繁衍率的模型</a>
<a href="https://opensource.niutrans.com/mtbook/section6-3.html" title="解码和训练">6.3 解码和训练</a>
<a href="https://opensource.niutrans.com/mtbook/section6-4.html" title="问题分析">6.4 问题分析</a>
<a href="https://opensource.niutrans.com/mtbook/section6-5.html" title="小结及拓展阅读">6.5 小结及拓展阅读</a>

基于短语的模型

<a href="https://opensource.niutrans.com/mtbook/section7-1.html" title="翻译中的短语信息">7.1 翻译中的短语信息</a>
<a href="https://opensource.niutrans.com/mtbook/section7-2.html" title="数学建模">7.2 数学建模</a>
<a href="https://opensource.niutrans.com/mtbook/section7-3.html" title="短语抽取">7.3 短语抽取</a>
<a href="https://opensource.niutrans.com/mtbook/section7-4.html" title="翻译调序建模">7.4 翻译调序建模</a>
<a href="https://opensource.niutrans.com/mtbook/section7-5.html" title="翻译特征">7.5 翻译特征</a>
<a href="https://opensource.niutrans.com/mtbook/section7-6.html" title="最小错误率训练">7.6 最小错误率训练</a>
<a href="https://opensource.niutrans.com/mtbook/section7-7.html" title="栈解码">7.7 栈解码</a>
<a href="https://opensource.niutrans.com/mtbook/section7-8.html" title="小结及拓展阅读">7.8 小结及拓展阅读</a>

基于句法的模型

<a href="https://opensource.niutrans.com/mtbook/section8-1.html" title="翻译中句法信息的使用">8.1 翻译中句法信息的使用</a>
<a href="https://opensource.niutrans.com/mtbook/section8-2.html" title="基于层次短语的模型">8.2 基于层次短语的模型</a>
<a href="https://opensource.niutrans.com/mtbook/section8-3.html" title="基于语言学句法的模型">8.3 基于语言学句法的模型</a>
<a href="https://opensource.niutrans.com/mtbook/section8-4.html" title="小结及拓展阅读">8.4 小结及拓展阅读</a>

Part III 神经机器翻译

人工神经网络和神经语言建模

<a href="https://opensource.niutrans.com/mtbook/section9-1.html" title="深度学习与人工神经网络">9.1 深度学习与人工神经网络</a>
<a href="https://opensource.niutrans.com/mtbook/section9-2.html" title="神经网络基础">9.2 神经网络基础</a>
<a href="https://opensource.niutrans.com/mtbook/section9-3.html" title="神经网络的张量实现">9.3 神经网络的张量实现</a>
<a href="https://opensource.niutrans.com/mtbook/section9-4.html" title="神经网络的参数训练">9.4 神经网络的参数训练</a>
<a href="https://opensource.niutrans.com/mtbook/section9-5.html" title="神经语言模型">9.5 神经语言模型</a>
<a href="https://opensource.niutrans.com/mtbook/section9-6.html" title="小结及拓展阅读">9.6 小结及拓展阅读</a>

基于循环神经网络的模型

<a href="https://opensource.niutrans.com/mtbook/section10-1.html" title="神经机器翻译的发展简史">10.1 神经机器翻译的发展简史</a>
<a href="https://opensource.niutrans.com/mtbook/section10-2.html" title="编码器-解码器框架">10.2 编码器-解码器框架</a>
<a href="https://opensource.niutrans.com/mtbook/section10-3.html" title="基于循环神经网络的翻译建模">10.3 基于循环神经网络的翻译建模</a>
<a href="https://opensource.niutrans.com/mtbook/section10-4.html" title="注意力机制">10.4 注意力机制</a>
<a href="https://opensource.niutrans.com/mtbook/section10-5.html" title="训练及推断">10.5 训练及推断</a>
<a href="https://opensource.niutrans.com/mtbook/section10-6.html" title="小结及拓展阅读">10.6 小结及拓展阅读</a>

基于卷积神经网络的模型

<a href="https://opensource.niutrans.com/mtbook/section11-1.html" title="卷积神经网络">11.1 卷积神经网络</a>
<a href="https://opensource.niutrans.com/mtbook/section11-2.html" title="基于卷积神经网络的翻译建模">11.2 基于卷积神经网络的翻译建模</a>
<a href="https://opensource.niutrans.com/mtbook/section11-3.html" title="局部模型的改进">11.3 局部模型的改进</a>
<a href="https://opensource.niutrans.com/mtbook/section11-4.html" title="小结及拓展阅读">11.4 小结及拓展阅读</a>

基于自注意力的模型

<a href="https://opensource.niutrans.com/mtbook/section12-1.html" title="自注意力机制">12.1 自注意力机制</a>
<a href="https://opensource.niutrans.com/mtbook/section12-2.html" title="Transformer 架构">12.2 Transformer 架构</a>
<a href="https://opensource.niutrans.com/mtbook/section12-3.html" title="位置编码">12.3 位置编码</a>
<a href="https://opensource.niutrans.com/mtbook/section12-4.html" title="基于点乘的多头注意力机制">12.4 基于点乘的多头注意力机制</a>
<a href="https://opensource.niutrans.com/mtbook/section12-5.html" title="残差网络和层标准化">12.5 残差网络和层标准化</a>
<a href="https://opensource.niutrans.com/mtbook/section12-6.html" title="前馈全连接网络子层">12.6 前馈全连接网络子层</a>
<a href="https://opensource.niutrans.com/mtbook/section12-7.html" title="训练">12.7 训练</a>
<a href="https://opensource.niutrans.com/mtbook/section12-8.html" title="推断">12.8 推断</a>
<a href="https://opensource.niutrans.com/mtbook/section12-9.html" title="小结及拓展阅读">12.9 小结及拓展阅读</a>

Part IV 机器翻译前沿

神经机器翻译模型训练

<a href="https://opensource.niutrans.com/mtbook/section13-1.html" title="开放词表">13.1 开放词表</a>
<a href="https://opensource.niutrans.com/mtbook/section13-2.html" title="正则化">13.2 正则化</a>
<a href="https://opensource.niutrans.com/mtbook/section13-3.html" title="对抗样本训练">13.3 对抗样本训练</a>
<a href="https://opensource.niutrans.com/mtbook/section13-4.html" title="学习策略">13.4 学习策略</a>
<a href="https://opensource.niutrans.com/mtbook/section13-5.html" title="知识蒸馏">13.5 知识蒸馏</a>
<a href="https://opensource.niutrans.com/mtbook/section13-6.html" title="基于样本价值的学习">13.6 基于样本价值的学习</a>
<a href="https://opensource.niutrans.com/mtbook/section13-7.html" title="小结及拓展阅读">13.7 小结及拓展阅读</a>

神经机器翻译模型推断

<a href="https://opensource.niutrans.com/mtbook/section14-1.html" title="面临的挑战">14.1 面临的挑战</a>
<a href="https://opensource.niutrans.com/mtbook/section14-2.html" title="基本问题">14.2 基本问题</a>
<a href="https://opensource.niutrans.com/mtbook/section14-3.html" title="轻量模型">14.3 轻量模型</a>
<a href="https://opensource.niutrans.com/mtbook/section14-4.html" title="=非自回归翻译">14.4 非自回归翻译</a>
<a href="https://opensource.niutrans.com/mtbook/section14-5.html" title="多模型集成">14.5 多模型集成</a>
<a href="https://opensource.niutrans.com/mtbook/section14-6.html" title="小结及拓展阅读">14.6 小结及

MTBook

Install / Use

README

机器翻译：基础与模型

Machine Translation: Foundations and Models

完整PDF版

章节内容（Web版）