[go: up one dir, main page]

CN107729326B - 基于Multi-BiRNN编码的神经机器翻译方法 - Google Patents

基于Multi-BiRNN编码的神经机器翻译方法 Download PDF

Info

Publication number
CN107729326B
CN107729326B CN201710875429.9A CN201710875429A CN107729326B CN 107729326 B CN107729326 B CN 107729326B CN 201710875429 A CN201710875429 A CN 201710875429A CN 107729326 B CN107729326 B CN 107729326B
Authority
CN
China
Prior art keywords
birnn
sequence
source language
syntax tree
language sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710875429.9A
Other languages
English (en)
Other versions
CN107729326A (zh
Inventor
叶娜
张学强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Aerospace University
Original Assignee
Shenyang Aerospace University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Aerospace University filed Critical Shenyang Aerospace University
Priority to CN201710875429.9A priority Critical patent/CN107729326B/zh
Publication of CN107729326A publication Critical patent/CN107729326A/zh
Application granted granted Critical
Publication of CN107729326B publication Critical patent/CN107729326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

本发明涉及一种基于Multi‑BiRNN编码的神经机器翻译方法，在编码器端采用Multi‑BiRNN编码，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码；基于Multi‑BiRNN编码的神经机器翻译，在源端编码过程中同时考虑源语言句子序列及其依存句法树，通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi‑BiRNN编码的输入；在各组BiRNN的输出端，采用向量拼接的方式形成每个词。本发明编码得到的向量包含更加丰富的语义信息，同时考虑源语言句子序列和其他与之相关序列，在源语言句子的语义的表示过程中起到消歧作用。

Description

基于Multi-BiRNN编码的神经机器翻译方法
技术领域
本发明涉及一种自然语言翻译技术，具体为基于Multi-BiRNN编码的神经机器翻译方法。
背景技术
端到端神经机器翻译作为一种全新的机器翻译方法，近年来得到了迅速发展。然而，端到端神经机器翻译仅仅使用一个非线性的神经网络实现自然语言之间的转换，导致难以显式地利用语言学知识。如何对当前的神经机器翻译的框架作出改进，从而将句法信息等语言学知识编码并应用到端到端的神经网络中，是一个值得探究的方向。
通常，端到端神经机器翻译基于一个“编码-解码”框架来学习源语言到目标语言的转换规律，用连接编码器和解码器的向量描述语义等价性。在编码器端，通常采用双向编码将源语言句子映射为一个连续、稠密的向量。在解码器端，使用该向量初始化隐状态，并递归地使用隐状态和已生成的目标词共同作用于当前生成词的概率分布。然而，不管句子长短都将其映射为一个固定维度的向量，这对实现准确编码提出了挑战。注意力机制的引入，在一定程度上缓解了编码器生成定长向量的问题。Bengio研究组主张为每个目标语言词动态生成源语言端的上下文向量，不再采用表示源语言句子的固定维度的向量。为此，编码器依据基于内容的注意力计算方法将源语言句子编码为向量序列。
由神经机器翻译基本原理可以看出，句子中的信息与特征完全由向量表示，并在编码器和解码器之间传递源语言句子的语义信息。无论是传统的基于“编码-解码”框架的神经机器翻译，还是引入注意力机制的神经机器翻译，都依赖于编码过程，即将句子映射为可表示、传递和计算语义的向量。能否实现对源语言句子的准确编码，并将更多的语言学知识编码到向量中，对提高神经机器翻译性能起到举足轻重的作用。
发明内容
针对现有技术中端到端神经机器翻译主要基于一种序列到序列的模型，没有直接显式地利用句法信息来指导和约束译文的生成等不足，本发明要解决的问题是提供一种基于Multi-BiRNN编码的神经机器翻译方法。
为解决上述技术问题，本发明采用的技术方案是：
本发明一种基于Multi-BiRNN编码的神经机器翻译方法，包括以下步骤：
1)在编码器端采用Multi-BiRNN编码的方法，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码；
2)基于Multi-BiRNN编码的神经机器翻译，在源端编码过程中同时考虑源语言句子序列及其依存句法树，通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi-BiRNN编码的输入；
3)在各组BiRNN的输出端，采用向量拼接的方式形成每个词，使每个词更加完整和全面。
步骤1)中，增加一组或多组BiRNN对与之相关的其他输入序列进行编码，具体为：
BiRNN1用以编码源语言句子，分别生成前向隐状态序列
Figure BDA0001418015840000021
和后向隐状态序列
Figure BDA0001418015840000022
BiRNN2用以编码词性序列，分别生成前向隐状态序列
Figure BDA0001418015840000024
和后向隐状态序列
Figure BDA0001418015840000023
得到上述4个隐状态序列后，分别对每一位置的隐状态依次进行拼接，最终实现将源语言句子映射为向量序列
Figure BDA0001418015840000025
如果增加多组BiRNN对与之相关的其他输入序列进行编码，则每个BiRNNj可分别生成正向隐状态
Figure BDA0001418015840000027
和反向隐状态
Figure BDA0001418015840000026
最终可得到2*m个隐状态，进行拼接可得到向量序列
Figure BDA0001418015840000028
Figure BDA0001418015840000029
hmn表示Multi-BiRNN中第m个BiRNN生成的第n个隐状态，m表示Multi-BiRNN中BiRNN网络层数，n表示每层BiRNN生成隐状态的个数。
步骤2)中，两种不同的遍历方式为：
对于一个源语言句子，分析为一棵依存句法树，依存句法树的遍历采用广度优先遍历或深度优先遍历；
在依存句法树中，有依存关系的短语或子句自动生长在同一棵子树中，结点之间的父子关系反应词之间的依存关系；
对于依存句法树的遍历，广度优先遍历是从根节点出发，逐层对句法树的每一个结点进行遍历；深度优先遍历则从根结点开始，每次沿着一条路径遍历，直到遍历到句法树的叶子结点再回溯到父节点，从而遍历所有结点。
本发明具有以下有益效果及优点：
1.本发明首先保留了BiRNN编码既编码顺序的序列信息，也编码逆序的序列信息的方法；其次，编码过程中显式地考虑源语言句子且与之相关的其他序列信息，从而编码得到的向量包含更加丰富的语义信息；编码过程中同时考虑源语言句子序列和其他与之相关序列，在源语言句子的语义的表示过程中起到消歧作用。
2.本发明针对目前端到端神经机器翻译主要基于一种序列到序列的模型，没有直接显式地利用句法信息来指导和约束译文的生成问题，通过对源语言句子进行依存句法分析并序列化依存句法树的方法，将序列化的依存句法信息作为Multi-BiRNN的输入编码到神经机器翻译中。
3.本发明方法着重考虑子树内部词之间的相互影响，通过将句法信息等语言学知识显式地编码为描述语义等价性的向量，参与模型的训练和解码过程中，以提升神经机器翻译的性能。
附图说明
图1为本发明中Multi-BiRNN的神经机器翻译过程图示；
图2为本发明中依存句法树的序列化示意图。
具体实施方式
下面结合说明书附图对本发明作进一步阐述。
本发明一种基于Multi-BiRNN编码的神经机器翻译方法，包括以下步骤：
1)在编码器端采用Multi-BiRNN编码的方法，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码；
2)基于Multi-BiRNN编码的神经机器翻译，在源端编码过程中同时考虑源语言句子序列及其依存句法树，通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi-BiRNN编码的输入；
3)在各组BiRNN的输出端，采用向量拼接的方式形成每个词，使每个词更加完整和全面。
本发明中，编码器采用BiRNN，是在传统RNN编码基础上考虑了逆向序列中词的联系与规律，在一定程度上将更多的源语言句子信息编码到向量中。然而，传统的基于“编码器-解码器”框架的神经机器翻译，只将源语言句子作为神经网络的输入序列，没有显式地将句子中包含的语言学知识编码到向量中，以更好地描述编码器和解码器之间的语义等价性，从而指导并约束目标语言句子的生成。
本发明提出一种在编码器端采用Multi-BiRNN编码的方法，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码。在各组BiRNN的输出端，采用向量拼接的方式形成每个词更加完整和全面地解释。
步骤1)中，增加一组或多组BiRNN对与之相关的其他输入序列进行编码，图1给出了使用两组BiRNN的Multi-BiRNN编码示例，在单个BiRNN的基础上，增加了一组或者多组的BiRNN。以实现在对源语言句子序列编码的基础上，对与源语言句子相关的其他序列进行编码，从而达到更为准确的表示源语言句子特征和信息的向量。具体为：
BiRNN1用以编码源语言句子，分别生成前向隐状态序列
Figure BDA0001418015840000031
和后向隐状态序列
Figure BDA0001418015840000032
BiRNN2用以编码词性序列，分别生成前向隐状态序列
Figure BDA0001418015840000041
和后向隐状态序列
Figure BDA0001418015840000042
得到上述4个隐状态序列后，分别对每一位置的隐状态依次进行拼接，最终实现将源语言句子映射为向量序列
Figure BDA0001418015840000043
如果增加多组BiRNN对与之相关的其他输入序列进行编码，则每个BiRNNj可分别生成正向隐状态
Figure BDA0001418015840000044
和反向隐状态
Figure BDA0001418015840000045
最终可得到2*m个隐状态，进行拼接可得到向量序列
Figure BDA0001418015840000046
Figure BDA0001418015840000047
hmn表示Multi-BiRNN中第m个BiRNN生成的第n个隐状态，m表示Multi-BiRNN中BiRNN网络层数(即Multi-BiRNN的第m层)，n表示每层BiRNN生成隐状态的个数(即每层BiRNN的节点数目)。
步骤2)中，两种不同的遍历方式为：
对于一个源语言句子，分析为一棵依存句法树，依存句法树的遍历采用广度优先遍历或深度优先遍历；
在依存句法树中，有依存关系的短语或子句自动生长在同一棵子树中，结点之间的父子关系反应词之间的依存关系；
对于依存句法树的遍历，广度优先遍历是从根节点出发，逐层对句法树的每一个结点进行遍历；深度优先遍历则从根结点开始，每次沿着一条路径遍历，直到遍历到句法树的叶子结点再回溯到父节点，从而遍历所有结点。
本发明提出一种基于Multi-BiRNN的神经机器翻译模型，在源端编码过程中同时考虑源语言句子序列及其依存句法树。通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi-BiRNN编码的输入。该方法的优势是在编码源语言句子序列的基础上，融入依存句法信息。
对于一个源语言句子，可分析为一棵依存句法树。句法树的遍历可采用广度优先遍历(Breadth First Traversal，BFT)或深度优先遍历(Depth FirstTraversal，DFT)。在依存句法树中，有依存关系的短语或子句会自动生长在同一棵子树中，结点之间的父子关系反应词之间的依存关系。对于句法树的遍历而言，广度优先遍历是指从根节点出发，逐层对句法树的每一个结点进行遍历。深度优先遍历则从根结点开始，每次沿着一条路径遍历，直到遍历到句法树的叶子结点再回溯到父节点，从而遍历所有结点。图2给出了依存句法树序列化的过程。对于源语言句子“资本项目不开放有利于人民币汇率的稳定。”，使用分析器对其进行依存句法分析，得到相应的依存句法树。本发明分别采用广度优先遍历和深度优先遍历两种算法对句法树进行遍历，分别得到两种序列“有利开放于。不项目稳定资本的汇率人民币”和“有利开放不项目资本于稳定的汇率人民币。”空格是序列元素之间的分隔符。通过观察两种序列可知：广度优先遍历得到的序列中，“不”和“项目”同时依存于“开放”，因此在序列中“不”和“项目”的距离会减小，因此在BiRNN编码过程中会相互产生更大的影响。同样在深度优先遍历得到的序列中，“开放”和“项目”、“项目”和“资本”之间有直接的依存关系，因此在序列中距离会相对减小。
本实施例中，实验主要分为两部分。首先，在编码器端的BiRNN的基础上实现Multi-BiRNN系统。通过对比Multi-BiRNN编码的基线系统与BiRNN系统，以验证Multi-BiRNN编码方法的有效性。其次，在Multi-BiRNN编码方法的基础上，进行神经机器翻译实验。
实验主要针对汉英翻译任务，实验语料来源于联合国语料库中的中英双语平行语料。其中，训练数据集共15,886,041双语平行句对，实验过程只随机抽取5,000,000句作为训练语料。官方开发集和测试集各4,000双语平行句对。
表1译文质量对比
Figure BDA0001418015840000051
在表1中，seq指网络的输入是源语言句子序列，作为基线系统。doubleseq指的是使用同样的源语言句子向Multi-BiRNN中两个BiRNN各输入一次；seq+pos指的是向Multi-BiRNN中输入源语言句子序列seq和词性序列pos；seq+hypernym指的是向Multi-BiRNN中输入源语言句子序列seq和上位词序列hypernym；seq+pos+hypernym指的是向Multi-BiRNN中输入源语言句子序列seq和词性序列pos以及上位词序列hypernym。
由表1结果可以看出，两次输入句子、输入句子+词性、输入句子+上位词、输入句子+词性+上位词在基线系统的基础上，都有一定的提升。其中，double seq在基线系统的基础上BLEU分值提升了0.25，seq+pos的BLEU分值提升了0.74，seq+hypernym的BLEU分值提升了0.98，seq+pos+hypernym的BLEU分值提升了1.14,seq+bre+dep的BLEU分值提升了0.94。
Multi-BiRNN编码主要有三点优势：首先，保留了BiRNN编码既编码顺序的序列信息，也编码逆序的序列信息的方法。其次，编码过程中显式地考虑源语言句子且与之相关的其他序列信息，从而编码得到的向量包含更加丰富的语义信息。最后，编码过程中同时考虑源语言句子序列和其他与之相关序列，在源语言句子的语义的表示过程中起到消歧作用。

Claims (3)

1.一种基于Multi-BiRNN编码的神经机器翻译方法，其特征在于包括以下步骤：
1)在编码器端采用Multi-BiRNN编码的方法，即在源语言句子作为输入序列的基础上，再增加一组或多组BiRNN对与之相关的其他输入序列进行编码；
2)基于Multi-BiRNN编码的神经机器翻译，在源端编码过程中同时考虑源语言句子序列及其依存句法树，通过两种不同的遍历方式分别得到句法树的序列化结果，与源语言句子序列一起作为Multi-BiRNN编码的输入；
3)在各组BiRNN的输出端，采用向量拼接的方式形成每个词，使每个词更加完整和全面；
如果增加多组BiRNN对输入序列进行编码，即在单个BiRNN的基础上，增加了一组或者多组的BiRNN，则每个BiRNNj可分别生成正向隐状态
Figure FDA0002728827040000011
和反向隐状态
Figure FDA0002728827040000012
最终可得到2*m个隐状态，进行拼接可得到向量序列
Figure FDA0002728827040000013
Figure FDA0002728827040000014
hmn表示Multi-BiRNN中第m个BiRNN生成的第n个隐状态，m表示Multi-BiRNN中BiRNN网络层数，n表示每层BiRNN生成隐状态的个数。
2.根据权利要求1所述的基于Multi-BiRNN编码的神经机器翻译方法，其特征在于：步骤1)中，增加一组或多组BiRNN对与之相关的其他输入序列进行编码，具体为：
BiRNN1用以编码源语言句子，分别生成前向隐状态序列
Figure FDA0002728827040000015
和后向隐状态序列
Figure FDA0002728827040000016
BiRNN2用以编码词性序列，分别生成前向隐状态序列
Figure FDA0002728827040000017
和后向隐状态序列
Figure FDA0002728827040000018
得到上述4个隐状态序列后，分别对每一位置的隐状态依次进行拼接，最终实现将源语言句子映射为向量序列
Figure FDA0002728827040000019
3.根据权利要求1所述的基于Multi-BiRNN编码的神经机器翻译方法，其特征在于：步骤2)中，两种不同的遍历方式为：
对于一个源语言句子，分析为一棵依存句法树，依存句法树的遍历采用广度优先遍历或深度优先遍历；
在依存句法树中，有依存关系的短语或子句自动生长在同一棵子树中，结点之间的父子关系反应词之间的依存关系；
对于依存句法树的遍历，广度优先遍历是从根节点出发，逐层对句法树的每一个结点进行遍历；深度优先遍历则从根结点开始，每次沿着一条路径遍历，直到遍历到句法树的叶子结点再回溯到父节点，从而遍历所有结点。
CN201710875429.9A 2017-09-25 2017-09-25 基于Multi-BiRNN编码的神经机器翻译方法 Active CN107729326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710875429.9A CN107729326B (zh) 2017-09-25 2017-09-25 基于Multi-BiRNN编码的神经机器翻译方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710875429.9A CN107729326B (zh) 2017-09-25 2017-09-25 基于Multi-BiRNN编码的神经机器翻译方法

Publications (2)

Publication Number Publication Date
CN107729326A CN107729326A (zh) 2018-02-23
CN107729326B true CN107729326B (zh) 2020-12-25

Family

ID=61206870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710875429.9A Active CN107729326B (zh) 2017-09-25 2017-09-25 基于Multi-BiRNN编码的神经机器翻译方法

Country Status (1)

Country Link
CN (1) CN107729326B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110895660B (zh) * 2018-08-23 2024-05-17 澳门大学 一种基于句法依存关系动态编码的语句处理方法及装置
CN109492227A (zh) * 2018-11-16 2019-03-19 大连理工大学 一种基于多头注意力机制和动态迭代的机器阅读理解方法
CN109902309B (zh) * 2018-12-17 2023-06-02 北京百度网讯科技有限公司 翻译方法、装置、设备和存储介质
CN109977834B (zh) * 2019-03-19 2021-04-06 清华大学 从深度图像中分割人手与交互物体的方法和装置
CN110059324B (zh) * 2019-04-26 2022-12-13 广州大学 基于依存信息监督的神经网络机器翻译方法及装置
CN110263353B (zh) * 2019-06-25 2023-10-13 北京金山数字娱乐科技有限公司 一种机器翻译方法及装置
CN110377918B (zh) * 2019-07-15 2020-08-28 昆明理工大学 融合句法解析树的汉-越神经机器翻译方法
CN110457718B (zh) * 2019-08-21 2020-11-24 腾讯科技（深圳）有限公司 一种文本生成方法、装置、计算机设备及存储介质
CN112035099B (zh) * 2020-09-01 2024-03-15 北京天融信网络安全技术有限公司 一种抽象语法树中节点的向量化表示方法及装置
CN113239142B (zh) * 2021-04-26 2022-09-23 昆明理工大学 融合句法信息的无触发词事件检测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116578A (zh) * 2013-02-07 2013-05-22 北京赛迪翻译技术有限公司 一种融合句法树和统计机器翻译技术的翻译方法与装置
CN104239290A (zh) * 2014-08-08 2014-12-24 中国科学院计算技术研究所 基于依存树的统计机器翻译方法及系统
CN105573994A (zh) * 2016-01-26 2016-05-11 沈阳雅译网络技术有限公司 基于句法骨架的统计机器翻译系统
CN106484682A (zh) * 2015-08-25 2017-03-08 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
WO2017083695A1 (en) * 2015-11-12 2017-05-18 Google Inc. Generating target sequences from input sequences using partial conditioning
CN107038159A (zh) * 2017-03-09 2017-08-11 清华大学 一种基于无监督领域自适应的神经网络机器翻译方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014235599A (ja) * 2013-06-03 2014-12-15 独立行政法人情報通信研究機構 翻訳装置、学習装置、翻訳方法、およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103116578A (zh) * 2013-02-07 2013-05-22 北京赛迪翻译技术有限公司 一种融合句法树和统计机器翻译技术的翻译方法与装置
CN104239290A (zh) * 2014-08-08 2014-12-24 中国科学院计算技术研究所 基于依存树的统计机器翻译方法及系统
CN106484682A (zh) * 2015-08-25 2017-03-08 阿里巴巴集团控股有限公司 基于统计的机器翻译方法、装置及电子设备
WO2017083695A1 (en) * 2015-11-12 2017-05-18 Google Inc. Generating target sequences from input sequences using partial conditioning
CN105573994A (zh) * 2016-01-26 2016-05-11 沈阳雅译网络技术有限公司 基于句法骨架的统计机器翻译系统
CN106569998A (zh) * 2016-10-27 2017-04-19 浙江大学 一种基于Bi‑LSTM、CNN和CRF的文本命名实体识别方法
CN107038159A (zh) * 2017-03-09 2017-08-11 清华大学 一种基于无监督领域自适应的神经网络机器翻译方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Encoder-Decoder Shift-Reduce Syntactic Parsing;Jiangming Liu 等;《https://arxiv.org/abs/1706.07905》;20170624;第1-10页 *
Improved Neural Machine Translation with a Syntax-Aware Encoder and Decoder;Huadong Chen 等;《https://arxiv.org/abs/1707.05436》;20170718;第1-10页 *
张学强.基于深度学习的机器翻译技术研究.《 CNKI优秀硕士学位论文全文库 信息科技辑》.2018, *

Also Published As

Publication number Publication date
CN107729326A (zh) 2018-02-23

Similar Documents

Publication Publication Date Title
CN107729326B (zh) 基于Multi-BiRNN编码的神经机器翻译方法
CN112541343B (zh) 基于词对齐的半监督对抗学习跨语言摘要生成方法
Zhu et al. NCLS: Neural cross-lingual summarization
CN110334361B (zh) 一种面向小语种语言的神经机器翻译方法
CN110083710B (zh) 一种基于循环神经网络与潜变量结构的词语定义生成方法
CN112765345A (zh) 一种融合预训练模型的文本摘要自动生成方法及系统
CN107357789B (zh) 融合多语编码信息的神经机器翻译方法
CN111460132B (zh) 一种基于图卷积神经网络的生成式会议摘要方法
CN111061861B (zh) 一种基于XLNet的文本摘要自动生成方法
CN114880461A (zh) 一种结合对比学习和预训练技术的中文新闻文本摘要方法
Li et al. Semi-supervised domain adaptation for dependency parsing
CN104391842A (zh) 一种翻译模型构建方法和系统
CN110619043A (zh) 基于动态词向量的自动文本摘要生成方法
CN107766506A (zh) 一种基于层次化注意力机制的多轮对话模型构建方法
CN110516244A (zh) 一种基于bert的句子自动填充方法
CN112668344B (zh) 基于混合专家模型的复杂度可控的多样化问题生成方法
CN111914555B (zh) 基于Transformer结构的自动化关系抽取系统
CN114972907A (zh) 基于强化学习和对比学习的图像语义理解及文本生成
CN117831574A (zh) 一种基于文本情感的中文情感语音合成方法、系统、设备及介质
CN114169346A (zh) 一种运用词性信息的机器翻译方法
CN118296135A (zh) 面向跨域迁移的方面级情感三元组抽取方法
CN116562275B (zh) 一种结合实体属性图的自动文本摘要方法
CN110717316B (zh) 字幕对话流的主题分割方法及装置
CN115831115A (zh) 一种课堂纪要生成方法及系统
CN114580408A (zh) 基于双层注意力联合学习的下联生成方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant