A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Inference Discrepancy Based Curriculum Learning for Neural Machine Translation Aprendizagem curricular baseada em discrepância de inferência para tradução automática neural

Lei ZHOU, Ryohei SASANO, Koichi TAKEDA

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Na prática, mesmo um modelo de tradução automática neural (NMT) bem treinado ainda pode fazer inferências tendenciosas no conjunto de treinamento devido a mudanças na distribuição. Para o processo de aprendizagem humano, se não conseguirmos reproduzir algo corretamente depois de aprender várias vezes, consideramos que é mais difícil. Da mesma forma, um exemplo de treinamento que provoque uma grande discrepância entre inferência e referência implica maior dificuldade de aprendizagem para o modelo MT. Portanto, propomos adotar a discrepância de inferência de cada exemplo de treinamento como critério de dificuldade, e de acordo com o qual classificar os exemplos de treinamento de fácil a difícil. Dessa forma, um modelo treinado pode orientar o processo de aprendizagem curricular de um modelo inicial idêntico a ele. Apresentamos uma analogia a este esquema de formação como guia do processo de aprendizagem de um modelo curricular NMT por um modelo vanilla pré-treinado. Neste artigo, avaliamos a eficácia do esquema de treinamento proposto e obtemos uma visão sobre a influência da direção da tradução, das métricas de avaliação e dos diferentes cronogramas curriculares. Resultados experimentais em benchmarks de tradução WMT14 Inglês ⇒ Alemão, WMT17 Chinês ⇒ Inglês e Multitarget TED Talks Task (MTTT) Inglês ⇔ Alemão, Inglês ⇔ Chinês, Inglês ⇔ Russo demonstram que nosso método proposto melhora consistentemente o desempenho da tradução em relação à linha de base avançada do Transformer.

Publicação
IEICE TRANSACTIONS on Information Vol.E107-D No.1 pp.135-143
Data de publicação
2024/01/01
Publicitada
2023/10/18
ISSN online
1745-1361
DOI
10.1587/transinf.2023EDP7048
Tipo de Manuscrito
PAPER
Categoria
Processamento de Linguagem Natural

autores

Lei ZHOU
  Nagoya University
Ryohei SASANO
  Nagoya University
Koichi TAKEDA
  Nagoya University

Palavra-chave