A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Analysis on Norms of Word Embedding and Hidden Vectors in Neural Conversational Model Based on Encoder-Decoder RNN Análise de normas de incorporação de palavras e vetores ocultos em modelo conversacional neural baseado em codificador-decodificador RNN

Manaya TOMIOKA, Tsuneo KATO, Akihiro TAMURA

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Um modelo neural conversacional (NCM) baseado em uma rede neural recorrente codificador-decodificador (RNN) com um mecanismo de atenção aprende diferentes mapeamentos sequência a sequência do que a tradução automática neural (NMT) aprende, mesmo quando baseada na mesma técnica. No NCM, confirmamos que os mapeamentos da palavra-alvo para a palavra-fonte capturados pelo mecanismo de atenção não são tão claros e estacionários quanto os do NMT. Considerando que as normas vetoriais indicam uma magnitude de informação no processamento, analisamos o funcionamento interno de um NCM codificador-decodificador baseado em GRU com foco nas normas de vetores de incorporação de palavras e vetores ocultos. Primeiro, conduzimos análises de correlação nas normas de vetores de incorporação de palavras com frequências no conjunto de treinamento e com entropias condicionais de um modelo de linguagem bi-grama para entender o que está correlacionado com as normas no codificador e no decodificador. Em segundo lugar, conduzimos análises de correlação sobre normas de mudança no vetor oculto da camada recorrente com seus vetores de entrada para o codificador e decodificador, respectivamente. Essas análises foram feitas para entender como a magnitude da informação se propaga pela rede. Os resultados analíticos sugeriram que as normas dos vetores de incorporação de palavras estão associadas à sua informação semântica no codificador, enquanto aquelas estão associadas à previsibilidade como modelo de linguagem no decodificador. Os resultados analíticos revelaram ainda como as normas se propagam através da camada recorrente no codificador e no decodificador.

Publicação
IEICE TRANSACTIONS on Information Vol.E105-D No.10 pp.1780-1789
Data de publicação
2022/10/01
Publicitada
2022/06/30
ISSN online
1745-1361
DOI
10.1587/transinf.2021EDP7227
Tipo de Manuscrito
PAPER
Categoria
Processamento de Linguagem Natural

autores

Manaya TOMIOKA
  Doshisha University
Tsuneo KATO
  Doshisha University
Akihiro TAMURA
  Doshisha University

Palavra-chave