A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

A Two-Stage Attention Based Modality Fusion Framework for Multi-Modal Speech Emotion Recognition Uma estrutura de fusão de modalidade baseada em atenção em dois estágios para reconhecimento de emoções de fala multimodal

Dongni HU, Chengxin CHEN, Pengyuan ZHANG, Junfeng LI, Yonghong YAN, Qingwei ZHAO

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Recentemente, o reconhecimento e a análise automatizados das emoções humanas têm atraído cada vez mais atenção de comunidades multidisciplinares. No entanto, é um desafio utilizar simultaneamente as informações emocionais de múltiplas modalidades. Estudos anteriores exploraram diferentes métodos de fusão, mas focaram principalmente na interação intermodal ou na interação intramodal. Nesta carta, propomos uma nova estratégia de fusão em dois estágios chamada fluxo de atenção de modalidade (MAF) para modelar as interações intra e intermodalidade simultaneamente em uma estrutura unificada de ponta a ponta. Os resultados experimentais mostram que a abordagem proposta supera os métodos de fusão tardia amplamente utilizados e atinge um desempenho ainda melhor quando o número de blocos MAF empilhados aumenta.

Publicação
IEICE TRANSACTIONS on Information Vol.E104-D No.8 pp.1391-1394
Data de publicação
2021/08/01
Publicitada
2021/04/30
ISSN online
1745-1361
DOI
10.1587/transinf.2021EDL8002
Tipo de Manuscrito
LETTER
Categoria
Interação Homem-Computador

autores

Dongni HU
  Chinese Academy of Sciences,University of Chinese Academy of Sciences
Chengxin CHEN
  Chinese Academy of Sciences,University of Chinese Academy of Sciences
Pengyuan ZHANG
  Chinese Academy of Sciences,University of Chinese Academy of Sciences
Junfeng LI
  Chinese Academy of Sciences,University of Chinese Academy of Sciences
Yonghong YAN
  Chinese Academy of Sciences,University of Chinese Academy of Sciences
Qingwei ZHAO
  Chinese Academy of Sciences

Palavra-chave