A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Spatio-Temporal Self-Attention Weighted VLAD Neural Network for Action Recognition Rede neural VLAD ponderada por autoatenção espaço-temporal para reconhecimento de ação

Shilei CHENG, Mei XIE, Zheng MA, Siqi LI, Song GU, Feng YANG

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Como a caracterização de vídeos simultaneamente a partir de pistas espaciais e temporais tem se mostrado crucial para o processamento de vídeo, com a escassez de informações temporais de atribuição suave, o vetor de descritor agregado localmente (VLAD) deve ser considerado como uma estrutura subótima para aprender o vídeo espaço-temporal representação. Com o desenvolvimento de mecanismos de atenção no processamento de linguagem natural, neste trabalho, apresentamos um novo modelo com VLAD seguindo operações de autoatenção espaço-temporal, denominado VLAD de autoatenção espaço-temporal ponderado (ST-SAWVLAD). Em particular, mapas de características convolucionais sequenciais extraídos de duas modalidades i.e., RGB e Flow são alimentados receptivamente no módulo de autoatenção para aprender parâmetros de atribuições espaço-temporais suaves, o que permite agregar não apenas informações espaciais detalhadas, mas também informações de movimento fino de quadros de vídeo sucessivos. Em experimentos, avaliamos o ST-SAWVLAD usando conjuntos de dados de reconhecimento de ação competitiva, UCF101 e HMDB51, os resultados atingindo um desempenho notável. O código fonte está disponível em:https://github.com/badstones/st-sawvlad.

Publicação
IEICE TRANSACTIONS on Information Vol.E104-D No.1 pp.220-224
Data de publicação
2021/01/01
Publicitada
2020/10/01
ISSN online
1745-1361
DOI
10.1587/transinf.2020EDL0002
Tipo de Manuscrito
LETTER
Categoria
Biocibernética, Neurocomputação

autores

Shilei CHENG
  University of Electronic Science and Technology of China
Mei XIE
  University of Electronic Science and Technology of China
Zheng MA
  University of Electronic Science and Technology of China
Siqi LI
  University of Electronic Science and Technology of China
Song GU
  Chengdu Aeronautic Polytechnic
Feng YANG
  University of Electronic Science and Technology of China

Palavra-chave