A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Modality-Fused Graph Network for Cross-Modal Retrieval Rede gráfica fundida por modalidade para recuperação intermodal

Fei WU, Shuaishuai LI, Guangchuan PENG, Yongheng MA, Xiao-Yuan JING

  • Exibições de texto completo

    1

  • Cite isto

Resumo:

A tecnologia de hashing cross-modal tem atraído muita atenção por seu desempenho de recuperação favorável e baixo custo de armazenamento. No entanto, para os métodos de hashing intermodais existentes, a heterogeneidade dos dados entre as modalidades ainda é um desafio e a forma de explorar e utilizar plenamente os recursos intramodais não foi bem estudada. Neste artigo, propomos uma nova abordagem de hashing intermodal chamada Modality-fused Graph Network (MFGN). A arquitetura de rede consiste em um canal de texto e um canal de imagem que são usados ​​para aprender recursos específicos da modalidade, e um canal de fusão de modalidade que usa a rede gráfica para aprender as representações compartilhadas por modalidade para reduzir a heterogeneidade entre as modalidades. Além disso, é introduzido um módulo de integração dos canais de imagem e texto para explorar plenamente as funcionalidades intramodalidade. Experimentos em dois conjuntos de dados amplamente utilizados mostram que nossa abordagem alcança melhores resultados do que os métodos de hashing cross-modal de última geração.

Publicação
IEICE TRANSACTIONS on Information Vol.E106-D No.5 pp.1094-1097
Data de publicação
2023/05/01
Publicitada
2023/02/09
ISSN online
1745-1361
DOI
10.1587/transinf.2022EDL8069
Tipo de Manuscrito
LETTER
Categoria
Reconhecimento de Padrões

autores

Fei WU
  Nanjing University of Posts and Telecommunications
Shuaishuai LI
  Nanjing University of Posts and Telecommunications
Guangchuan PENG
  Nanjing University of Posts and Telecommunications
Yongheng MA
  Nanjing University of Posts and Telecommunications
Xiao-Yuan JING
  Wuhan University

Palavra-chave