A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Time Series Forecasting Based on Convolution Transformer Previsão de série temporal baseada no transformador de convolução

Na WANG, Xianglian ZHAO

  • Exibições de texto completo

    4

  • Cite isto

Resumo:

Para muitos campos da vida real, a previsão de séries temporais é essencial. Estudos recentes mostraram que o Transformer tem certas vantagens ao lidar com tais problemas, especialmente ao lidar com problemas de entrada de tempo de sequência longa e de previsão de tempo de sequência longa. A fim de melhorar a eficiência e estabilidade local do Transformer, estes estudos combinam Transformer e CNN com diferentes estruturas. No entanto, os modelos de rede de previsão de séries temporais anteriores baseados no Transformer não podem fazer uso completo da CNN e não foram usados ​​em uma melhor combinação de ambos. Em resposta a este problema na previsão de séries temporais, propomos o algoritmo de previsão de séries temporais baseado no Transformador de convolução. (1) Mecanismo de atenção ES: Combine a atenção externa com o mecanismo tradicional de autoatenção através da rede de dois ramos, o custo computacional do mecanismo de autoatenção é reduzido e a maior precisão de previsão é obtida. (2) Bloco de frequência aprimorada: Um bloco de frequência aprimorada é adicionado na frente do módulo ESAttention, que pode capturar estruturas importantes em séries temporais por meio do mapeamento no domínio de frequência. (3) Convolução dilatada causal: O módulo do mecanismo de autoatenção é conectado substituindo a camada de convolução padrão tradicional por uma camada de convolução dilatada causal, de modo que obtenha o campo receptivo de crescimento exponencial sem aumentar o consumo de cálculo. (4) Fusão de recursos multicamadas: As saídas de diferentes módulos do mecanismo de autoatenção são extraídas e as camadas convolucionais são usadas para ajustar o tamanho do mapa de recursos para a fusão. As informações de recursos mais refinadas são obtidas com um custo computacional insignificante. Experimentos em conjuntos de dados do mundo real mostram que a estrutura do modelo de previsão de rede de série temporal proposta neste artigo pode melhorar muito o desempenho da previsão em tempo real do atual modelo Transformer de última geração, e os custos de cálculo e memória são significativamente mais baixos. Comparado com algoritmos anteriores, o algoritmo proposto alcançou uma maior melhoria de desempenho tanto na eficácia quanto na precisão da previsão.

Publicação
IEICE TRANSACTIONS on Information Vol.E106-D No.5 pp.976-985
Data de publicação
2023/05/01
Publicitada
2023/02/15
ISSN online
1745-1361
DOI
10.1587/transinf.2022EDP7136
Tipo de Manuscrito
PAPER
Categoria
Fundamentos de Sistemas de Informação

autores

Na WANG
  Nanjing University of Aeronautics and Astronautics,Nanjing Audit University Jinshen College
Xianglian ZHAO
  Nanjing University of Aeronautics and Astronautics

Palavra-chave