A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

On Gradient Descent Training Under Data Augmentation with On-Line Noisy Copies No treinamento de gradiente descendente sob aumento de dados com cópias barulhentas on-line

Katsuyuki HAGIWARA

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

No aprendizado de máquina, o aumento de dados (DA) é uma técnica para melhorar o desempenho de generalização de modelos. Neste artigo, consideramos principalmente a descida gradiente da regressão linear sob DA usando cópias ruidosas de conjuntos de dados, nos quais o ruído é injetado nas entradas. Analisamos a situação onde cópias ruidosas são geradas e injetadas em entradas em cada época, ou seja, o caso do uso de cópias ruidosas on-line. Portanto, este artigo também pode ser visto como uma análise de um método que utiliza injeção de ruído em um processo de treinamento por DA. Consideramos o processo de treinamento em três situações de treinamento, que são o treinamento de lote completo sob a soma dos erros quadráticos e o treinamento de lote completo e minilote sob o erro quadrático médio. Mostramos que, em todos os casos, o treinamento para AD com cópias on-line é aproximadamente equivalente ao l2 treinamento de regularização para o qual a variação do ruído injetado é importante, enquanto o número de cópias não é. Além disso, mostramos que DA com cópias on-line aparentemente leva a um aumento na taxa de aprendizado na condição de lote completo sob a soma dos erros quadráticos e na condição de minilote sob o erro quadrático médio. O aparente aumento na taxa de aprendizagem e no efeito de regularização pode ser atribuído à entrada original e ao ruído aditivo em cópias com ruído, respectivamente. Esses resultados são confirmados em um experimento numérico no qual descobrimos que nosso resultado pode ser aplicado ao DA off-line usual em um cenário de subparametrização e não em um cenário de sobreparametrização. Além disso, investigamos experimentalmente o processo de treinamento de redes neurais sob DA com cópias off-line com ruído e descobrimos que nossa análise de regressão linear pode ser aplicada qualitativamente a redes neurais.

Publicação
IEICE TRANSACTIONS on Information Vol.E106-D No.9 pp.1537-1545
Data de publicação
2023/09/01
Publicitada
2023/06/12
ISSN online
1745-1361
DOI
10.1587/transinf.2023EDP7008
Tipo de Manuscrito
PAPER
Categoria
Inteligência Artificial, Mineração de Dados

autores

Katsuyuki HAGIWARA
  Mie University

Palavra-chave