A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

MITA: Multi-Input Adaptive Activation Function for Accurate Binary Neural Network Hardware MITA: Função de ativação adaptativa de múltiplas entradas para hardware de rede neural binária precisa

Peiqi ZHANG, Shinya TAKAMAEDA-YAMAZAKI

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Redes Neurais Binárias (BNN) binarizaram valores de neurônios e conexões para que seus aceleradores possam ser realizados por hardware extremamente eficiente. No entanto, existe uma lacuna significativa de precisão entre BNNs e redes com maior largura de bits. BNNs convencionais binarizam mapas de características por limites estáticos globalmente unificados, o que faz com que a imagem bipolar produzida perca detalhes locais. Este artigo propõe uma função de ativação de múltiplas entradas para permitir o limiar adaptativo para binarizar mapas de recursos: (a) No nível do algoritmo, em vez de operar cada pixel de entrada independentemente, o limiar adaptativo altera dinamicamente o limiar de acordo com os pixels circundantes do pixel alvo. Ao otimizar pesos, o limiar adaptativo é equivalente a uma convolução acompanhada em profundidade entre a convolução normal e a binarização. Os pesos acompanhados nos filtros de profundidade são ternarizados e otimizados de ponta a ponta. (b) No nível de hardware, o limiar adaptativo é realizado através de uma função de ativação de múltiplas entradas, que é compatível com arquiteturas de aceleradores comuns. Foi desenvolvido um hardware de ativação compacto com apenas um acumulador extra. Ao equipar o método proposto em FPGA, é alcançada uma melhoria de precisão de 4.1% no BNN original com apenas 1.1% de recurso LUT extra. Em comparação com os métodos de última geração, a ideia proposta aumenta ainda mais a precisão da rede em 0.8% no conjunto de dados Cifar-10 e 0.4% no conjunto de dados ImageNet.

Publicação
IEICE TRANSACTIONS on Information Vol.E106-D No.12 pp.2006-2014
Data de publicação
2023/12/01
Publicitada
2023/05/24
ISSN online
1745-1361
DOI
10.1587/transinf.2023PAP0007
Tipo de Manuscrito
Special Section PAPER (Special Section on Forefront Computing)
Categoria

autores

Peiqi ZHANG
  The University of Tokyo
Shinya TAKAMAEDA-YAMAZAKI
  The University of Tokyo

Palavra-chave