A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Write Variation & Reliability Error Compensation by Layer-Wise Tunable Retraining of Edge FeFET LM-GA CiM Compensação de erro de variação de gravação e confiabilidade por retreinamento ajustável em camadas do Edge FeFET LM-GA CiM

Shinsei YOSHIKIYO, Naoko MISAWA, Kasidit TOPRASERTPONG, Shinichi TAKAGI, Chihiro MATSUI, Ken TAKEUCHI

  • Exibições de texto completo

    37

  • Cite isto

Resumo:

Este artigo propõe um método de retreinamento ajustável em camadas para computação em memória (CiM) FeFET de borda para compensar a degradação da precisão da rede neural (NN) por erros do dispositivo FeFET. O retreinamento proposto pode ajustar o número de camadas a serem retreinadas para reduzir a degradação da precisão da inferência por erros que ocorrem após o retreinamento. Os pesos do modelo NN original, treinados com precisão no data center em nuvem, são gravados no Edge FeFET CiM. Os pesos escritos são alterados por erros do dispositivo FeFET em campo. Ao retreinar parcialmente o modelo NN escrito, o método proposto combina as camadas afetadas por erros do modelo NN com as camadas retreinadas. A precisão da inferência é assim recuperada. Após o retreinamento, as camadas retreinadas são reescritas no CiM e afetadas novamente por erros do dispositivo. Na avaliação, inicialmente, é analisada a capacidade de recuperação do modelo NN por retreinamento parcial. Em seguida, a precisão da inferência após a reescrita é avaliada. A capacidade de recuperação é avaliada com erros típicos de memória não volátil (NVM): distribuição normal, deslocamento uniforme e inversão de bits. Para todos os tipos de erros, mais de 50% da porcentagem degradada de precisão de inferência é recuperada pelo retreinamento apenas da camada final totalmente conectada (FC) do Resnet-32. Para simular CiM de multiplicação local e acumulação global (LM-GA) FeFET, a capacidade de recuperação também é avaliada com erros FeFET modelados com base em medições FeFET. O retreinamento apenas da camada FC atinge uma taxa de recuperação de até 53%, 66% e 72% para variação de gravação FeFET, perturbação de leitura e retenção de dados, respectivamente. Além disso, apenas adicionar mais duas camadas de retreinamento melhora a taxa de recuperação em 20-30%. Para ajustar o número de camadas de retreinamento, a precisão da inferência após a reescrita é avaliada simulando os erros que ocorrem após o retreinamento. Quando erros típicos de NVM são injetados, é ideal treinar novamente a camada FC e 3-6 camadas de convolução do Resnet-32. O número ideal de camadas pode ser aumentado ou diminuído dependendo do equilíbrio entre o tamanho dos erros antes do retreinamento e dos erros após o retreinamento.

Publicação
IEICE TRANSACTIONS on Electronics Vol.E106-C No.7 pp.352-364
Data de publicação
2023/07/01
Publicitada
2022/12/19
ISSN online
1745-1353
DOI
10.1587/transele.2022CDP0004
Tipo de Manuscrito
Special Section PAPER (Special Section on Solid-State Circuit Design — Architecture, Circuit, Device and Design Methodology)
Categoria

autores

Shinsei YOSHIKIYO
  The University of Tokyo
Naoko MISAWA
  The University of Tokyo
Kasidit TOPRASERTPONG
  The University of Tokyo
Shinichi TAKAGI
  The University of Tokyo
Chihiro MATSUI
  The University of Tokyo
Ken TAKEUCHI
  The University of Tokyo

Palavra-chave