A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Layerweaver+: A QoS-Aware Layer-Wise DNN Scheduler for Multi-Tenant Neural Processing Units Layerweaver+: um agendador DNN em camadas com reconhecimento de QoS para unidades de processamento neural multilocatário

Young H. OH, Yunho JIN, Tae Jun HAM, Jae W. LEE

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Muitos provedores de serviços em nuvem empregam aceleradores de hardware especializados, chamados unidades de processamento neural (NPUs), para acelerar redes neurais profundas (DNNs). Um escalonador NPU é responsável por agendar as solicitações de entrada do usuário e é necessário para satisfazer os dois objetivos de otimização, muitas vezes conflitantes: maximizar o rendimento do sistema e satisfazer as restrições de qualidade de serviço (QoS) (por exemplo, prazos) de solicitações individuais. Nós propomos Tecelão de camadas+, um agendador DNN em camadas de baixo custo para NPUs, que fornece alto rendimento do sistema e violações mínimas de QoS. Para um cenário de serviço baseado no benchmark de inferência MLPerf padrão do setor, Tecelão de camadas+ melhora significativamente o rendimento do sistema em até 266.7% em relação ao agendador de linha de base que atende um DNN por vez.

Publicação
IEICE TRANSACTIONS on Information Vol.E105-D No.2 pp.427-431
Data de publicação
2022/02/01
Publicitada
2021/11/11
ISSN online
1745-1361
DOI
10.1587/transinf.2021EDL8084
Tipo de Manuscrito
LETTER
Categoria
Fundamentos de Sistemas de Informação

autores

Young H. OH
  Sungkyunkwan University
Yunho JIN
  Seoul National University
Tae Jun HAM
  Seoul National University
Jae W. LEE
  Seoul National University

Palavra-chave