A funcionalidade de pesquisa está em construção.
A funcionalidade de pesquisa está em construção.

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. ex. Some numerals are expressed as "XNUMX".
Copyrights notice

The original paper is in English. Non-English content has been machine-translated and may contain typographical errors or mistranslations. Copyrights notice

Job-Aware File-Storage Optimization for Improved Hadoop I/O Performance Otimização de armazenamento de arquivos com reconhecimento de trabalho para melhor desempenho de E/S do Hadoop

Makoto NAKAGAMI, Jose A.B. FORTES, Saneyasu YAMAGUCHI

  • Exibições de texto completo

    0

  • Cite isto

Resumo:

Hadoop é uma plataforma popular de análise de dados baseada no modelo de programação MapReduce do Google. As unidades de disco rígido (HDDs) são geralmente usadas na análise de big data, e a eficácia da plataforma Hadoop pode ser otimizada melhorando seu desempenho de E/S. O desempenho do HDD varia dependendo se os dados estão armazenados nas zonas internas ou externas do disco. Este artigo propõe um método que utiliza o conhecimento das características do trabalho para realizar um armazenamento eficiente de dados em HDDs, o que, por sua vez, ajuda a melhorar o desempenho do Hadoop. De acordo com o método proposto, os arquivos de trabalho que precisam ser acessados ​​com frequência são armazenados em trilhas externas do disco que são capazes de facilitar velocidades de acesso sequencial superiores às fornecidas pelas trilhas internas. Assim, o método proposto armazena arquivos temporários e permanentes nas zonas externa e interna, respectivamente, facilitando assim o acesso rápido aos dados frequentemente necessários. Os resultados da avaliação de desempenho demonstram que o método proposto melhora o desempenho do Hadoop em 15.4% quando comparado a casos normais quando o posicionamento de arquivos não é usado. Além disso, o método proposto supera uma abordagem de colocação proposta anteriormente em 11.1%.

Publicação
IEICE TRANSACTIONS on Information Vol.E103-D No.10 pp.2083-2093
Data de publicação
2020/10/01
Publicitada
2020/06/30
ISSN online
1745-1361
DOI
10.1587/transinf.2019EDP7337
Tipo de Manuscrito
PAPER
Categoria
Sistema de Software

autores

Makoto NAKAGAMI
  Kogakuin University
Jose A.B. FORTES
  University of Florida
Saneyasu YAMAGUCHI
  Kogakuin University

Palavra-chave