МОДЕЛЬ ПУЛУ СЕРВЕРІВ ДЛЯ ОЦІНЮВАННЯ ЕНЕРГОСПОЖИВАННЯ ПРИ ОБРОБЦІ ВЕЛИКИХ ДАНИХ
DOI:
https://doi.org/10.53920/ITS-2021-1-4Ключові слова:
великі дані, кластер, пул серверів, марковська модель, енергоспоживанняАнотація
Розглянуто платформи для організації систем обробки великих даних. Деталізовано питання розгортання, використання, складу архітектури та можливостей Apache Spark в хмарі Azure. Розглянуто компоненти кластера Apache Spark в Azure HDInsight. Виділено види диспетчерів кластерів Apache Mesos, Apache Hadoop YARN і Spark. Наведено загальну модель обслуговування завдання у Spark кластері, що дозволяє оцінити ймовірність відмови завдання, серверну складову часу затримки до відгуку SparkContext, показники енергоспоживання компонент архітектури. В цій моделі розглядається три типи груп ресурсів: гарячого (hot), теплого (warm) і холодного (cold) пулів фізичних серверів. Побудована стохастична модель фізичного сервера гарячого пулу у вигляді марковського графа. Наведені формули для розрахунку загального середнього енергоспоживання фізичного сервера.
