Проблемы управления кластером

[mdraufk.ha.nd]

Если вы обрабатываете большой объем данных и ожидаете получить результаты в разумные сроки, локального компьютера будет недостаточно. Вам нужен кластер компьютеров для разделения данных и обработки рабочих нагрузок – несколько компьютеров работают параллельно для ускорения задачи.

Однако создание и управление собственным кластером Данные rcs компьютеров — непростая задача. Вам предстоит столкнуться с несколькими трудностями:

Создание кластера
Создание кластера Apache Spark — трудная задача.

Сначала вам необходимо создать кластер компьютеров и установить операционную систему, инструменты разработки (Python, Java, Scala) и т. д.

Во-вторых, вам нужно будет выбрать версию Apache Spark и установить необходимые узлы (главный и рабочие).