使用Docker快速启动一个Spark集群

本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

转载自夜明的孤行灯

本文链接地址: https://www.huangyunkun.com/2018/08/09/docker-spark-cluster/

docker-compose 文件如下

version: '3'
services:
  master:
    image: bde2020/spark-master:2.3.1-hadoop2.7
    ports:
      - "8080:8080"
      - "7077:7077"
      - "6066:6066"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  worker:
    image: bde2020/spark-worker:2.3.1-hadoop2.7
    depends_on:
      - master
    ports:
      - "8081"
    environment:
      - "SPARK_MASTER=spark://master:7077"

然后运行docker-compose up -d –scale worker=3　就可以启动一个有三个节点的集群了．

本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

转载自夜明的孤行灯

本文链接地址: https://www.huangyunkun.com/2018/08/09/docker-spark-cluster/