使用Docker快速启动一个Spark集群

9 8月

docker-compose 文件如下

version: '3'
services:
  master:
    image: bde2020/spark-master:2.3.1-hadoop2.7
    ports:
      - "8080:8080"
      - "7077:7077"
      - "6066:6066"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  worker:
    image: bde2020/spark-worker:2.3.1-hadoop2.7
    depends_on:
      - master
    ports:
      - "8081"
    environment:
      - "SPARK_MASTER=spark://master:7077"

 

然后运行docker-compose up -d –scale worker=3 就可以启动一个有三个节点的集群了.

2 Replies to “使用Docker快速启动一个Spark集群

    • 肯定不是呀,端口号用默认的而已,没有必要必须用这几个。
      8080是图形界面,7077是RPC端口,6066是REST API

发表评论

电子邮件地址不会被公开。