使用Docker快速启动一个Spark集群

9 8月

2018年8月9日2018年8月14日 htynkn 2

docker-compose 文件如下

version: '3'
services:
  master:
    image: bde2020/spark-master:2.3.1-hadoop2.7
    ports:
      - "8080:8080"
      - "7077:7077"
      - "6066:6066"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  worker:
    image: bde2020/spark-worker:2.3.1-hadoop2.7
    depends_on:
      - master
    ports:
      - "8081"
    environment:
      - "SPARK_MASTER=spark://master:7077"

version: '3'

services:

master:

image: bde2020/spark-master:2.3.1-hadoop2.7

ports:

- "8080:8080"

- "7077:7077"

- "6066:6066"

environment:

- INIT_DAEMON_STEP=setup_spark

worker:

image: bde2020/spark-worker:2.3.1-hadoop2.7

depends_on:

- master

ports:

- "8081"

environment:

- "SPARK_MASTER=spark://master:7077"

然后运行docker-compose up -d –scale worker=3　就可以启动一个有三个节点的集群了．

2 Replies to “使用Docker快速启动一个Spark集群”

王德发 says:

2018年8月14日 at 14:46

master 一定要3个端口吗? worker 里 environment 一定要7077吗?

回复
- htynkn says:
  
  2018年8月14日 at 16:52
  
  肯定不是呀，端口号用默认的而已，没有必要必须用这几个。
  8080是图形界面，7077是RPC端口，6066是REST API
  
  回复

2 Replies to “使用Docker快速启动一个Spark集群”

发表评论 取消回复

发表评论取消回复