使用Docker快速启动一个Spark集群

9 8月

本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

转载自夜明的孤行灯

本文链接地址: https://www.huangyunkun.com/2018/08/09/docker-spark-cluster/

docker-compose 文件如下

version: '3'
services:
  master:
    image: bde2020/spark-master:2.3.1-hadoop2.7
    ports:
      - "8080:8080"
      - "7077:7077"
      - "6066:6066"
    environment:
      - INIT_DAEMON_STEP=setup_spark
  worker:
    image: bde2020/spark-worker:2.3.1-hadoop2.7
    depends_on:
      - master
    ports:
      - "8081"
    environment:
      - "SPARK_MASTER=spark://master:7077"

 

然后运行docker-compose up -d –scale worker=3 就可以启动一个有三个节点的集群了.

本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

转载自夜明的孤行灯

本文链接地址: https://www.huangyunkun.com/2018/08/09/docker-spark-cluster/

2 Replies to “使用Docker快速启动一个Spark集群

    • 肯定不是呀,端口号用默认的而已,没有必要必须用这几个。
      8080是图形界面,7077是RPC端口,6066是REST API

发表评论

您的电子邮箱地址不会被公开。