本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
转载自夜明的孤行灯
本文链接地址: https://www.huangyunkun.com/2018/08/09/docker-spark-cluster/
docker-compose 文件如下
version: '3' services: master: image: bde2020/spark-master:2.3.1-hadoop2.7 ports: - "8080:8080" - "7077:7077" - "6066:6066" environment: - INIT_DAEMON_STEP=setup_spark worker: image: bde2020/spark-worker:2.3.1-hadoop2.7 depends_on: - master ports: - "8081" environment: - "SPARK_MASTER=spark://master:7077"
然后运行docker-compose up -d --scale worker=3 就可以启动一个有三个节点的集群了.
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
转载自夜明的孤行灯
本文链接地址: https://www.huangyunkun.com/2018/08/09/docker-spark-cluster/
master 一定要3个端口吗? worker 里 environment 一定要7077吗?
肯定不是呀,端口号用默认的而已,没有必要必须用这几个。
8080是图形界面,7077是RPC端口,6066是REST API