集群部署总览
172.22.12.20
172.22.12.21
172.22.12.22
172.22.12.23
172.22.12.24
zoo1:2181
zoo2:2182
zoo3:2183
zkui:9090 (admin/manager)
kafka1:9092
kafka2:9092
kafka3:9092
kafdrop:9000
influxdb:8086
grafana:3000 (admin/chanhu)
storm-nimbus1
storm-nimbus2
storm-nimbus3
portainer:9002(admin/chanhu@123)
storm-supervisor1
storm-supervisor2
storm-supervisor3
storm-ui:8080
docker安装
yum update -y yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install docker-ce docker-ce-cli containerd.io systemctl start docker
docker-compose安装
yum install epel-release yum install -y python-pip pip install --upgrade pip pip install docker-compose
修改每一台宿主机的hosts文件
vim /etc/hosts 172.22.12.20 datacloud0 172.22.12.21 datacloud1 172.22.12.22 datacloud2 172.22.12.23 datacloud3 172.22.12.24 datacloud4
zookeeper集群
在20，21，22三台机器部署zk集群，分别编写docker-compose文件
集群中如果只剩一台是正常运行的，则集群失效
以其中一台为例：
zoo:
image: zookeeper:3.4.14
restart: always
hostname: zoo1
container_name: zoo1
ports:
- 2181:2181
- 2888:2888
- 3888:3888
volumes:
- "./zoo/data:/data"
- "./zoo/datalog:/datalog"
environment:
ZOO_MY_ID: 1
ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=172.22.12.21:2888:3888 server.3=172.22.12.22:2888:3888
"./zoo/data:/data"为数据目录挂载，必须配置
环境变量配置， ZOO_MY_ID 三台分别是1、2、3， ZOO_SERVERS 配置的是集群地址，其中当前机器为0.0.0.0
kakfa集群
在20，21，22三台机器部署kafka集群，分别编写docker-compose文件（可以和zk的docker-compose文件写在一起）
以其中一台为例：
kafka:
image: wurstmeister/kafka:2.12-2.2.2
restart: always
hostname: kafka1
container_name: kafka1
ports:
- "9092:9092"
environment:
KAFKA_ADVERTISED_LISTENERS: PLAINTEXT://172.22.12.20:9092
KAFKA_ADVERTISED_HOST_NAME: 172.22.12.20
KAFKA_ADVERTISED_PORT: 9092
KAFKA_ZOOKEEPER_CONNECT: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181
volumes:
- ./kafka/logs:/kafka
没有太多需要注意的地方， KAFKA_ZOOKEEPER_CONNECT 正确配置好zk集群地址,还有ADVERTISED相关配置为当前容器。
influxdb
influxdb:
image: influxdb:1.7
restart: always
container_name: influxdb
ports:
- "2003:2003"
- "8086:8086"
- "8089:8089"
- "8091:8091"
volumes:
- "./influxdb:/var/lib/influxdb"
environment:
- INFLUXDB_GRAPHITE_ENABLED=true
"./influxdb:/var/lib/influxdb"为数据目录挂载， 必须配置 。INFLUXDB_GRAPHITE_ENABLED启动graphite功能。
influxdb简单操作：
- docker exec -it influxdb influx
- show databases
- create database XX
- use XX
- INSERT cpu,host=serverA,region=us_west value=0.64
- SELECT "host", "region", "value" FROM "cpu"
docker-compose相关操作
docker-compose [-f <文件名>] up -d docker-compose [-f <文件名>] down
zkui/kafdrop/grafana
在23机器上，部署这三个web界面：
zkui:
image: maauso/zkui
restart: always
container_name: zkui
ports:
- 9090:9090
environment:
ZKLIST: 172.22.12.20:2181,172.22.12.21:2181,172.22.12.22:2181
kafdrop:
image: obsidiandynamics/kafdrop:latest
restart: always
container_name: kafdrop
ports:
- "9000:9000"
environment:
KAFKA_BROKERCONNECT: 172.22.12.20:9092,172.22.12.20:9092,172.22.12.20:9092
grafana:
image: grafana/grafana:master
restart: always
container_name: grafana
ports:
- "3000:3000"
volumes:
- "./grafana:/var/lib/grafana"
因为是web页面，配置好相关服务地址，启动就行了
其中grafana需要配置目录挂载，主要是记录自定义的数据源和面板配置等（这里需要chmod -R 777 grafana/）
storm集群
storm集群由 nimbus、supervisor、ui 三部分组成
nimbus为主节点，supervisor为从节点，前者将任务发到zookeeper上，后者到zookeeper上获取任务。ui为web页面。
20、21、22三台机器分别部署nimbus和supervisor节点各三个，且建议单独建立docker-compose脚本文件，在zookeeper启动后执行。
docker-compose脚本大致如下：
nimbus: image: storm:2.2.0 container_name: nimbus1 command: storm nimbus restart: always hostname: nimbus1 ports: - 6627:6627 volumes: - "./storm.yaml:/conf/storm.yaml" - "./nimbus/data:/data" - "./nimbus/logs:/logs" supervisor: image: storm:2.2.0 container_name: supervisor1 command: storm supervisor hostname: supervisor1 depends_on: - nimbus links: - nimbus:nimbus restart: always volumes: - "./storm.yaml:/conf/storm.yaml" - "./supervisor/data:/data" - "./supervisor/logs:/logs"
nimbus、supervisor、ui都是使用同一个storm镜像，只是启动参数时command不同。
这里指定nimbus和supervisor的hostname，原因是默认情况下它们注册到zookeeper时的host为docker容器随机生成的uuid，
如果nimbus和supervisor重启了，其容器uuid也会重置，这时就和zookeeper中已经保存的uuid冲突，发生错误。
网上的方案是：1.停掉storm集群后删除zookeeper上的storm节点并重启zookeeper+storm集群；2.单独建一个无状态的zookeeper来给storm集群使用
这里采取的方案是指定nimbus和supervisor注册时的host，其重启时不会产生变化
启动时需要指定一些环境变量，这里采用本地配置文件映射的方式，storm.yaml配置如下:
storm.zookeeper.servers: - "172.22.12.20" - "172.22.12.21" - "172.22.12.22" nimbus.seeds: - "nimbus1" - "nimbus2" - "nimbus3" storm.log.dir: "/logs" storm.local.dir: "/data" storm.cluster.mode: distributed
storm.zookeeper.servers为zookeeper地址，默认取端口2181。nimbus.seeds为nimbus集群地址，这里取docker-compose中自定义的hostname。
storm-ui启动单例即可，docker-compose配置如下：
storm-ui: image: storm:2.2.0 container_name: storm-ui command: storm ui depends_on: - nimbus links: - nimbus:nimbus restart: always ports: - 8080:8080 volumes: - "./storm.yaml:/conf/storm.yaml" - "./ui/data:/data" - "./ui/logs:/logs" extra_hosts: - "nimbus1:172.22.12.20" - "nimbus2:172.22.12.21" - "nimbus3:172.22.12.22" - "supervisor1:172.22.12.20" - "supervisor2:172.22.12.21" - "supervisor3:172.22.12.22"
其中 extra_hosts 为容器启动后自定义的host映射，这样ui页面启动后才能通过注册上来的别名host对应到真正的ip地址。
部署docker容器时经常会遇到需要映射宿主机的配置文件到容器里，这样容器重启后配置就不会重置。
比如storm配置：- "./storm.yaml:/conf/storm.yaml" 但是映射后如果本地没有正确格式的storm.yaml就会启动失败，除了去官网下载安装包拿到其配置文件以外，可以先启动一个临时容器并拷贝其配置文件到宿主机。
docker run -d --name nimbus-tmp storm:2.2.0 storm nimbus
docker cp nimbus-tmp:/conf/storm.yaml 本地文件夹路径/
canal部署
canal部署前需要对其要连接的mysql做相应配置:
[mysqld] log-bin=mysql-bin # 开启 binlog binlog-format=ROW # 选择 ROW 模式 server_id=1 # 配置 MySQL replaction 需要定义，不要和 canal 的 slaveId 重复
canal的docker-compose配置如下：
canal-server: image: canal/canal-server:v1.1.3 container_name: canal-server ports: - 11111:11111 environment: - canal.instance.mysql.slaveId=12 - canal.auto.scan=false - canal.destinations=datacloud - canal.instance.master.address=10.23.16.32:3307 - canal.instance.dbUsername=root - canal.instance.dbPassword=chinaunicom@dengfy - canal.instance.filter.regex=river\\..* volumes: - ./canal-server/logs/:/admin/canal-server/logs/
其中 slaveId 需要和mysql中配置不同， destinations 为自定义的实例名， canal.instance.filter.regex 为需要监控的数据库表过滤。
portainer部署
portainer时docker容器的可视化管理工具，可以管理上述的几台机器的docker容器，查看日志，修改启动脚本，停止容器等。
首先要对每一台机器开启docker api接口:
1.vim /usr/lib/systemd/system/docker.service
在ExecStart启动项添加-H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock
2.重启docker服务 systemctl daemon-reload systemctl restart docker
在其中一台机器上部署portainer容器：
portainer: image: portainer/portainer:1.24.1 restart: always container_name: portainer_datacloud ports: - "8000:8000" - "9002:9000" volumes: - "./portainer/data:/data" - "/var/run/docker.sock:/var/run/docker.sock"
"/var/run/docker.sock:/var/run/docker.sock" 此条映射关系是单机模式下使用，我们采用的是远程api调用，因此可以不加。
打开ip:9002后，注册用户登录，settings>endpoints>Add endpoint>选择docker方式。
其中Endpoint URL填写目标ip:2375,Public IP添加目标ip，提交后即可看到其所有容器信息。
免责声明：本站文章均来自网站采集或用户投稿，网站不提供任何软件下载或自行开发的软件！ 如有用户或公司发现本站内容信息存在侵权行为，请邮件告知！ 858582#qq.com
《魔兽世界》大逃杀！60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容，新游玩模式《强袭风暴》即将于3月21 日在亚服上线，届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕，并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时，他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中，玩家将会进入一个全新的海盗主题大逃杀式限时活动，其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场，作为一个独立于主游戏之外的活动，玩家可以用大逃杀的风格来体验《魔兽世界》，不分职业、不分装备（除了你在赛局中捡到的），光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式，玩家在加入海盗主题的预赛大厅区域前，可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹，《巨龙崛起》和《魔兽世界：巫妖王之怒 经典版》的玩家都可以获得奖励。