flink Notes flink 集群安装(standalon集群) (centos8环境) flink要部署的集群,master节点要开放端口(8081,6123,37243), 并配置好 master节点可以无密码登陆worker节点(通过ssh密钥登陆).
安装java, 到flink 官网下载最新压缩包,并解压. 参考flink官方
a. dnf install java-1.8.0-openjdk-devel
b. 修改flink路径下的config/flink.yml, 修改配置: ``` jobmanager.rpc.address: ${master节点的ip/domain} jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m taskmanager.memory.process.size: 1568m taskmanager.numberOfTaskSlots: 3 parallelism.default: 3 ``` `jobmanager.rpc.address` 配置项指向 master 节点。也应该通过设置 `jobmanager.memory.process.size` 和 `taskmanager.memory.process.size` 配置项来定义 `Flink` 允许在每个节点上分配的最大内存值。这些值的单位是 MB。如果一些 worker 节点上有你想分配到 Flink 系统的多余内存，你可以在这些特定节点的 conf/flink-conf.yaml 文件中重写` taskmanager.memory.process.size` 或 `taskmanager.memory.flink.size` 的默认值。最后，你必须提供集群上会被用作为 worker 节点的所有节点列表，也就是运行 TaskManager 的节点。编辑文件 conf/workers 并输入每个 worker 节点的 IP 或主机名。 c. 向config/masters文件中添加master节点的ip:port
