基于UCloud UDNS产品和NLB产品实现kafka多节点调度
Apache Kafka是一个开源的分布式流处理平台,主要用于处理实时数据流。是业务环节不可或缺的一部分,但当集群节点数量较多时,便会给业务带来管理的痛点,需要记录多个IP地址。那么今天我们就通过UCloud UDNS产品和NLB产品为大家介绍两个解决方案。
一、UCloud UDNS内网域名解析方案
官网文档:https://docs.ucloud.cn/udns/README
UDNS服务是UCloud提供的高可用、可扩展的域名解析服务系统。当前支持配置内网域名解析及外网域名递归解析。
利用UDNS提供的内网解析服务,可以用于实现内网服务发现、负载均衡、服务高可用等场景。通过设置内网域名解析,可以使用域名记录来管理VPC内的云资源,包括云主机、负载均衡等。
1.1 以香港地域Kafka服务为例
当前集群有3个节点,为了方便对节点IP的管理,我将通过UDNS域名解析配置,实现通过域名来管理节点IP地址。
1.2 创建UDNS服务
在⾹港地域创建 UDNS,香港UDNS不分可⽤区,覆盖香港全地域。
(1)添加域名
(2)添加主机记录
⼀个主机记录对应⼀个 ip ,下图则是域名 node1.kafka.com 会被 dns 解析为10.7.143.74
(3)主机添加解析DNS地址
具体操作见 https://docs.ucloud.cn/udns/intro/config
(4)验证
现在可以通过 node1.kafka.com 作为kafka 域名访问
二、UCloud NLB网络型负载均衡方案
⽹络型负载均衡,将客户端的流量并将请求转发到⼀个或多个后端服务器,客户测只需记录⼀个 IP 即可。
产品详情见 :https://docs.ucloud.cn/ulb/NLB/intro/whatisnlb
优点:只需记住⼀个 ip 就可以,NLB 会均衡并⾃动转发请求!
2.1 创建 NLB(⽹络型负载均衡)
需在同个地域创建,具体操作参考 https://docs.ucloud.cn/ulb/NLB/guide/instance/create-instance
创建后即可得到⼀个 内⽹和外⽹地址。
2.2 添加监听器
2.3 添加服务节点
(1)资源类型 选择 内⽹ IP
(2)地域选择和 kafka 资源相同的地域
(3)vpc 选择和 kafka 资源相同的 vpc
(4)监听端⼜填 9092
(5)可选资源填写 kafka 节点 ip
2.4 验证
使⽤ NLB绑定的 IP 地址访问
作者:UStarGao
链接:https://www.starcto.com/Cloud-BigData-AI/329.html
来源:STARCTO
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
UCloud云平台推荐
随便看看
- 2021-12-13MySQL通过mysqldump进行逻辑备份触发DB crash
- 2021-08-05开源在线文档系统MrDoc容器化部署
- 2021-07-17开源EyouCms博客安装教程
- 2021-09-20MySQL半同步复制与刷盘策略
- 2021-07-21MySQL主从同步异常之Relay log异常1594