IT技术互动交流平台

LVS负载群集实验篇

作者:调调  发布日期:2013-09-05 09:41:24

上次提到,LVS(linux虚拟服务)负载群集有三种模式,NAT模式 IP隧道模式,DR模式。这次就分析一下LVS的NAT模式和DR模式,因为IP隧道模式不是很常用,也比较麻烦。

NAT模式

环境:

NAT模式 负载调度器既是客户端访问服务的唯一入口,也是服务器池中各节点响应客户端的出口所以要启用ip转发功能以及vs_ip模块 流量的进出转发不能有阻碍,防火墙要配置。服务器池中就构建web服务了 各个节点要访问统一的网页文件(NFS发布共享)

wps_clip_image-1400

清理一下思路:

调度器收到客户端的请求后,目标ip是VIP 根据DNAT和ipvsadm策略,把数据包重写地址,发到服务器中的某一节点服务器。节点服务器回复给调度器,调度器在更具策略更改数据包地址响应给客户端。 所以 数据的进出都要经过调度器。

---负载调度器配置:

加载vs_ip模块并添加到启动模块

modprobe  ip_vs

wps_clip_image-25742

---开启ip转发功能 vim /etc/sysctl.conf

把“net.ipv4.ip_forward = 0 ”的值给成1  启用转发

wps_clip_image-24476

重启系统或者执行 命令 sysctl -p 生效

wps_clip_image-23342

配置防火墙 允许80的入站 和转发

wps_clip_image-16695

安装LVS管理工具ipvsadm

rpm -ivh ipvsadm-1.25-9.el6.i686.rpm

wps_clip_image-26640

ipvsadm 工具的使用

-A 表示添加虚拟服务器 (这里我就把VIP配置成调度器的外部接口12.12.12.1了)

-t 指定vip(虚拟ip)的地址和端口

-s 指定算法  轮询(rr),加权轮询(wrr),最少链接(lc),加权最少链接(wlc)这是四种最常用的

-p 指定保持时间s

-a 表示添加真实服务器 (服务器池中的节点)

-r 指定RIP(真实ip)的地址和端口

-m 工作模式是NAT

-g 工作模式DR

-i 工作模式 RUN

-w 配置权重 默认值是1 为0 时表示暂停

创建条目

ipvsadm -A -t 12.12.12.1:80 -s rr

ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.1:80 -m

ipvsadm -a -t 12.12.12.1:80 -r 192.168.1.2:80 -m

保存 service ipvsadm save

wps_clip_image-32540

查看 ipvsadm -L 或 ipvsadm -l

wps_clip_image-5091

查看负载链接情况  ipvsadm -lcn   或 -ln   现在为空

wps_clip_image-4544

负载调度器完成

---NFS共享服务器(RHEL6)

NFS服务依赖于RPC机制,已完成本地的映射过程  所以要安装nfs-utils 用于发布共享和访问 rpcbind用于RPC的支持

rpm -ivh rpcbind-0.2.0-8.el6.i686.rpm

rpm -ivh nfs-utils-lib-1.1.5-1.el6.i686.rpm

rpm -ivh nfs-utils-1.2.2-7.el6.i686.rpm

wps_clip_image-17854

配置共享空间

wps_clip_image-14958

编辑NFS的配置文件 /etc/exports 默认为空 需要手动添加

/wwwroot/       192.168.1.0/24(rw,sync,no_root_squash)

wps_clip_image-7700

其中客户机部分可以是主机名 ip地址 网段地址允许用* ? 通配符表示

括号里的rw 表示读写 sync 表示同步写入 root_squash 表示当客户及以root身份访问时赋予本地root权限 (默认是root_quash) 加上no_ 表示将作为nfsnobody的身份对待 ro表示只读权限(可以为不同的主机配置不同的权限)

启动服务 注意:rhel5系统中RPC服务脚本是portmap而rhel6系统中RPC服务脚本是rpcbind

wps_clip_image-4853

NFS服务端口较多,且不固定 所以建议关掉防火墙

---服务器节点配置

启动web服务

wps_clip_image-26122

防火墙配置 允许80

wps_clip_image-25617

挂载共享存储

wps_clip_image-7896

写到/etc/fstab 文件中实现自动挂载

echo "192.168.1.10:/wwwroot/      /var/www/html     nfs  defaults,_netdev      0  0" >> /etc/fstab

wps_clip_image-16352

查看

wps_clip_image-22748

两台做相同的配置

然后创建 网页文件 做测试

wps_clip_image-2329

客户端访问12.12.12.1做测试

wps_clip_image-30848

负载调度器查看  ipvsadm   -lvn

wps_clip_image-5346

可以看出 调度器把来自12.12.12.2的请求分别交给过192.168.1.1和192.168.1.2两台服务器处理  

wps_clip_image-32554

Forward 下面是 Masq 表示 NAT 工作模式  如果是Router 表示DR

DR模式

DR模式中,Lvs不在是服务器池中各节点的出口,他们通过自己的路由回应客户端。LVS扮演的角色只是整个群集的入口。从性能上说,是减少了LVS调度器的负担,但是整个群集的安全性相比NAT工作模式下略有不足,但是“安全”一词只能是说没有绝对,无论是哪种方,还得冲其他方面综合考虑。

环境:

这次没有搭建NFS网络共享(根据需求而定)

负载调度器 :15.15.15.1  

Webserver 1 :15.15.15.2 

Webserver2  :15.15.15.3

群集ip (vip):15.15.15.10 

客户端 : 15.15.15.100 

wps_clip_image-17528

DR模式说了,LVS的功能有所改变,他不再做NAT转换了,他怎么监听客户端的请求?收到请求之后如何让服务器池中的各个节点知道(毕竟他们才提供响应的服务)?整个群集是有一个VIP(虚拟ip),就算节点服务器知道有请求,那么请求包中的目标地址也是vip的,怎么以VIP回应客户端?多台节点都要回应客户端,所以ARP是否冲突?

①负载调度器如何监听客户端的请求?

整个群集还是有一个VIP,他负责监听客户端的请求。单独做LVS-DR 的时候,他要建立在物理接口上面,也就是我们说的虚拟接口。

②怎么通知服务器池中的节点?

通过ipvsadm 设置的规则 NAT模式中已经介绍了

③通常客户端是不会接受自己没有请求过的数据包(tcp三次握手),所以节点服务器不经过LVS调度服务器响应客户端的话就得 以vip的源地址数据包回应客户端

④问题三中,响应客户端的节点服务器不止一台。ARP中 已知vip 15.15.15.10 他的MAC 地址是多少,会有N多的答案 造成数据传输混乱。所以要更改系统参数,不让他响应ARP和宣告ARP。

有点乱? 我也有点乱,咱再重新过一遍

第一阶段

调度器收到客户端的请求,目标地址是VIP 15.15.15.10 的80端口。而自己没有80服务,在根据ipvsadm创建的策略,要把客户端的请求转发给服务器池中的某个节点,具体是哪个?根据ipvsadm策略。

第二阶段

转发的数据包中,不管源ip地址是谁?(物理ip地址也好,建立在物理网卡上的虚拟ip也好-VIP)他的二层封装 都是一个MAC地址,这个包表达的意思就是客户端要访问群集ip的80端口,你看着办。(另外,还有资料说,这个包只是一个二层的包)

第三阶段 (下面详细说)

服务器池中的某个节点一看,目标是VIP 根据添加的路由条目,把包直接给自己的lo:0 接口 而Apache默认是监听自己的所有网卡,正中下怀。因为收到的是一个客户端访问VIP:80的请求包所以构建响应包的时候就是VIP到客户端的了,通过自己的网络参数配置,响应客户端了,并没有经过调度器。

下面有一步步实现

负载调度器:

加载 ip_vs 模块  安装ipvsadm包 

创建虚拟接口 

wps_clip_image-24779

修改参数为

wps_clip_image-7437

重启网卡服务后

wps_clip_image-29385

调整系统参数

对于DR群集模式来说,由于LVS负载调度器和各节点需要共用VIP地址,为了避免网络内的ARP解析出现异常,应该关闭linux内核的ICMP重定向参数响应。

注:ICMP重定向报文是ICMP控制报文中的一种。在特定的情况下,当路由器检测到一台机器使用非优化路由的时候,它会向该主机发送一个ICMP重定向报文,请求主机改变路由。此类报文有可能用以攻击,所以系统应该拒绝接受ICMP重定向。

编辑 /etc/sysctl.conf  添加

wps_clip_image-22397

上图中参数的含义是发送重定向,0表示关闭此项功能。此处修改是为了安全考虑关闭重定向功能。如果具有 eth1、eth2 等多个接口,必须对所有接口执行该操作

命令 sysctl -p  修改生效

添加 ipvsadm 规则

wps_clip_image-10073

其他方面 注意防火墙的配置 参考NAT

节点服务器:

开启httpd   防火墙策略

最主要的是添加网卡 lo:0

ifcf-lo:0的配置   注意子网掩码是四个255 表示地址只有一个

wps_clip_image-28366

重启网卡服务后

wps_clip_image-8323

添加路由

  route add -host 15.15.15.10 dev lo:0

wps_clip_image-11162


查看

wps_clip_image-16482

调整参数  禁止ARP响应和宣告

编辑/etc/sysctl.conf 文件

wps_clip_image-23503

net.ipv4.conf.default.arp_ignore = 1

net.ipv4.conf.all.arp_ignore = 1

net.ipv4.conf.lo.arp_ignore = 1

arp_ignore:定义了网卡在响应外部ARP请求时候的响应级别0:默认值,不管哪块网卡接收到了ARP请求,只要发现本机有这个MAC都给与响应1:总是使用最合适的网卡来响应,一个主机有多块网卡,其中一块网卡接收到了ARP请求,发现所请求的MAC是本机另一块网卡的,这个时候接收到ARP请求的这块网卡就一定不响应,只有发现请求的MAC是自己的才给与响应。

net.ipv4.conf.default.arp_announce =2

net.ipv4.conf.all.arp_announce =2

net.ipv4.conf.lo.arp_announce = 2

定义了网卡在向外宣告自己的MAC-IP时候的限制级别有三个值:0:默认值,不管哪块网卡接收到了ARP请求,只要发现本机有这个MAC都给与响应1:尽量避免响应ARP请求中MAC不是本网卡的,一个主机有多块网卡,其中一块网卡接收到了ARP请求,发现所请求的MAC是本机另一块网卡的,这个时候接收到ARP请求的这块网卡就尽量避免响应2:总是使用最合适的网卡来响应,一个主机有多块网卡,其中一块网卡接收到了ARP请求,发现所请求的MAC是本机另一块网卡的,这个时候接收到ARP请求的这块网卡就一定不响应,只有发现请求的MAC是自己的才给与响应。

命令sysctl  -p使修改生效

测试

wps_clip_image-18537

刷新后

wps_clip_image-8554

没有配置NFS网络存储  所以建了两个内容不一样的文件

wps_clip_image-26536

END

Ps: 有错的地方还请谅解。就到这吧 关于高可用性和ip隧道  有时间再写吧!


Tag标签: LVS   负载群集  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规