lvs+keepalived+nginx实现高性能负载均衡集群

一、LVS作用

LVS是一个开源的软件,可以实现传输层四层负载均衡。LVS是Linux Virtual Server的缩写,意思是Linux虚拟服务器。目前有三种IP负载均衡技术(VS/NAT、VS/TUN和VS/DR);八种调度算法(rr,wrr,lc,wlc,lblc,lblcr,dh,sh)。

二、Keepalived作用

LVS可以实现负载均衡,但是不能够进行健康检查,比如一个rs出现故障,LVS 仍然会把请求转发给故障的rs服务器,这样就会导致请求的无效性。keepalive 软件可以进行健康检查,而且能同时实现 LVS 的高可用性,解决 LVS 单点故障的问题,其实 keepalive 就是为 LVS 而生的。

keepalived和其工作原理
keepalived是一个类似于Layer2,4,7交换机制的软件。是Linux集群管理中保证集群高可用的一个服务软件,其功能是用来防止单点故障。

keepalived的工作原理:
keepalived是基于VRRP协议实现的保证集群高可用的一个服务软件,主要功能是实现真机的故障隔离和负载均衡器间的失败切换,防止单点故障。在了解keepalived原理之前先了解一下VRRP协议。

VRRP协议:Virtual Route
Redundancy Protocol虚拟路由冗余协议。是一种容错协议,保证当主机的下一跳路由出现故障时,由另一台路由器来代替出现故障的路由器进行工作,从而保持网络通信的连续性和可靠性。在介绍VRRP之前先介绍一些关于VRRP的相关术语:
虚拟路由器:由一个 Master 路由器和多个 Backup 路由器组成。主机将虚拟路由器当作默认网关。
VRID:虚拟路由器的标识。有相同 VRID 的一组路由器构成一个虚拟路由器。
Master 路由器:虚拟路由器中承担报文转发任务的路由器。
Backup 路由器: Master 路由器出现故障时,能够代替 Master 路由器工作的路由器。
虚拟 IP 地址:虚拟路由器的 IP 地址。一个虚拟路由器可以拥有一个或多个IP 地址。
IP 地址拥有者:接口 IP 地址与虚拟 IP 地址相同的路由器被称为 IP 地址拥有者。
虚拟 MAC 地址:一个虚拟路由器拥有一个虚拟 MAC 地址。虚拟 MAC 地址的格式为 00-00-5E-00-01-{VRID}。通常情况下,虚拟路由器回应 ARP 请求使用的是虚拟 MAC 地址,只有虚拟路由器做特殊配置的时候,才回应接口的真实 MAC 地址。

优先级: VRRP 根据优先级来确定虚拟路由器中每台路由器的地位。
非抢占方式:如果 Backup 路由器工作在非抢占方式下,则只要 Master 路由器没有出现故障,Backup 路由器即使随后被配置了更高的优先级也不会成为Master 路由器。
抢占方式:如果 Backup 路由器工作在抢占方式下,当它收到 VRRP 报文后,会将自己的优先级与通告报文中的优先级进行比较。如果自己的优先级比当前的 Master 路由器的优先级高,就会主动抢占成为 Master 路由器;否则,将保持 Backup 状态。
VRRP将局域网内的一组路由器划分在一起,形成一个VRRP备份组,它在功能上相当于一台路由器的功能,使用虚拟路由器号进行标识(VRID)。虚拟路由器有自己的虚拟IP地址和虚拟MAC地址,它的外在变现形式和实际的物理路由完全一样。局域网内的主机将虚拟路由器的IP地址设置为默认网关,通过虚拟路由器与外部网络进行通信。
虚拟路由器是工作在实际的物理路由器之上的。它由多个实际的路由器组成,包括一个Master路由器和多个Backup路由器。 Master路由器正常工作时,局域网内的主机通过Master与外界通信。当Master路由器出现故障时, Backup路由器中的一台设备将成为新的Master路由器,接替转发报文的工作。(路由器的高可用)

VRRP的工作工程:
(1) 虚拟路由器中的路由器根据优先级选举出 Master。 Master 路由器通过发送免费 ARP 报文,将自己的虚拟 MAC 地址通知给与它连接的设备或者主机,从而承担报文转发任务;
(2) Master 路由器周期性发送 VRRP 报文,以公布其配置信息(优先级等)和工作状况;
(3) 如果 Master 路由器出现故障,虚拟路由器中的 Backup 路由器将根据优先级重新选举新的 Master;
(4) 虚拟路由器状态切换时, Master 路由器由一台设备切换为另外一台设备,新的 Master 路由器只是简单地发送一个携带虚拟路由器的 MAC 地址和虚拟 IP地址信息的ARP 报文,这样就可以更新与它连接的主机或设备中的ARP 相关信息。网络中的主机感知不到 Master 路由器已经切换为另外一台设备。
(5) Backup 路由器的优先级高于 Master 路由器时,由 Backup 路由器的工作方式(抢占方式和非抢占方式)决定是否重新选举 Master。
VRRP优先级的取值范围为0到255(数值越大表明优先级越高)

三、环境服务配置

Nginx搭建一主一备,在主机不挂的情况下不会访问到备机,这样双击主从热备可以实现7*24小时实时访问。

两台Nginx服务器
Nginx 主服务器 192.168.212.143
Nginx 备服务器 192.168.212.144
Lvs 虚拟VIP 192.168.212.110
需要在同一个网段

在这里插入图片描述
主Nginx 走主 Tomcat

备Nginx 走备 Tomcat

LVS是一种四层负载均衡器 (传输层) 其实软负载均衡,完成所有负载均衡业务需求: 数据库 web服务

虚拟VIP

LVS不需要安装 只需要配置 linux内核2.4之后 都要有了

Nginx 与 Lvs 区别

1 nginx 主要七层负载均衡 1.9之后支持四层 拥有虚拟化vip技术 2 3 LVS 四层负载均衡 主要针对传输层负载均衡 4 5

应用场景: LVS更广泛,支持所有服务负载均衡业务功能、

Keeplived 做心跳检测 是在LVS基础之上 实现心跳检测 监控服务器 实现故障转移 如果宕机 可以尝试自动重启脚本。如果多次重试失败 发邮件通知运维 高可用~

1、如果客户端发送请求到Nginx服务器,高并发,Nginx承受不了怎么办? 限流机制,Nginx实现集群,服务降级,熔断策略

2、项目上线 访问不了
LVS抗负载能力比Nginx强,而且也可以管理Nginx集群
客户端访问哪个Nginx服务器? 通过LVS虚拟VIP技术,使用负载均衡算法。

Nginx双机主从热备

四、环境搭建

1.下载keepalived
wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz
2.解压安装:
tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
3.下载插件openssl
yum install -y openssl openssl-devel(需要安装一个软件包)
4.开始编译keepalived
cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
5.make一下
make && make install

报错: keepalived执行./configure --prefix=/usr/local/keepalived时报错:configure: error: Popt libraries is required
出现此错误的原因:
未安装popt的开发包
解决方法:
yum install popt-devel
安装好popt的开发包。重新./configure 即可。

keepalived安装成Linux系统服务
将keepalived安装成Linux系统服务,因为没有使用keepalived的默认安装路径(默认路径:/usr/local),安装完成之后,需要做一些修改工作:
首先创建文件夹,将keepalived配置文件进行复制:
mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
然后复制keepalived脚本文件:
cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
ln -s /usr/local/sbin/keepalived /usr/sbin/
ln -s /usr/local/keepalived/sbin/keepalived /sbin/
可以设置开机启动:chkconfig keepalived on,到此我们安装完毕!

启动报错Starting keepalived (via systemctl): Job for keepalived.service failed. See ‘systemctl status keepalived.service’ and ‘journalctl -xn’ for details.
解决办法
[root@edu-proxy-01 sbin]# cd /usr/sbin/
[root@edu-proxy-01 sbin]# rm -f keepalived
[root@edu-proxy-01 sbin]# cp /usr/local/keepalived/sbin/keepalived /usr/sbin/

keepalived 常用命令
service keepalived start
service keepalived stop

使用keepalived虚拟VIP
vi /etc/keepalived/keepalived.conf

1vrrp_script chk_nginx { 2 script "/etc/keepalived/nginx_check.sh" #运行脚本,脚本内容下面有,就是起到一个nginx宕机以后,自动开启服务 3 interval 2 #检测时间间隔 4 weight -20 #如果条件成立的话,则权重 -20 5} 6# 定义虚拟路由,VI_1 为虚拟路由的标示符,自己定义名称 7vrrp_instance VI_1 { 8 state MASTER #来决定主从 9 interface ens33 # 绑定虚拟 IP 的网络接口,根据自己的机器填写 10 virtual_router_id 121 # 虚拟路由的 ID 号, 两个节点设置必须一样 11 mcast_src_ip 192.168.212.140 #填写本机ip 12 priority 100 # 节点优先级,主要比从节点优先级高 13 nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题 14 advert_int 1 # 组播信息发送间隔,两个节点设置必须一样,默认 1s 15 authentication { 16 auth_type PASS 17 auth_pass 1111 18 } 19 # 将 track_script 块加入 instance 配置块 20 track_script { 21 chk_nginx #执行 Nginx 监控的服务 22 } 23 24 virtual_ipaddress { 25 192.168.110.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展,用途广泛。可配置多个。 26 } 27} 28 29

关闭防火墙 systemctl stop firewalld

双机主从热备概述
可以两台机子互为热备,平时各自负责各自的服务。在做上线更新的时候,关闭一台服务器的tomcat后,nginx自动把流量切换到另外一台服务的后备机子上,从而实现无痛更新,保持服务的持续性,提高服务的可靠性,从而保证服务器7*24小时运行。

1upstream testproxy { 2 server 127.0.0.1:8080; 3 server 127.0.0.1:8081 backup; 4 } 5 6 server { 7 listen 80; 8 server_name localhost; 9 10 11 12 location / { 13 proxy_pass http://testproxy; 14 index index.html index.htm; 15 } 16 ###nginx与上游服务器(真实访问的服务器)超时时间 后端服务器连接的超时时间_发起握手等候响应超时时间 17 proxy_connect_timeout 1s; 18 ###nginx发送给上游服务器(真实访问的服务器)超时时间 19 proxy_send_timeout 1s; 20 ### nginx接受上游服务器(真实访问的服务器)超时时间 21 proxy_read_timeout 1s; 22 23 } 24 25

只要在希望成为后备的服务器 ip 后面多添加一个 backup 参数,这台服务器就会成为备份服务器。
在平时不使用,nginx 不会给它转发任何请求。只有当其他节点全部无法连接的时候,nginx 才会启用这个节点。
一旦有可用的节点恢复服务,该节点则不再使用,又进入后备状态

Nginx+keepalived简单双机主从热备
每个服务虚拟安装keepalived 虚拟一个VIP ,配置主从关系,当主挂了,直接走备机。
Keepalived虚拟VIP 地址 192.168.212.110
A 服务器 192.168.212.142
B 服务器 192.168.212.143

修改主keepalived信息
修改主Nginx服务器keepalived文件, /etc/keepalived/keepalived.conf
State 为MASTER,mcast_src_ip 改为本机ip

1! Configuration File for keepalived 2 3vrrp_script chk_nginx { 4 script "/etc/keepalived/nginx_check.sh" #运行脚本,脚本内容下面有,就是起到一个nginx宕机以后,自动开启服务 5 interval 2 #检测时间间隔 6 weight -20 #如果条件成立的话,则权重 -20 7} 8# 定义虚拟路由,VI_1 为虚拟路由的标示符,自己定义名称 9vrrp_instance VI_1 { 10 state MASTER #来决定主从 11 interface ens33 # 绑定虚拟 IP 的网络接口,根据自己的机器填写 12 virtual_router_id 121 # 虚拟路由的 ID 号, 两个节点设置必须一样 13 mcast_src_ip 192.168.212.142 #填写本机ip 14 priority 100 # 节点优先级,主要比从节点优先级高 15 nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题 16 advert_int 1 # 组播信息发送间隔,两个节点设置必须一样,默认 1s 17 authentication { 18 auth_type PASS 19 auth_pass 1111 20 } 21 # 将 track_script 块加入 instance 配置块 22 track_script { 23 chk_nginx #执行 Nginx 监控的服务 24 } 25 26 virtual_ipaddress { 27 192.168.212.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展,用途广泛。可配置多个。 28 } 29} 30 31

修改从keepalived信息
修改主Nginx服务器keepalived文件, /etc/keepalived/keepalived.conf
State 为BACKUP

1! Configuration File for keepalived 2 3vrrp_script chk_nginx { 4 script "/etc/keepalived/nginx_check.sh" #运行脚本,脚本内容下面有,就是起到一个nginx宕机以后,自动开启服务 5 interval 2 #检测时间间隔 6 weight -20 #如果条件成立的话,则权重 -20 7} 8# 定义虚拟路由,VI_1 为虚拟路由的标示符,自己定义名称 9vrrp_instance VI_1 { 10 state BACKUP #来决定主从 11 interface ens33 # 绑定虚拟 IP 的网络接口,根据自己的机器填写 12 virtual_router_id 121 # 虚拟路由的 ID 号, 两个节点设置必须一样 13 mcast_src_ip 192.168.212.143 #填写本机ip 14 priority 100 # 节点优先级,主要比从节点优先级高 15 nopreempt # 优先级高的设置 nopreempt 解决异常恢复后再次抢占的问题 16 advert_int 1 # 组播信息发送间隔,两个节点设置必须一样,默认 1s 17 authentication { 18 auth_type PASS 19 auth_pass 1111 20 } 21 # 将 track_script 块加入 instance 配置块 22 track_script { 23 chk_nginx #执行 Nginx 监控的服务 24 } 25 26 virtual_ipaddress { 27 192.168.212.110 # 虚拟ip,也就是解决写死程序的ip怎么能切换的ip,也可扩展,用途广泛。可配置多个。 28 } 29} 30 31

写入nginx_check.sh脚本 /etc/keepalived/nginx_check.sh

1#!/bin/bash 2A=`ps -C nginx –no-header |wc -l` 3if [ $A -eq 0 ];then 4 /usr/local/nginx/sbin/nginx 5 sleep 2 6 if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then 7 killall keepalived 8 fi 9fi 10 11

注意该脚本一定要授权
chmod 777 nginx_check.sh

将keepalived和Nginx都开启,访问虚拟ip地址192.168.212.110,这个时候只会走主Nginx,当把主Nginx停掉时,会自动尝试重启,把主的keepalived停掉后,就会访问备机Nginx。

代码交流 2021