快乐学习
前程无忧、中华英才非你莫属!

【转载】MySQL HA方案之MySQL半复制+MHA+Keepalived+Atlas+LVS(下)

MySQL HA方案之MySQL半复制+MHA+Keepalived+Atlas+LVS(下)

原创2016-12-22赵俊峰ACMUG

ACMUG征集原创技术文章。详情请添加 A_CMUG或者扫描文末二维码关注我们的微信公众号。有奖征稿,请发送稿件至:acmug@acmug.com。3306现金有奖征稿说明:知识无价,劳动有偿,ACMUG特约撰稿人有奖回报计划(修订版)

作者:赵俊峰

作者简介:小米研发,个人博客:hugnew.com。个人博客的自我介绍:        一个码农,一个文字的搬运工,一个骑行爱好者,一个伪摄影师,一个伪吉他手,一个资深养狗师。乔布斯的信徒,恪守乔布斯的名言:“Stay Hungry, Stay Foolish.

注:不知道大家记不记得上一篇长文, MySQL HA方案之MySQL半复制+MHA+Keepalived+Atlas+LVS(上),经过了ACMUG的年会之后,我们终于可以发这篇文章的下半部分了。感谢大家的耐心等待和一直的支持。

Atlas配置

简介

Atlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的MySQL业务,每天承载的读写请求数达几十亿条。

主要功能:

  • 读写分离

  • 从库负载均衡

  • IP过滤

  • 自动分表

  • DBA可平滑上下线DB

  • 自动摘除宕机的DB

安装(192.168.3.124,192.168.3.125)

RPM/DEB包安装

https://github.com/Qihoo360/Atlas/releases 页面下载最新版RPM包,我这里下载的是Atlas-2.2.1.el6.x86_64.rpm,然后执行:sudo rpm –i Atlas-2.2.1.el6.x86_64.rpm安装。如果是Debian/Ubuntu用户,下载DEB包后用dpkg -i安装即可。注意事项:

  • Atlas只能安装运行在64位的系统上。

  • Centos 5.X安装 Atlas-XX.el5.x86_64.rpm,Centos 6.X安装Atlas-XX.el6.x86_64.rpm。

  • 如果执行sudo rpm –i Atlas-XX.el6.x86_64.rpm,提示类似:“file /usr/local/mysql-proxy/bin/encrypt from install of Atlas-2.0.1-1.x86_64 conflicts with file from package Atlas-1.0.3-1.x86_64”错误,则表示该系统之前已经安装过Atlas-1.0.3-1.x86_64,需要执行:sudo rpm –e Atlas-1.0.3-1.x86_64,将之前安装的Atlas删除掉,再执行sudo rpm –i Atlas-XX.el6.x86_64.rpm安装新版本的Atlas。

  • 后端MySQL版本应大于5.1,建议使用MySQL 5.6

源码包安装

对Atlas系统不太熟悉的新用户,推荐使用rpm包的安装Atlas。对于想源码编译安装Atlas的用户,可参考http://blog.qixingzhong.com/2013/09/centos-install-atlas.html 提供的安装方式进行安装。注意:Atlas为了提升内存管理效率,使用了jemalloc库,源码编译的时候需要额外安装jemalloc库。

配置文件修改

Atlas运行需要依赖一个配置文件(test.cnf)。在运行Atlas之前,需要对该文件进行配置。Atlas的安装目录是/usr/local/mysql-proxy,进入安装目录下的conf目录,可以看到已经有一个名为test.cnf的默认配置文件,我们只需要修改里面的某些配置项,不需要从头写一个配置文件。配置文件如下:

[mysql-proxy] #带#号的为非必需的配置项目 #管理接口的用户名 admin-username = atlas #管理接口的密码 admin-password = hugnew #Atlas后端连接的MySQL主库的IP和端口,可设置多项,用逗号分隔(这里是MySQL主机提供的vip) proxy-backend-addresses = 192.168.3.250:3306 #Atlas后端连接的MySQL从库的IP和端口,@后面的数字代表权重,用来作负载均衡,若省略则默认为1,可设置多项,用逗号分隔 proxy-read-only-backend-addresses = 192.168.3.115:3306,192.168.3.117:3306 #用户名与其对应的加密过的MySQL密码,密码使用PREFIX/bin目录下的加密程序encrypt加密,下行的user1和user2为示例,将其替换为你的MySQL的用户名和加密密码! pwds = root:or9RzYJBtvga8s/oWZlMvQ== #设置Atlas的运行方式,设为true时为守护进程方式,设为false时为前台方式,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。 daemon = false #设置Atlas的运行方式,设为true时Atlas会启动两个进程,一个为monitor,一个为worker,monitor在worker意外退出后会自动将其重启,设为false时只有worker,没有monitor,一般开发调试时设为false,线上运行时设为true,true后面不能有空格。 keepalive = false #工作线程数,对Atlas的性能有很大影响,可根据情况适当设置 event-threads = 4 #日志级别,分为message、warning、critical、error、debug五个级别 log-level = message #日志存放的路径 log-path = /usr/local/mysql-proxy/log #SQL日志的开关,可设置为OFF、ON、REALTIME,OFF代表不记录SQL日志,ON代表记录SQL日志,REALTIME代表记录SQL日志且实时写入磁盘,默认为OFF sql-log = ON #慢日志输出设置。当设置了该参数时,则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。 sql-log-slow = 10 #实例名称,用于同一台机器上多个Atlas实例间的区分(instance名与配置文件名test.cnf要一样) instance = test #Atlas监听的工作接口IP和端口 proxy-address = 0.0.0.0:1234 #Atlas监听的管理接口IP和端口 admin-address = 0.0.0.0:2345 #分表设置,此例中person为库名,mt为表名,id为分表字段,3为子表数量,可设置多项,以逗号分隔,若不分表则不需要设置该项 #tables = person.mt.id.3 #默认字符集,设置该项后客户端不再需要执行SET NAMES语句 charset = utf8 #允许连接Atlas的客户端的IP,可以是精确IP,也可以是IP段,以逗号分隔,若不设置该项则允许所有IP连接,否则只允许列表中的IP连接 #client-ips = 127.0.0.1, 192.168.1 #Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置,否则可以不设置 #lvs-ips = 192.168.1.1

运行Atlas

进入/usr/local/mysql-proxy/bin目录,执行下面的命令启动、重启或停止Atlas。

  • sudo ./mysql-proxyd test start,启动Atlas。

  • sudo ./mysql-proxyd test restart,重启Atlas。

  • sudo ./mysql-proxyd test stop,停止Atlas。

注意:

  • 运行文件是:mysql-proxyd(不是mysql-proxy)。

  • test是conf目录下配置文件的名字,也是配置文件里instance项的名字,三者需要统一。

  • 可以使用ps -ef | grep mysql-proxy查看Atlas是否已经启动或停止。

Atlas测试

1234端口是Atlas客户端的接口,在MySQL主服务器上执行命令:mysql -h127.0.0.1 -P1234 -uroot -p123456,这里的用户名密码是MySQL访问的用户名及密码,测试连接MySQL正常,client端连接Atlas执行几条SQL语句正常说明说明Atlas正常。2345端口是Atlas的管理接口,此接口提供了查看MySQL状态,设置上线、下线后端MySQL服务器。访问方法使用MySQL命令mysql -h 127.0.0.1 -P2345 - uatlas -phugnew这里的用户名密码是上面配置文件中的admin-username = admin、admin-password = password下面是管理接口的使用帮助

SELECT * FROM help;  # 查看帮助信息 SELECT * FROM backends; # 查看后端主机状态 SET OFFLINE $backend_id  # 下线一台主机,$backend_id == SELECT * FROM backends查出来的ID SET ONLINE $backend_id   # 上线一台主机 ADD MASTER $backend      # 添加一台master节点,如: ADD MASTER 10.57.1.131; ADD SLAVE $backend       # 添加一台slave节点,如 : ADD SLAVE 10.57.1.132; REMOVE BACKEND $backend_id # 删除一个节点

更多资料查看官方地址:https://github.com/Qihoo360/Atlas。

LVS配置

简介

LVS集群采用IP负载均衡技术和基于内容请求分发技术。调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服 务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。整个服务器集群的结构对客户是透明的,而且无需修改客户端和服务器端的程序。LVS集群中实现的三种IP负载均衡技术是VS/NAT、VS/TUN和VS/DR技术。它们主要解决系统的可伸缩性和透明性问题,如何通过负载调度器将请求高 效地分发到不同的服务器执行,使得由多台独立计算机组成的集群系统成为一台虚拟服务器;客户端应用程序与集群系统交互时,就像与一台高性能的服务器交互一 样。在内核中的连接调度算法上,IPVS已实现了以下八种调度算法:

  • 轮叫调度(Round-Robin Scheduling)

  • 加权轮叫调度(Weighted Round-Robin Scheduling)

  • 最小连接调度(Least-Connection Scheduling)

  • 加权最小连接调度(Weighted Least-Connection Scheduling)

  • 基于局部性的最少链接(Locality-Based Least Connections Scheduling)

  • 带复制的基于局部性最少链接(Locality-Based Least Connections with Replication Scheduling)

  • 目标地址散列调度(Destination Hashing Scheduling)

  • 源地址散列调度(Source Hashing Scheduling)更多详细信息可以查看官方文档:http://www.linuxvirtualserver.org/zh/

准备工作(每台LVS机器)

首先禁掉防火墙和SeLinux,分为临时禁掉和永久禁掉,命令如下

####临时禁掉防火墙,重启服务器失效 service iptables stop ####临时禁掉Selinux,重启服务器失效 setenforce 0 ####永久禁掉防火墙,需重启服务器 chkconfig iptables off ####永久禁掉Selinux,需重启服务器

修改/etc/selinux/config文件中设置SELINUX=disabled ,然后重启服务器。

安装LVS软件

LVS软件包括二部分:

IPVS模块,LVS已经是Linux标准内核的一部分,直接被编译在内核中!IPVS管理工具IPVSadm ,如:IPVSadm-1.26

(1)检查是否安装了IPVS模块

LVS已经是Linux标准内核的一部分,直接被编译在内核中,可以直接使用modprobe命令即可查看。

(2)安装IPVS管理软件及依赖包

yum -y install ipvsadm yum -y install kernel-devel yum -y install libnl-devel yum -y install popt-devel

安装keepalived

tar zxf keepalived-1.2.14.tar.gz cd keepalived-1.2.2 ./configure --prefix=/usr/local/keepalived --sysconf=/etc --with-kernel-dir=/usr/src/kernels/2.6.32-71.el6.x86_64/

直到出现四个:yes

Use IPVS Framework: Yes IPVS sync daemon support : Yes IPVS use libnl: Yes Use VRRP Framework : Yes

然后进行编译

make && make install ln -s /usr/local/sbin/keepalived /sbin/ //做个软链接

执行命令keepalived –help命令检查安装keepalived是否成功。

编辑配置文件

在主机上配置keepalived(192.168.3.119)

keepalived的原理可以查看文档小谈keepalived vip漂移原理与VRRP协议。

vi /etc/keepalived/keepalived.conf ! Configuration File for keepalived global_defs {   notification_email {     acassen@firewall.loc   #设置报警邮件地址,可以设置多个,每行1个     failover@firewall.loc  #需开启邮件报警及本机的Sendmail服务。     sysadmin@firewall.loc   }   notification_email_from Alexandre.Cassen@firewall.loc   smtp_server 127.0.0.1  #设置SMTP Server地址;   smtp_connect_timeout 30   router_id LVS_DEVEL } ########VRRP Instance######## vrrp_instance VI_1 {    state MASTER    #指定Keepalived的角色,MASTER为主机服务器,BACKUP为备用服务器    interface eth0  #BACKUP为备用服务器    virtual_router_id 51    priority 100    #定义优先级,数字越大,优先级越高,主机器必须大于备机。    advert_int 1    authentication {        auth_type PASS  #设置验证类型,主要有PASS和AH两种        auth_pass 1111  #设置验证密码    }    virtual_ipaddress {        192.168.3.251  #设置主DR的虚拟IP地址(virtual IP),可多设,但必须每行1个    } } ########Virtual Server######## virtual_server 192.168.3.251 1234 {  #注意IP地址与端口号之间用空格隔开    delay_loop 6        #设置健康检查时间,单位是秒    lb_algo lc          #设置负载调度算法,默认为rr,即轮询算法,最优秀是wlc算法,这里使用的是最小链接算法    lb_kind DR          #设置LVS实现LB机制,有NAT、TUNN和DR三个模式可选    #nat_mask 255.255.255.0    #persistence_timeout 50  #会话保持时间,单位为秒    protocol TCP        #指定转发协议类型,有TCP和UDP两种    real_server 192.168.3.124 1234 {        weight 1          #配置节点权值,数字越大权值越高        TCP_CHECK {            connect_timeout 3     #表示3秒无响应,则超时            nb_get_retry 3        #表示重试次数            delay_before_retry 3  #表示重试间隔        }    }    real_server 192.168.3.125 1234 {  #配置服务器节点,即Real Server2的public IP        weight 3            #配置节点权值,数字越大权值越高        TCP_CHECK {            connect_timeout 3       #表示3秒无响应,则超时            nb_get_retry 3          #表示重试次数            delay_before_retry 3    #表示重试间隔        }    } }

在备机上配置keepalived(192.168.3.120)

备机配置文件与主机有两处不同,如下把“state MASTER”修改为“state BACKUP” #即备用服务器;把“priority 100”修改为“priority 90” #优先级为90。

配置real server节点(Atlas所有服务器)

安装httpd

yum –y install httpd

启动httpd服务

修改httpd.conf配置文件

vi /etc/httpd/conf/httpd.conf #265 ServerName www.example.com:80 //去掉前面的#号 /etc/init.d/httpd restart

编写ip绑定脚本realserver.sh

#add for chkconfig #chkconfig: 2345 70 30  #234都是文本界面,5就是图形界面X,70启动顺序号,30系统关闭,脚本 #止顺序号 #description: RealServer's script  #关于脚本的简短描述 #processname: realserver.sh       #第一个进程名,后边设置自动时会用到 #!/bin/bash VIP=192.168.3.251 source /etc/rc.d/init.d/functions case "$1" in start)       ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP       ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP       /sbin/route add -host $VIP dev lo:0       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce       echo "RealServer Start OK"       ;; stop)       ifconfig lo:0 down       route del $VIP >/dev/null 2>&1       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce       echo "RealServer Stoped"       ;;       *)       echo "Usage: $0 {start|stop}"       exit 1 esac exit 0

为realserver.sh添加权限并执行

chmod 755 realserver.sh ./realserver.sh start

检查ip绑定是否成功

执行ip addr命令

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet 192.168.3.251/32 brd 192.168.3.251 scope global lo:0 inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:1a:4a:e0:4c:41 brd ff:ff:ff:ff:ff:ff inet 192.168.3.124/24 brd 192.168.3.255 scope global eth0 inet6 fe80::21a:4aff:fee0:4c41/64 scope link valid_lft forever preferred_lft forever

可以看到ip已经绑定成功

LVS启动keepalived并检查是否生效

LVS主机启动keepalived并检查是否生效

启动keepalived

/etc/init.d/keepalived start

检查是否生效,执行ipvsadm -Ln命令

IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port &#xa0; &#xa0; &#xa0; &#xa0; &#xa0; Forward Weight ActiveConn InActConn TCP &#xa0;192.168.3.251:1234 lc -> 192.168.3.124:1234 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0; Route &#xa0; 5 &#xa0; &#xa0; &#xa0;0 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0;0 -> 192.168.3.125:1234 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0; Route &#xa0; 5 &#xa0; &#xa0; &#xa0;0 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0;0

执行ip addr 命令

1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet 127.0.0.1/8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether 00:1a:4a:e0:4c:32 brd ff:ff:ff:ff:ff:ff inet 192.168.3.119/23 brd 192.168.3.255 scope global eth0 inet6 fe80::21a:4aff:fee0:4c32/64 scope link valid_lft forever preferred_lft forever

可以看到LVS主机配置已经生效。

LVS备机启动keepalived并检查是否生效

启动keepalived

/etc/init.d/keepalived start

检查是否生效,执行ipvsadm -Ln命令

IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port &#xa0; &#xa0; &#xa0; &#xa0; &#xa0; Forward Weight ActiveConn InActConn TCP &#xa0;192.168.3.251:1234 lc -> 192.168.3.124:1234 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0; Route &#xa0; 5 &#xa0; &#xa0; &#xa0;0 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0;0 -> 192.168.3.125:1234 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0; Route &#xa0; 5 &#xa0; &#xa0; &#xa0;0 &#xa0; &#xa0; &#xa0; &#xa0; &#xa0;0

可以看到LVS备机配置也已经生效。

LVS测试

对LVS的vip地址192.168.3.251:1234发请求,使用Linux抓包工具tcpdump在atlas服务器上抓包,抓包命令为tcpdump -i eth0 -nn port 1234 and src host 192.168.3.251,测试LVS负载请求到atlas是否正常。

结语

ok,MySQL半复制+MHA+Keepalived+Atlas+LVS的集成就说到这里,这里面涉及到知识点可能比较多也比较散,如果有疑问的可以先查看官方文档,也可以找我交流哦。

注:ACMUG收录技术文章版权属于原作者本人所有。如有疑问,请联系作者。看完转发,手留余香。关注我们,一起进步。

关注ACMUG公众号,参与社区活动,交流开源技术,分享学习心得,一起共同进步。

阅读原文

打赏
赞(0) 打赏
未经允许不得转载:同乐学堂 » 【转载】MySQL HA方案之MySQL半复制+MHA+Keepalived+Atlas+LVS(下)

特别的技术,给特别的你!

联系QQ:1071235258QQ群:710045715

觉得文章有用就打赏一下文章作者

非常感谢你的打赏,我们将继续给力更多优质内容,让我们一起创建更加美好的网络世界!

支付宝扫一扫打赏

微信扫一扫打赏

error: Sorry,暂时内容不可复制!