MyException - 我的异常网
当前位置:我的异常网» 行业应用 » Haproxy的全透明署理(转)

Haproxy的全透明署理(转)

www.MyException.Cn  网友分享于:2013-09-19  浏览:0次
Haproxy的全透明代理(转)
一:背景
    Haproxy是一款优秀的负载均衡软件,相比于Nginx来说,Haproxy可以承受的负载能力更强,这些都要归功于Haproxy的一些实现机制,单缓冲,splice系统调用,单进程、事件驱动模型,Zero-copy forwarding,树形存储等等,所有的这些细微之处的优化实现了在中等规模负载之上依然有着相当低的CPU负载,甚至于在非常高的负载场景中,5%的用户空间占用率和95%的系统空间占用率也是非常普遍的现象,这意味着HAProxy进程消耗比系统空间消耗低20倍以上。因此,对OS进行性能调优是非常重要的。即使用户空间的占用率提高一倍,其CPU占用率也仅为10%,这也解释了为何7层处理对性能影响有限这一现象。由此,在高端系统上HAProxy的7层性能可轻易超过硬件负载均衡设备。
    基于以上事实,公司最近采购了CoreMail邮件系统来构建一个高大上的邮件系统架构。前端负载均衡就是使用了Haproxy来使用。但是方案实施工程中也发现了一些问题,最明显的就是用户通过Haproxy来访问邮件系统后真正达到邮件系统的地址都是Haproxy的地址,这就导致了一个问题,在垃圾邮件过滤的时候就无法实现基于IP的过滤,并且也无法记录IP地址信息。为了解决这个问题我google了很多方案,可以使用硬负载,硬负载可以实现全透明代理让后端邮件服务器获取到用户的真实IP,还有一种解决方案就是Haproxy的全透明代理。接下来将会介绍下Haproxy的全透明代理的部署。

二:实验拓扑
<ignore_js_op style="word-wrap: break-word;"> 
    主要是让Haproxy的设备变成一个网桥设备,借助tpproxy来实现Haproxy的全透明代理。

三:方案部署
设置HAproxy的网卡为桥接模式(桥接模式原理请参考其他博文)
1
2
3
4
5
6
7
brctl addbr br0  #添加一个桥接设备
brctl addif br0 eth0 #向桥接设备添加端口
brctl addif br0 eth1
ifconfig eth0 0.0.0.0 #清楚网卡上的地址
ifconfig eth1 0.0.0.0
ifconfig br0 172.16.35.206 netmask 255.255.255.0 #设置桥接设备的地址
ip route add default via 172.16.35.1 #添加默认路由



到此桥接模式就设置好了,接在桥接设备上的机器都可以获取公司的内网IP地址。逻辑上是和公司内网是一个网络。原理和虚拟机中的桥接模式一样。
brctl addif 就相当于给这个桥接设备添加可用的端口。
我们还可以将地址信息写入配置文件中./etc/sysconfig/network-scripts/ifcfg-br0中

接着开始配置Haproxy
1
2
3
4
5
6
7
8
9
10
11
12
#!/bin/bash
wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.25.tar.gz
tar zxvf haproxy-1.4.25.tar.gz
cd haproxy-1.4.25
yum install gcc gcc-c++ autoconf automake -y
make TARGET=linux2628 arch=x86_64 USE_LINUX_TPROXY=1 #重点USE_LINUX_TPROXY=1用于编译支持TPTOXY
make install
mkdir /etc/haproxy
cp examples/haproxy.cfg /etc/haproxy
cp examples/haproxy.init /etc/init.d/haproxy
chmod +x /etc/init.d/haproxy
cp haproxy /usr/sbin/



到此HAproxy配置完成。限制于环境这里我使用tcp协议的ssh来完成实验。
下面是HAproxy 的一个代理ssh的配置文件
1
2
3
4
5
6
listen  test 0.0.0.0:1000
        balance roundrobin
        mode tcp
        option tcplog
        source 0.0.0.0 usesrc clientip #重点,TPROXY需要加上这行。
        server  test 172.16.35.81:22 weight 1 check inter 2000 rise 2 fall 5



到此为止一个支持TProxy的HAproxy配置完成。

配置TProxy代码如下
1
2
3
4
5
6
7
8
#!/bin/bash
/sbin/iptables -F
/sbin/iptables -t mangle -N DIVERT
/sbin/iptables -t mangle -A PREROUTING -p tcp -m socket -j DIVERT
/sbin/iptables -t mangle -A DIVERT -j MARK --set-mark 1
/sbin/iptables -t mangle -A DIVERT -j ACCEPT
/sbin/ip rule add fwmark 1 lookup 100
/sbin/ip route add local 0.0.0.0/0 dev lo table 100



    上面的代码目的是为了让所有进入网桥设备的mangle表的包都打上标记,然后新增一条路由规则将这些打了标记的数据包发送至本地回环接口进行处理。

配置内核参数支持IP转发和对源地址进行检查:
1
2
3
4
echo 1 > /proc/sys/net/ipv4/conf/all/forwarding
echo 2 > /proc/sys/net/ipv4/conf/default/rp_filter 
echo 2 > /proc/sys/net/ipv4/conf/all/rp_filter 
echo 0 > /proc/sys/net/ipv4/conf/br0/rp_filter





给CoreMail服务器设置默认路由
    设置默认路由的原因就在于要将所有的流量都返回到haproxy,让haproxy修改其源地址为haproxy的地址。

1
2
3
4
5
6
7
8
首先在网卡的配置文件中已经通过gateway了设置了默认路由,默认路由的地址就是Haproxy的地址,又因为
系统本身所在的网段默认是从eth0接口出去没有设置默认路由到Haproxy地址,所以需要额外添加一条同网段的
路由信息。添加后的路由表的信息如下
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
172.16.35.0     172.16.35.206   255.255.255.0   UG    0      0        0 eth0  #添加的路由
172.16.35.0     0.0.0.0         255.255.255.0   U     0      0        0 eth0
169.254.0.0     0.0.0.0         255.255.0.0     U     1002   0        0 eth0
0.0.0.0         172.16.35.206   0.0.0.0         UG    0      0        0 eth0 #在网卡配置文件中添加的



到此为此基于TProxy的Haproxy全透明代理完成了。

HAproxy的全透明代理还有第二种方法实现,那就是把两台CoreMail服务器单独划一个子网由HAproxy做网关,CoreMail的默认网关指向Haproxy,并且HAproxy要实现NAT,将返回的数据包源地址修改成自己的地址。限于篇幅这里就不介绍HAPROXY的实现TPROXY的第二种方法了。

国内关于HAproxy的全透明模式的博文很少很少,大多数都是在问这个问题。本文我也有很多地方是一知半解,只是实现了全透明的功能,后期将会介绍下网桥模式的一些理论。
 

文章评论

每天工作4小时的程序员
每天工作4小时的程序员
为什么程序员都是夜猫子
为什么程序员都是夜猫子
10个帮程序员减压放松的网站
10个帮程序员减压放松的网站
中美印日四国程序员比较
中美印日四国程序员比较
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
程序员都该阅读的书
程序员都该阅读的书
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
漫画:程序员的工作
漫画:程序员的工作
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
程序员应该关注的一些事儿
程序员应该关注的一些事儿
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
Java程序员必看电影
Java程序员必看电影
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
总结2014中国互联网十大段子
总结2014中国互联网十大段子
那些争议最大的编程观点
那些争议最大的编程观点
程序员和编码员之间的区别
程序员和编码员之间的区别
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
代码女神横空出世
代码女神横空出世
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
鲜为人知的编程真相
鲜为人知的编程真相
我的丈夫是个程序员
我的丈夫是个程序员
程序员的鄙视链
程序员的鄙视链
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
编程语言是女人
编程语言是女人
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
10个调试和排错的小建议
10个调试和排错的小建议
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
如何成为一名黑客
如何成为一名黑客
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
我是如何打败拖延症的
我是如何打败拖延症的
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
旅行,写作,编程
旅行,写作,编程
 程序员的样子
程序员的样子
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
老程序员的下场
老程序员的下场
一个程序员的时间管理
一个程序员的时间管理
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有