MyException - 我的异常网
当前位置:我的异常网» Perl/Python » Python实战1-Python脚本同一时间佯死可能原因分析

Python实战1-Python脚本同一时间佯死可能原因分析

www.MyException.Cn  网友分享于:2015-08-26  浏览:19次
Python实战1-Python脚本同一时间假死可能原因分析

 

背景:服务器跑Python脚本收集交易日志,发送到后台分析并存储到cassanda数据库

现象:某一不确定时间,脚本会假死(进程并没有停),实际已经不干活了,也不打日志,并且所有服务器的脚本都几乎同一时间假死,怎会如此一致呢?

 

分析:

一、检查脚本

1)发现脚本日志总是在出现若干次的Connection异常后,进程会假死

异常1:<urlopen error [Errno 104] Connection reset by peer>

说明:常见的有几种情况,1、服务器的并发连接数超过了最大值,服务器会将该连接关闭 ;2、客户关闭请求,而服务器还在给客户端发送数据

【reset日志】

2013-02-01 15:11:25,897 logtail.py [line:49] [INFO] worker:ORDER_SUCCESS,job is waiting...

2013-02-01 15:11:30,895 logtail.py [line:60] [INFO] worker:ORDER_SUCCESS,start job at 2013-02-02 15:11:30

2013-02-01 15:11:30,896 jobworker.py [line:161] [INFO] collect...

2013-02-01 15:11:30,911 jobworker.py [line:179] [INFO] send...

2013-02-01 15:11:30,912 jobworker.py [line:45] [INFO] http://110.75.14.162:8000/wirelesscrm/log/insertLog.do

2013-02-01 15:11:30,914 jobworker.py [line:52] [ERROR] <urlopen error [Errno 104] Connection reset by peer>

2013-02-01 15:11:30,914 jobworker.py [line:134] [INFO] ok=0, notok=1, sum=19

2013-02-01 15:11:30,930 logtail.py [line:67] [INFO] worker:ORDER_SUCCESS,job is done at 2013-02-02 15:11:30

 

异常2: <urlopen error [Errno 110] Connection timed out>

说明:最大可能性也是连接数太少,还有后台响应太慢,但服务器都很正常,也没有发布或重启

【timeout日志】

2013-02-01 15:11:35,928 logtail.py [line:60] [INFO] worker:ORDER_SUCCESS,start job at 2013-02-02 15:11:35

2013-02-01 15:11:35,928 jobworker.py [line:161] [INFO] collect...

2013-02-01 15:11:35,943 jobworker.py [line:179] [INFO] send...

2013-02-01 15:11:35,945 jobworker.py [line:45] [INFO] http://110.75.14.162:8000/wirelesscrm/log/insertLog.do

2013-02-01 15:14:44,944 jobworker.py [line:52] [ERROR] <urlopen error [Errno 110] Connection timed out>

2013-02-01 15:14:44,944 jobworker.py [line:134] [INFO] ok=0, notok=1, sum=25

2013-02-01 15:14:44,959 logtail.py [line:67] [INFO] worker:ORDER_SUCCESS,job is done at 2013-02-02 15:14:44

 

2)修改脚本,通过日志可以看到一个线程运行了有3分钟的时间,因此脚本设置连接超时时间,f = urllib2.urlopen(url, timeout=1),设置为1s,在1台机器上运行了几天,经过观察,暂未发现上面的异常日志。

 

二、检查后台系统wcrm的apache配置,貌似找到了原因

apache的配置如下:

ServerTokens Prod

ServerSignature Off

Timeout 45

KeepAlive On

MaxKeepAliveRequests 20

KeepAliveTimeout 3

SendBufferSize 640000

 

说明:KeepAlive On是开启KeepAlive支持,KeepAliveTimeout决定一 个KeepAlive的连接能保持多少时间,Timeout后就关闭连接,若还有数据必须再建立新的连接 了,MaxKeepAliveRequests是最多服务多少个请求就关闭连接。显然这里设置的连接数20太少,但一般后台也没什么人用,然后再看apache日志,存在大量的自检请求,这样一来,确实没有多少连接可用了。。。

 

【apache日志】

72.24.90.154 541 - [02/Feb/2013:19:50:23 +0800] "GET http://172.24.53.113/crm/status.taobao" 200 - "-" "KeepAliveClient"

 

总结:为什么脚本同一时间停止的原因终于找到了,crm线上只有2台机器,交易服务器则有n多台,在某个时间当连接数不够用时,这样后面的请求都会失败,而所有机器的脚本线程一直处于等待响应状态,抛出异常后http资源没有释放(为什么没释放,是什么情况??这里需要深入了解一下),增加关闭http资源代码:response = urllib2.urlopen(req,timeout=10)  response.close()

文章评论

10个帮程序员减压放松的网站
10个帮程序员减压放松的网站
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
总结2014中国互联网十大段子
总结2014中国互联网十大段子
老程序员的下场
老程序员的下场
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
程序员应该关注的一些事儿
程序员应该关注的一些事儿
编程语言是女人
编程语言是女人
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
程序员和编码员之间的区别
程序员和编码员之间的区别
程序员都该阅读的书
程序员都该阅读的书
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
 程序员的样子
程序员的样子
如何成为一名黑客
如何成为一名黑客
为什么程序员都是夜猫子
为什么程序员都是夜猫子
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
旅行,写作,编程
旅行,写作,编程
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
中美印日四国程序员比较
中美印日四国程序员比较
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
程序员必看的十大电影
程序员必看的十大电影
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
那些争议最大的编程观点
那些争议最大的编程观点
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
10个调试和排错的小建议
10个调试和排错的小建议
我的丈夫是个程序员
我的丈夫是个程序员
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
代码女神横空出世
代码女神横空出世
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
鲜为人知的编程真相
鲜为人知的编程真相
程序员的鄙视链
程序员的鄙视链
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
每天工作4小时的程序员
每天工作4小时的程序员
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
Java程序员必看电影
Java程序员必看电影
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有