MyException - 我的异常网
当前位置:我的异常网» 数据库 » tornado+sqlalchemy+celery,数据库连接耗费在哪里

tornado+sqlalchemy+celery,数据库连接耗费在哪里

www.MyException.Cn  网友分享于:2013-01-01  浏览:0次
tornado+sqlalchemy+celery,数据库连接消耗在哪里

  随着公司业务的发展,网站的日活数也逐渐增多,以前只需要考虑将所需要的功能实现就行了,当日活越来越大的时候,就需要考虑对服务器的资源使用消耗情况有一个清楚的认知。
     最近老是发现数据库的连接数如果几天不重启服务器,就经常会发现有很多sleep很久的数据库连接,对数据库服务器的性能有较大的影响。所以需要知道我们的数据库连接到底是在哪里被创建的,什么时候会被复用,什么时候会被释放。
     测试的时候使用的代码,适当进行调整,可帮助梳理清楚场景。

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import (sessionmaker)
from sqlalchemy import create_engine
import time

## []括起来的参数,这边就是做一个占位符
engine = create_engine("mysql+{driver}://{username}:{password}@{server}/{database}?charset={charset}"\
    .format(
        driver   = [MYSQL_DRIVER],
        username = [MYSQL_USERNAME],
        password = [MYSQL_PASSWORD],
        server   = [MYSQL_MASTER_SERVER],
        database = [DB_NAME],
        charset  = [DB_CHARSET]
    ),
    pool_size    = 20,
    max_overflow = 100,
    pool_recycle = 7200,
    echo         = False  # 调试模式,开启后可输出所有查询语句
)
DBSession = sessionmaker(bind=engine)
session=DBSession()
engine.execute("select 1;")
time.sleep(10)
session.execute("select 1;")
engine.execute("select 1;")
# session.close()
time.sleep(10)
session1=DBSession()
session1.execute("select 1;")
# session1.execute("select 1;")
engine.execute("select 1;")

    就是在上面的这一部分代码的测试,可以对以下的问题给出一些个人理解:
1.什么时候创建新的数据库连接的?
   A.engine.excute
   B.session.excute
   C.session.query
2.什么时候关掉sqlachemy里面的连接(其实是将可用的数据库连接丢回到sqlachemy的连接池里面去):
   A.engine的excute执行完成时
   B.session.close()/session.commit()/session.rollback()
   C.engine定义里面设置的pool_recycle时间到期,如果某一个session长期占有,没有close,在这个到期了之后就会被回收回去;
3.什么时候关掉数据库连接:
   A.python3进程关掉,比如kill或者重启服务器的时候;
   B.数据库连接的sleep时间超过wait_timeout的时候;比如在一个http请求里面,先用了一次session.query,然后休眠了10秒钟,这个时候我们的数据库的wait_timeout如果设置为5秒,在query执行完成之后,数据库就会显示连接进入sleep状态,超过5秒就会被关掉。这个时候,如果我们如果需要继续用这个session来进行查询的话,就会提示“MySQL connection not available”

    所以,为了不产生比较多的数据库连接,导致无谓的资源消耗,就是一定要注意尽量少创建新的,使用完了以后,一定要注意丢回到连接池中;当然还要保证,数据库的wait_timeout时间不能低于engine的pool_recyle时间,否则会出现mysql连接不可用的提示。
    在tornado里面,可以在base的on_finish方法里面将本次请求产生的session关掉;
    使用celery的时候也需要注意,可以在函数执行的末尾关掉本次创建的session,也可以写装饰器;并且需要注意,对函数异常也要进行捕获。

本次的测试过程使用到的一些知识:
    ①.查询数据库的连接超时设置:show variables like '%wait_timeout%';
    ②.查询数据库的最大可用连接数:show variables like '%max_connections%';
    ③.设置数据库的连接超时:set wait_timeout=28800;||set global wait_timeout=5;(这个global参数待查)
    ④.查看当前连接的使用情况:show status like 'Threads%';
    ⑤.查看所有的数据库连接情况:show full processlist;
    ⑥.lsof -i :3306 查看数据库的端口[3306]现在运行的情况

不过,后续还是需要把sqlachemy 官网推荐的web如何使用session的英文撸一撸。。。http://docs.sqlalchemy.org/en/latest/orm/session_basics.html#session-faq-whentocreate

然后还有一个疑惑,是在使用⑥的时候,有发现有一些celery程序有出现closewait的状态。
      tcp连接有3次握手,断开连接有4次握手。closewait状态的产生,其实就是如果A是主动断开的一方,那么在B这边显示就会是CloseWait状态。
      所以celery出现closewait,那就说明是mysql先关闭了连接,但是,celery和MySQL的连接,也是,一个是使用的是db_config里面的engine,回收时间是7200,mysql的wait_timeout是28800,按道理不会出现数据库中关掉了,但是celery里面没关掉的情况。。。
      可能是我还是有哪里没有弄的很透彻。。。

 

文章评论

程序员和编码员之间的区别
程序员和编码员之间的区别
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
那些争议最大的编程观点
那些争议最大的编程观点
编程语言是女人
编程语言是女人
程序员的鄙视链
程序员的鄙视链
中美印日四国程序员比较
中美印日四国程序员比较
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
我的丈夫是个程序员
我的丈夫是个程序员
10个帮程序员减压放松的网站
10个帮程序员减压放松的网站
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
为什么程序员都是夜猫子
为什么程序员都是夜猫子
老程序员的下场
老程序员的下场
代码女神横空出世
代码女神横空出世
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
一个程序员的时间管理
一个程序员的时间管理
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
10个调试和排错的小建议
10个调试和排错的小建议
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
旅行,写作,编程
旅行,写作,编程
每天工作4小时的程序员
每天工作4小时的程序员
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
如何成为一名黑客
如何成为一名黑客
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
我是如何打败拖延症的
我是如何打败拖延症的
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
程序员必看的十大电影
程序员必看的十大电影
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
程序员都该阅读的书
程序员都该阅读的书
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
漫画:程序员的工作
漫画:程序员的工作
程序员应该关注的一些事儿
程序员应该关注的一些事儿
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
团队中“技术大拿”并非越多越好
团队中“技术大拿”并非越多越好
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有