
python 测试mysql写入性能
发布日期:2021-06-21 03:04:01
浏览次数:17
分类:技术文章
本文共 6665 字,大约阅读时间需要 22 分钟。
测试环境:
(1) 阿里云服务器centos 6.5
(2) 2G内存
(3) 普通硬盘
(4) mysql 5.1.73 数据库存储引擎为 InnoDB
(5) python 2.7
(6) 客户端模块 mysql.connector
测试方法:
(1) 普通写入
(2) 批量写入
(3) 事务加批量写入
普通写入:
def ordinary_insert(count): sql = "insert into stu(name,age,class)values('test mysql insert',30,8)" for i in range(count): cur.execute(sql)
批量写入,每次批量写入20条数据
def many_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): cur.executemany(sql, stus)
事务加批量写入,每次批量写入20条数据,每20个批量写入作为一次事务提交
def transaction_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" insert_lst = [] loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): insert_lst.append((sql,stus)) if len(insert_lst) == 20: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit() print '0k' insert_lst = [] if len(insert_lst) > 0: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit()实验结果如下
数量 普通写入 many写入 事务加many写入1万 26.7s 1.7s 0.5s10万 266s 19s 5s100万 2553s 165s 49s批量写入,相比于普通的多次写入,减少了网络传输次数,因而写入速度加快。
不论是单次写入还是批量写入,数据库内部都要开启一个事务以保证写入动作的完整,如果在应用层,我们自己开启事物,那么就可以避免每一次写入数据库自己都开启事务的开销,从而提升写入速度。
事务加批量写入速度大概是批量写入速度的3倍,是普通写入的50倍。
完整的测试代码如下:
#coding=utf-8'''采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致采用批量写入时,由于减少了网络传输的次数因而速度加快开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍数量 普通写入 many写入 事务加many写入1万 26.7s 1.7s 0.5s10万 266s 19s 5s100万 2553s 165s 49s将autocommit设置为true,执行insert时会直接写入数据库,否则在execute 插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB 则支持事务'''import timeimport sysimport mysql.connectorreload(sys)sys.setdefaultencoding('utf-8')config = { 'host': '127.0.0.1', 'port': 3306, 'database': 'testsql', 'user': 'root', 'password': 'sheng', 'charset': 'utf8', 'use_unicode': True, 'get_warnings': True, 'autocommit':True }conn = mysql.connector.connect(**config)cur = conn.cursor()def time_me(fn): def _wrapper(*args, **kwargs): start = time.time() fn(*args, **kwargs) seconds = time.time() - start print u"{func}函数每{count}条数数据写入耗时{sec}秒".format(func = fn.func_name,count=args[0],sec=seconds) return _wrapper#普通写入@time_medef ordinary_insert(count): sql = "insert into stu(name,age,class)values('test mysql insert',30,8)" for i in range(count): cur.execute(sql)#批量@time_medef many_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): cur.executemany(sql, stus)#事务加批量@time_medef transaction_insert(count): sql = "insert into stu(name,age,class)values(%s,%s,%s)" insert_lst = [] loop = count/20 stus = (('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 30), ('test mysql insert', 30, 31), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32) ,('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32), ('test mysql insert', 30, 32)) #并不是元组里的数据越多越好 for i in range(loop): insert_lst.append((sql,stus)) if len(insert_lst) == 20: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit() print '0k' insert_lst = [] if len(insert_lst) > 0: conn.start_transaction() for item in insert_lst: cur.executemany(item[0], item[1]) conn.commit()def test_insert(count): ordinary_insert(count) many_insert(count) transaction_insert(count)if __name__ == '__main__': if len(sys.argv) == 2: loop = int(sys.argv[1]) test_insert(loop) else: print u'参数错误'
关注公众号,更多python干货分享
转载地址:https://blog.csdn.net/KWSY2008/article/details/52381390 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!
发表评论
最新留言
表示我来过!
[***.240.166.169]2025年02月09日 03时18分27秒
关于作者

喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!
推荐文章
Confluence 6 配置验证码(Captcha)来防止垃圾
2019-06-30
java实现沙箱测试环境支付宝支付(demo)和整合微信支付和支付宝支付到ssm
2019-06-30
Linux软RAID实现过程
2019-06-30
HipChat最新版本支持五大平台
2019-06-30
Unix Study--AIX5.3.8 安装hacmp52 报错
2019-06-30
RedHat Linux 下RAW的应用
2019-06-30
alert 文字颜色
2019-06-30
小米2安装更改过图标的app,图标不自动更改的零时性解决方案
2019-06-30
OpenCV3 install tutorial for Mac
2019-06-30
Spring Cloud学习:03断路器(Hystrix)
2019-06-30
智慧前端:js获取with和height屏幕浏览器的各种汇总
2019-06-30
我的友情链接
2019-06-30
LumaQQ-Android qq 代码
2019-06-30
贫血,充血模型的解释以及一些经验
2019-06-30
Google Research papers
2019-06-30
Servlet是javaWEB的基础
2019-06-30
纠结的人生。。。
2019-06-30
基础语句和数组
2019-06-30
不要做浮躁的嵌入式系统工程师
2019-06-30