MyException - 我的异常网
当前位置:我的异常网» Java Web开发 » 大批量号码过滤的有关问题

大批量号码过滤的有关问题

www.MyException.Cn  网友分享于:2015-08-26  浏览:0次
大批量号码过滤的问题
需求是同一个手机,一天只能发送的一条短信。(每天发送量大概是20-30万,最高100万。)
我的想法是做一个号码过滤表用来存储已发送的号码,发送之前去查询数据库,发送后号码录入该表。然后每次发送前先读取该表过滤号码,然后再发送短信。问题1.数量比较大的时候效率会很低,比如已发送100万,现在又提交100万,每一个号码都去查数据库对比,100万号码要过滤好久不知道服务器能不能抗得住?问题2.两个人同时提交任务同时去查询数据库,他们之前有的号码是重复的。此时数据库内的号码是空的,他们两个的号码都没有过滤,这样就一个号码一天发送了两条短信。想过用锁的方法来解决这个问题,那么任务只能一个个的提交那效率就太低了,请问下各位有没有办法解决这个问题?3.有考虑过另外一种方法,就是把当天以发送的号码写入内存,当服务器tomcat停止的时候,把内存中的号码写入文件,那么当天重启后可以从文件中读取已发送的号码,就是不知道这样异常停止服务器会不会没有调用写入文件的方法,导致没有过滤到当天已发送号码?4.请问大家有没有更好的方法可以处理这个问题?

------解决方案--------------------
先答问题1:100万,可以考虑分解成多份,比如10份、20份、或者50份,那么每一份的数量就少多了,查询起来应该毫不费力。原因是号码可以天然地分组,而且分组效率很高,所以这种方法是可行的。
------解决方案--------------------
可以考虑存在硬盘嘛,也就是存在服务器,不用存在数据库呀,可以通过hash算法来实现嘛
------解决方案--------------------
通过写本地文件的方式,读取到内存中利用hashmap存储

文章评论

编程语言是女人
编程语言是女人
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
如何区分一个程序员是“老手“还是“新手“?
如何区分一个程序员是“老手“还是“新手“?
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
程序员和编码员之间的区别
程序员和编码员之间的区别
中美印日四国程序员比较
中美印日四国程序员比较
 程序员的样子
程序员的样子
程序员都该阅读的书
程序员都该阅读的书
程序员的鄙视链
程序员的鄙视链
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
老程序员的下场
老程序员的下场
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
10个调试和排错的小建议
10个调试和排错的小建议
总结2014中国互联网十大段子
总结2014中国互联网十大段子
一个程序员的时间管理
一个程序员的时间管理
旅行,写作,编程
旅行,写作,编程
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
我是如何打败拖延症的
我是如何打败拖延症的
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
漫画:程序员的工作
漫画:程序员的工作
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
程序员的一天:一寸光阴一寸金
程序员的一天:一寸光阴一寸金
为什么程序员都是夜猫子
为什么程序员都是夜猫子
每天工作4小时的程序员
每天工作4小时的程序员
我的丈夫是个程序员
我的丈夫是个程序员
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
那些性感的让人尖叫的程序员
那些性感的让人尖叫的程序员
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
Java程序员必看电影
Java程序员必看电影
程序员应该关注的一些事儿
程序员应该关注的一些事儿
代码女神横空出世
代码女神横空出世
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
Google伦敦新总部 犹如星级庄园
Google伦敦新总部 犹如星级庄园
那些争议最大的编程观点
那些争议最大的编程观点
鲜为人知的编程真相
鲜为人知的编程真相
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有