MyException - 我的异常网
当前位置:我的异常网» 互联网 » 阿里云Redis典型场景:怎么构建可扩展通用排行榜系统

阿里云Redis典型场景:怎么构建可扩展通用排行榜系统

www.MyException.Cn  网友分享于:2013-12-24  浏览:0次
阿里云Redis典型场景:如何构建可扩展通用排行榜系统

点击有惊喜

阿里云幸运券分享给你,用券购买或者升级阿里云相应产品会有特惠惊喜哦!把想要买的产品的幸运券都领走吧!快下手,马上就要抢光了。

 

 

摘要

 

本文主要介绍通用排行榜的需求功能,并介绍了基于Redis的ZSET数据结构的排序方法,另外探讨了通用排行榜的架构及用户如何通过阿里云Redis解决通用排行架构的技术问题。

背景

移动互联网时代的春风刮来了各种不同的业务场景,直播元年、短视频元年、类微博信息流、各种电商业务也在这个移动互联网快车上集中爆发。在这些业务中信息成为了各种场景的关键,而信息的价值往往隐藏在各种排行中,对于一个直播大V可能关注直播人数的排行榜,因为他希望萃取他家长处;对于一个商家可能关注商品浏览排行榜,因为他希望更好的区做店铺引流;对于一个游戏用户他可能关注自己在某一个群组的排行榜,因为他希望他喜欢的人能关注到他名列前茅。以此我们希望在这个文章中探讨一个基于阿里云Redis的可扩展通用的排行榜系统构建的方法。

排行榜特性

排行榜看起来简单,实际上对于通用的排行榜系统具有很高的复杂度和系统能力要求。排行榜系统首先需要定义数据源,不同数据对于排行榜系统也有不同的能力要求,我们总结了一下排行榜的特点。

排行精确性

如果一个排行榜的结果关系到用户的权益问题,这个时候一个排行榜的精确性就需要非常高,比如一个运营同学进行了根据微博转发数量的营销活动,这个时候微博转发数量的排行榜就需要非常精确,否则会影响用户权益的分发。

排行榜实时性

游戏和社交互动的结合是目前的趋势,对于热门游戏的排行是用户的关注重点,在这部分用户中对于排行的实时性有很高的要求,如果一个用户升级了自己的装备和能力,而自己的排名一直没有更新,那这个用户一定要非常伤心抛弃这个游戏了。所以通过离线计算等平台来构建一个非实时的排行榜系统就不太适合这样的模型。

排行榜功能自定义

在排行系统中有些用户只需要定期对数据进行更新即可,所以我们在排行榜系统中需要提供自定义的功能,让用户可以定义排序的周期,可以按照小时、日、周不同的周期对数据进行处理,用户再进行简单配置之后可以生成对应的排行榜单。

海量数据排行

海量数据是目前的一个趋势,比如对于淘宝全网商品的一个排行,这个榜单将会是一个亿级别的,所以我们设计的榜单也需要具备弹性伸缩能力,同时在对海量数据进行排行的时候拥有一定的实时性。

排行算法

在排行系统中我们选用Redis提供的ZSET作为基础的数据结构,ZSET是一个有序的数据集合,在这个数据集合中用户可以添加不同SCORE值的MEMBER,并且用户可以通过接口对这些有序集合根据SCORE值进行排序。ZSET这样的数据结构可以很方便的用于排行榜系统中。 
假设我们需要对一个动物运动会的比赛成绩做一个排序,我们先简单的构造一个ZSET的KEY,并添加每种动物的成绩。Redis命令如下:

$redis-cli -p 10391
# dog的分数为98,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 98 dog
# Redis后端返回添加成功元素个数
(integer) 1
# cat的分数为80,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 80 cat
# Redis后端返回添加成功元素个数
(integer) 1
# rabbit分组为95,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 95 rabbit
# Redis后端返回添加成功元素个数
(integer) 1
# tiger分组为100,我们通过调用zadd进行添加
127.0.0.1:10391> zadd rank 100 tiger
# Redis后端返回添加成功元素个数
(integer) 1

添加完成每个商家的销售额之后,我们可以调用Redis的zrange命令进行排序获取指定排名的商家,Redis命令如下:

$redis-cli -p 10391
# 通过调用zrevrange命令返回排行榜信息
27.0.0.1:10391> zrevrange rank 0 3 withscores
1) "tiger"
2) "100"
3) "dog"
4) "98"
5) "rabbit"
6) "95"
7) "cat"
8) "80"

如下显示了ZSET相关的命令使用方法

  • ZADD key score1 member1 [score2 member2] 
    添加一个或多个成员到有序集合,或者如果它已经存在更新其分数
  • ZCARD key 
    得到的有序集合成员的数量
  • ZCOUNT key min max 
    计算一个有序集合成员与给定值范围内的分数
  • ZINCRBY key increment member 
    在有序集合增加成员的分数
  • ZINTERSTORE destination numkeys key [key …] 
    多重交叉排序集合,并存储生成一个新的键有序集合。
  • ZLEXCOUNT key min max 
    计算一个给定的字典范围之间的有序集合成员的数量
  • ZRANGE key start stop [WITHSCORES] 
    由索引返回一个成员范围的有序集合。
  • ZRANGEBYLEX key min max [LIMIT offset count] 
    返回一个成员范围的有序集合(由字典范围)
  • ZRANGEBYSCORE key min max [WITHSCORES] [LIMIT] 
    按分数返回一个成员范围的有序集合。
  • ZRANK key member 
    确定成员的索引中有序集合
  • ZREM key member [member …] 
    从有序集合中删除一个或多个成员
  • ZREMRANGEBYLEX key min max 
    删除所有成员在给定的字典范围之间的有序集合
  • ZREMRANGEBYRANK key start stop 
    在给定的索引之内删除所有成员的有序集合
  • ZREMRANGEBYSCORE key min max 
    在给定的分数之内删除所有成员的有序集合
  • ZREVRANGE key start stop [WITHSCORES] 
    返回一个成员范围的有序集合,通过索引,以分数排序,从高分到低分
  • ZREVRANGEBYSCORE key max min [WITHSCORES] 
    返回一个成员范围的有序集合,按分数,以分数排序从高分到低分
  • ZREVRANK key member 
    确定一个有序集合成员的索引,以分数排序,从高分到低分
  • ZSCORE key member 
    获取给定成员相关联的分数在一个有序集合
  • ZUNIONSTORE destination numkeys key [key …] 
    添加多个集排序,所得排序集合存储在一个新的键
  • ZSCAN key cursor [MATCH pattern] [COUNT count] 
    增量迭代排序元素集和相关的分数

通用排行榜系统架构

对于一个通用性的排行榜系统,我们需要对服务进行Qos保证,为了达到服务分级Qos保证的能力,我们引入MetaQ或者Kafka等组件进行数据的接入,整体系统功能如下。

undefined | center

对于排行榜系统每个系统存在存储和计算两个流程,原始数据的存储可以选择MYSQL进行存储,计算排行阶段选择了阿里云Redis进行排行计算。阿里云Redis具有主从、集群、读写分离、异地多活等形态的产品,我们可以随着业务的变化进行灵活的更改配置。整个排行版的数据流图如下。

image.png | center | 704x332

热点读问题

对于热门排行的榜单可以选用阿里云Redis读写分离来解决单个榜单的读问题。

image.png | center | 388x170

海量榜单问题

对于海量榜单的需求可以选用阿里云Redis的集群版本,阿里云Redis集群版本的容量可以达到TB级别,并且可以轻松扩容,可以按照自愿使用量进行弹性伸缩。

image.png | center | 401x218

单元化问题

对于单元化的榜单,可以选用阿里云Redis的多中心方案,配置一个中心的写入,多个中心的读取,阿里云Redis提供的BLS服务可以轻松搭建两个中心的同步通道。

image.png | center | 611x381

总结

本文主要对基于阿里云Redis的通用排行榜系统的构建进行了探讨,详细介绍了如何利用Redis的ZSET进行常用的数据排行,另外对通用排行榜系统的功能及数据流程进行了探讨,并介绍了不同场景下可以选用的阿里云Redis产品。为了方便用户交流开源和Redis技术我们也建立了Redis交流钉钉群,欢迎有兴趣的同学移步这里加入,另外也欢迎大家使用阿里云Redis服务。对于有兴趣从事云数据库内核或者管控相关工作可以移步这里,欢迎C++/JAVA/GOLANG/PYTHON等各种开发人才加盟。

 

点击有惊喜

文章评论

程序员应该关注的一些事儿
程序员应该关注的一些事儿
要嫁就嫁程序猿—钱多话少死的早
要嫁就嫁程序猿—钱多话少死的早
程序员都该阅读的书
程序员都该阅读的书
做程序猿的老婆应该注意的一些事情
做程序猿的老婆应该注意的一些事情
2013年中国软件开发者薪资调查报告
2013年中国软件开发者薪资调查报告
10个帮程序员减压放松的网站
10个帮程序员减压放松的网站
程序员眼里IE浏览器是什么样的
程序员眼里IE浏览器是什么样的
Java程序员必看电影
Java程序员必看电影
聊聊HTTPS和SSL/TLS协议
聊聊HTTPS和SSL/TLS协议
Web开发者需具备的8个好习惯
Web开发者需具备的8个好习惯
“懒”出效率是程序员的美德
“懒”出效率是程序员的美德
中美印日四国程序员比较
中美印日四国程序员比较
程序员的鄙视链
程序员的鄙视链
不懂技术不要对懂技术的人说这很容易实现
不懂技术不要对懂技术的人说这很容易实现
写给自己也写给你 自己到底该何去何从
写给自己也写给你 自己到底该何去何从
老程序员的下场
老程序员的下场
我跳槽是因为他们的显示器更大
我跳槽是因为他们的显示器更大
老美怎么看待阿里赴美上市
老美怎么看待阿里赴美上市
程序员和编码员之间的区别
程序员和编码员之间的区别
科技史上最臭名昭著的13大罪犯
科技史上最臭名昭著的13大罪犯
总结2014中国互联网十大段子
总结2014中国互联网十大段子
代码女神横空出世
代码女神横空出世
那些争议最大的编程观点
那些争议最大的编程观点
“肮脏的”IT工作排行榜
“肮脏的”IT工作排行榜
2013年美国开发者薪资调查报告
2013年美国开发者薪资调查报告
为啥Android手机总会越用越慢?
为啥Android手机总会越用越慢?
什么才是优秀的用户界面设计
什么才是优秀的用户界面设计
5款最佳正则表达式编辑调试器
5款最佳正则表达式编辑调试器
编程语言是女人
编程语言是女人
当下全球最炙手可热的八位少年创业者
当下全球最炙手可热的八位少年创业者
旅行,写作,编程
旅行,写作,编程
 程序员的样子
程序员的样子
程序员最害怕的5件事 你中招了吗?
程序员最害怕的5件事 你中招了吗?
亲爱的项目经理,我恨你
亲爱的项目经理,我恨你
我是如何打败拖延症的
我是如何打败拖延症的
我的丈夫是个程序员
我的丈夫是个程序员
看13位CEO、创始人和高管如何提高工作效率
看13位CEO、创始人和高管如何提高工作效率
十大编程算法助程序员走上高手之路
十大编程算法助程序员走上高手之路
程序员周末都喜欢做什么?
程序员周末都喜欢做什么?
初级 vs 高级开发者 哪个性价比更高?
初级 vs 高级开发者 哪个性价比更高?
60个开发者不容错过的免费资源库
60个开发者不容错过的免费资源库
为什么程序员都是夜猫子
为什么程序员都是夜猫子
如何成为一名黑客
如何成为一名黑客
漫画:程序员的工作
漫画:程序员的工作
10个调试和排错的小建议
10个调试和排错的小建议
Java 与 .NET 的平台发展之争
Java 与 .NET 的平台发展之争
一个程序员的时间管理
一个程序员的时间管理
程序猿的崛起——Growth Hacker
程序猿的崛起——Growth Hacker
Web开发人员为什么越来越懒了?
Web开发人员为什么越来越懒了?
软件开发程序错误异常ExceptionCopyright © 2009-2015 MyException 版权所有