万亿级调用下的优雅:微信序列号生成器架构设计及演变

微信在立项之初,就已确立了利用数据版本号实现终端与后台的数据增量同步机制,确保发消息时消息可靠送达对方手机,避免了大量潜在的家庭纠纷。时至今日,微信已经走过第五个年头,这套同步机制仍然在消息收发、朋友圈通知、好友数据更新等需要数据同步的地方发挥着核心的作用。

时间:2017-09-22 15:21:44

千亿关系链下的新增共同好友计算

共同好友作为一种社交特征的典型代表,被广泛用于推荐、广告、游戏领域。当用户量达到海量的场景,通常是按月计算全量共同好友列表,时效性较低,甚至因为计算资源消耗过大而无法计算。相比而言,计算新增共同好友有着更大的价值。本文介绍一种千亿关系链下的日新增共同好友挖掘算法--NTE算法。该算法基于分治的思想,将新增共好友计算问题,转换为更易于运算与实现的三角形计算问题。该算法也可十分便捷的移植到其他需要计算新增共同好友的场景。

时间:2017-09-22 15:11:48

RSYNC 的 核心 算法

rsync是unix/linux下同步文件的一个高效算法,它能同步更新两处计算机的文件与目录,并适当利用查找文件中的不同块以减少数据传输

时间:2017-09-20 11:04:26

我跟存储的这10年-豆瓣分布式存储演变

我和存储的故事要从 10 年前在豆瓣的工作开始。 2007 年的 8 月,那会豆瓣还只有 4 台机器,支撑每日三百多万的 PV ,存储也用的是单机的本地存储,条目的照片按照类别放在一个目录里,一百多万的小文件,即使用了对小文件支持很好的 reiserfs ,也已经没办法用 ls 或者 rsync 来访问或者备份了。 Web 服务器是 Lighttpd ,配置了合适的缓存策略,在没有任何 CDN 缓存的情况下勉强能撑。但很危险,如果那块硬盘挂了的话,很多条目图片就没了。后来我们将目录结构调整成两级,第二级最多 10000 个文件,这样就实现了正常访问和备份。

时间:2017-09-19 10:58:03

org.apache.hadoop.ipc.RPC的阅读和改写

我们能不能利用已经阅读的hadoop源码稍加继承,来为我所用?笔者偶然读到一份机器学习的源码,发现里面学习用的rpc都是继承自hadoop的,不由拿来一看。

时间:2017-09-13 16:09:52

页码:首页1 下一页 末页 共28页