Spark在美团的实践(海量日志数据处理)

基于以上原因,美团在2014年的时候引入了Spark。为了充分利用现有Hadoop集群的资源,我们采用了Spark on Yarn模式,所有的Spark app以及MapReduce作业会通过Yarn统一调度执行。Spark在美团数据平台架构中的位置如图所示:
. .

MySQL索引原理及慢查询优化

MySQL凭借着出色的性能、低廉的成本、丰富的资源,已经成为绝大多数互联网公司的首选关系型数据库。虽然性能出色,但所谓“好马配好鞍”,如何能够更好的使用它,已经成为开发工程师的必修课,我们经常会从职位描述上看到诸如“精通MySQL”、“SQL语句优化”、“了解数据库原理”等要求。我们知道一般的应用系统,读写比例在10:1左右,而且插入操作和一般的更新操作很少出现性能问题,遇到最多的,也是最容易出问题的,还是一些复杂的查询操作,所以查询语句的优化显然是重中之重。
. .

技术的水太深了(LVS创始人章文嵩的职业生涯)

今天看到淘宝有个大牛章文嵩离职了,原来是lvs的开发者。 章文嵩国防科大毕业后,自己曾创立过几家小公司,都不怎么成功。最后进入淘宝,没想到淘宝的巨型业务逐渐给这些人才得以施展拳脚的舞台。最后章文嵩终有所成,离职前已经是阿里云的副总裁。
. .

你的分布式应用真的需要那么多同步调用么?

先问一个问题:为什么要使用消息中间件?现在开发分布式应用系统,很少有人从头开始写代码,因为现在已经不是一个人憋在酒店里写一个软件就可以成功的年代了,现在往往需要团队作战,而且还有可能从更大的角度来讲,是一个生态在作战,并且你所在的生态有可能和其他的生态存在竞争的关系。那什么是中间件呢?
. .