基本信息

---

下载

文档摘要

---

这篇文章主要介绍了Hadoop集群技术在优酷土豆的应用,包括其在大数据和推荐系统中为优酷所起到的关键作用的介绍,需要的朋友可以参考下

为了更好的实现个性化视频推荐，2009年，优酷土豆开始使用Hadoop大数据平台来进行数据的分析及挖掘。起初整个平台平台只有十多个节点，而到2012年集群节点已经达到150个，2013年更是达到了300个。但是随着数据量的急剧增加以及业务的迅猛发展，每天优酷处理的数据量已突破200TB，优酷土豆的技术人员发现一些场景并不适合利用MapReduce进行处理。

优酷土豆的大数据平台已使用多年，核心业务数据量的增长与数据处理速度的失衡成为优酷土豆Hado