大数据应用案例分析
目录
1大数据概念
2大数据处理办法
3大数据应用案例
1
大数据概念
01大数据时代到来
随着智能手机的普及,网民参与互联网产品和使用各种手机应用的程度越来越深,用户的行为、位置、
甚至身体生理等每一点变化都成为了可被记录和分析的数据,数据量呈现爆炸式增长。
地球上至今总共的数据量:
EBZB
PB在2006年,个人用户才刚刚迈进TB时代,
TB全球一共新产生了约180EB的数据;
GB
在2011年,这个数字达到了1.8ZB。
1PB=2^50字节据IDC研究机构预测:
1EB=2^60字节到2020年,整个世界的数据总量将会增长
1ZB=2^70字节
44倍,达到35.2ZB(1ZB10亿TB)!
02大数据的构成
大数据=海量数据(交易数据、交互数据)+针对海量数据处理的解决方案
海量交易数据:企业内部的经营交易信息主要包括联机
交易数据和联机分析数据,是结构化的、通过关系数据
库进行管理和访问的静态、历史数据。通过这些数据,
我们能了解过去发生了什么。
海量交互数据:源于Facebook、Twitter、微博、及其
他来源的社交媒体数据构成。它包括了呼叫详细记录
CDR、设备和传感器信息、GPS和地理定位映射数据、
通过管理文件传输ManageFileTransfer协议传送的海
量图像文件、Web文本和点击流数据、科学信息、电子
邮件等等。可以告诉我们未来会发生什么。
海量数据处理:大数据的涌现已经催生出了设计用于数
据密集型处理的架构。例如具有开放源码、在商品硬件
群中运行的ApacheHadoop。
想驾驭这庞大的数据,我们
必须了解大数据的特征。
注:大数据不仅仅指的是数据量庞大,更为重要的是数据类型复杂
03大数据4V特征
大数据1.海量(Volume)2.多样(Variety)
解数据量巨大结构化数据、半结构化数据和非结
构化数据
决