大数据开拓者 带给人的10大启示(1)

大数据开拓者 带给人的10大启示(1)

快速查询确保高效和及时

毋庸置疑，大数据时代已经来了。那么，我们如何去应对这种局面呢?下面，我们听听拥有此方面经验的专家是如何说的吧。

首先我们要知道，在成百上千TB的信息中，我们该如何充分利用大数据。这完全取决于个人的需求和偏好。Interclick广告服务公司找到了一种在提供接近实时数据分析的同时，能提供更高效的解决方案。哈佛医学院也了解到，在对病人数量和多年保持不变的数据研究的情况下，数据也会明显增长。互联网流量监测机构comSCore，拥有12年的利用列存储数据库压缩数据的丰富经验，事实上，它采用了排序技术来优化压缩、减少处理需求。

目前，包括雅虎、Facebook、Twitter、NetFlix和eHarmony(美国在线约会网站)都认为，Hadoop是一个理想化的低成本处理 非结构化数据平台。它不仅能满足互联网巨头需要，也能满足包括摩根大通银行和其他主流的传统企业的需求。数据供应商InfoChimps同时发现，随着越来越多的附加和辅助应用的提供，Hadoop将是提供部署支持的快速成熟方案。

大数据时代下的应用

当然，并非所有的大数据部署都是根据总规模来衡量。比如Linkshare只保留了几个月但每天都需要加载和快速分析多达数十GB的数据，因此对于每天的这些数据规模来说它是一个比较大规模的部署。除此之外，我们还需要注意数据仓库扩展性的六个维度。只有这样，我们才可以制定一个较为准确的方案，从而满足最为苛刻的测试需求，并获得技术投资满足未来需要。

一、快速查询确保高效和及时

大规模并行处理平台、列存储数据库、数据库内处理技术和内存计算技术，都可以大幅降低数据查询时间，从数天、数小时缩减到几分钟甚至几秒。但这并不够。纽约广告公司Interclick发现，快速分析带来的最主要好处是高效。快速响应能争取到更多时间进行更多、更深入的查询工作。第二个好处则是，可以获得几近实时分析的结果，据此分析有助于提高决策反应水平和准确率。

Interclick所采用的大数据分析技术

通过快速响应，Interclick能够在几个小时甚至数分钟内对网上冲浪者的行为进行细分。它能够对访问旅游站点、预订酒店站点等的网名行为信息，发送给相应的航空公司、连锁酒店、汽车租赁公司等。Interclick采用的是ParAccel列存储数据库部署，内存集群可以容纳3.2TB容量的数据。