大数据已经成为一个如此普遍的流行词，但有人认为其几乎是毫无意义的。以下是IT高层管理者对于大数据六个最大的误解和错觉。

最近刚刚忙完Spark 2.2.0的性能测试及Bug修复，社区又要发布2.1.2了，国庆期间刚好有空，过了一遍2.1.2的相关JIRA，发现有不少重要修复2.2.0也能用上，接下来需要将有用的PR合到我们内部维护的2.2.0分支上了。

美国的农场可能并不是遭遇大数据变革的首个场所。然而，今天的农场主正在频繁使用新科技，监控农作物的长势。

Hadoop特别适合大数据处理任务，并且它可以利用其分布式的文件系统，可靠并且低成本的将数据块复制到集群中的节点上去，从而使数据能在本地机器上进行处理。Anoop Kumar从十个方面讲解了利用Hadoop处理大数据所需要的技巧。

商业活动过程中会产生很多方面的数据，这些数据所反映的是关于消费者和潜在的大型客户的信息，如果能够对这些数据进行深入的分析就会对于用户的行为掌握得更为精准，比如说在淘宝中运用数据分析就能够分析出当前的用户在淘宝时段和地域中的特点和规律，从而更好的把握市场需求。

近日，Intel 开源了 BigDL，这是一个基于 Apache Spark 的分布式深度学习库。使用 BigDL ，用户可以将他们的深度学习应用程序作为标准的 Spark 程序，它可以直接运行在现有的 Spark 或 Hadoop 集群之上。

京东（金融）白条是大数据应用一个很好的实例。京东618大促后，京东白条的知名度再次提升了一个高度 ，大家对它的关注点也随着增加，例如它和我们的信用卡分期有何区别、为什么说白条是基于大数据的一款产品 、当面对交易风险又是如何控制等。带着这些问题，51CTO记者对京东云平台首席架构师、京东支付研发负责人唐志雄进行了专访，看他是如何多角度去分析大数据的应用和整体风控架构设计的。

大数据应用正在从概念走向现实，而企业在大数据应用开发时，软件的弹性（Resilient）正在成为决定大数据应用成败的关键因素。弹性差的应用无法应对大规模的数据集，在测试和运营中也缺乏透明度，而且也不安全。

Parquet 用于 Spark SQL 时表现非常出色。它不仅提供了更高的压缩率，还允许通过已选定的列和低级别的读取器过滤器来只读取感兴趣的记录。本文将为您详细介绍使用 Parquet for Spark SQL 优势的 5 大原因。

随着如今迅速发展的技术，现代汽车已经成为带有轮子、安全气囊与乘客空间的计算机。运用在汽车上的创新可以为司机规划安全路线、播放卫星广播、连接手机免提功能、使汽车保持在车道内行驶、并通过距离感应器和自动驾驶避免交通事故的发生。

在大数据的时代，很多公司通过采用数据驱动方式进行决策。在本文中我想谈一下我们在数据分析过程中三种常见失误：过快–急于求成、过量–图囵吞枣、过度–信息过载。

"大数据"的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的"4个V"之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。