我们熟悉了很多ELT任务，这一个节来讨论复杂点的数据清洗。这里我们要使用的数据源是.dat文件，这种文件在大型主机上，或者是比较老旧的应用系统中非常常见。

本文比较了用于数据准备的几种方法，它们分别是提取-变换-加载(extract-transform-load，ETL)批处理、流式获取(streaming ingestion)和数据整理(data wrangling)。同时借助于先进的分析技术和开源框架(如 R 、 Apache Spark 、 KNIME 、 RapidMiner )，讨论了各种不同的选择及其折中。本文还讨论了数据准备如何与可视化分析相关联，以及不同用户角色(如数据科学家或业务分析人员)应如何共同构建分析模型的最佳实践。

本文是一个初学者指南，将带你领略如何在任意的数据集上，针对任意一个机器学习模型，完成数据预处理工作。

关注到有越来越多的用户对数据处理有强烈需求，今年4月，百度全新推出智能数据服务平台EasyData，集数据采集、数据清洗、数据标注等功能于一身，完成上述数据处理工作之后，可以在EasyDL平台进行模型训练、模型部署。

可以将数据仓库的数据清洗比做政客们募集资金的过程。几乎不存在任何一方独立存在的可能性。数据清洗往往是数据仓库项目中时间最密集的，最有争议的进程。

美团的团购系统中大量地应用到了机器学习和数据挖掘技术，例如个性化推荐、筛选 排序、搜索排序、用户建模等等，为公司创造了巨大的价值。本文主要介绍在美团的推荐与个性化团队实践中的数据清洗与特征挖掘方法。

在这里我们将介绍计算机审计中电子数据清洗的主要步骤，包括数据分析和定义清洗转换规则。