点宽学园 数据清洗

数据治理带来曙光

IT部门使用数据仓库进行响应，数据仓库会在断开连接的交易系统中收集数据，仅用于分析。出现了聪明的报告工具，可以更容易地操作，加入和汇总原始交易表，甚至可以将它们下载到电子表格中。当然，原始数据仍然存储在不同的应用程序和格式中，但是通过足够的努力，数据仓库可以被用来以理解所有这些，提供客户，产品，资产和位置等维度。但是，要实际生成一致的客户和产品列表，必须解决底层系统的不一致问题。

主数据管理（MDM）诞生了，与此同时，还需要数据治理策略。业务用户被鼓励或哄骗决定哪些客户和产品的分类是“黄金记录”，要在整个企业中高举，哪些将被投入到部门特定的本地术语的荒野中。这是一个经常激烈的过程，不同的部门争论哪个是分类数据的最佳方式。一些公司文化比其他文化更适合这种方法。高度集中的公司习惯于从高度但分散的方式决定结构，并且努力保持在数据治理结构中。这些公司的分析师认为自己是自由战士，而中央办公室的分析人员则认为他们是数据恐怖分子。

很明显，至少在很多公司中，自由战士现在方兴未艾。这标志着数据准备工具的市场不断增长。这些产品能够访问来自各种来源的数据，包括传统数据库，应用程序包，Excel或企业防火墙外的应用程序。它们支持一些数据质量技术，例如分析，并使业务用户能够设置数据转换，并通过可重复的工作流程自动执行此类提取，数据清理和转换。这些工具拥有自己的分析工具，或者可以调用最新的可视化和数据挖掘产品，使分析师能够根据自己的内容处理数据。

如果企业数据仓库和MDM正在开展工作，那么这样的市场就不会存在。数据准备，质量检查和转换正是准备将数据输入数据仓库的准备。问题是公司数据仓库已超出其自然限制。数据现在来自各种各样的来源，其中许多来自企业之外，并且在这样的数量中，传统的数据管理方法正在崩溃。

电子商务系统可以生成如此大小的网络流量日志，使得普通数据库不能处理该处理。车辆和机械上的传感器现在产生大量的流数据：波音787每次飞行产生几乎1TB的数据。在其他行业中也是如此，汽车，家庭智能电表甚至道路上的传感器都会产生大量数据进行分析。所有这些都是传统企业数据的补充，以及来自业务合作伙伴和数据经纪人的数据。有这么多数据出现在你面前，谁有时间讨论不同客户分类层次结构的优点？