谁在给数据质量“下绊”?
||2006-02-21
劣质数据会妨碍一个机构的商务智能系统或者数据存储项目。本站客座专栏作家瑞克•谢尔曼解释了如何避免那些影响努力结果的常规问题。
很多商务智能系统或者数据存储项目都受到与数据质量有关的并发症的干扰。有时候这些问题不会显现，直到商务人员即将启动项目之前对系统进行测试时才会暴露。那么，是什么导致BI项目团队对数据质量问题产生疏漏呢?
有两点主要的漏洞:对数据质量的定义太狭窄，认为数据质量管理是资源系统的事。
人们通常认为数据质量管理就是把坏数据剔除掉——即那些或丢失或不准确或错误的数据。坏数据的确是个问题，但不是唯一的问题。高质量的数据程序同时要确保数据的全面性、一致性、相关性和时效性。
不要埋怨资源系统
对数据质量的定义太狭窄经常导致人们认为资源交换系统——不是通过数据侵入就是系统错误——产生了坏数据。尽管这也许是一些错误发生的原因，但更可能的罪魁不是系统资源间尺度的不同(比如顾客或产品标识符)就是来自不同组织间数据定义的不同。确定尺度——形成统一的顾客或产品标识符——对于一家公司的数据评估和检验是非常重要的。资源系统不负责通过其他系统的数据质量问题，这应由BI项目团队来管。资源系统必须确保在其存储区域内数据的正确性。但BI项目团队的职责是提供整个企业内部统一的商业数据。
同样地，企业内的每一个部门也许都有正当的理由提供与其他部门不同的数据。比如说，在商业程序中所处的地位可能会决定他们如何看待自己的数据。单个部门的目标并不是形成共同的数据定义，但BI项目团队的目标是。很多BI项目团队想申明数据质量管理不应由他们负责。然而，从实际的角度考虑，BI团队的确需要把这些(数据质量管理)事务当作自己的分内之事，因为他们的工作就是确保最高的数据质量。BI项目团队在对数据进行打包提供给商务人员使用，他们将承担数据质量的负责。这看上去并不公平，但他们项目的成功正基于此。
不要低估了故障
当项目出现一个初始故障或泄漏仅影响到资源系统的一个很小的子系统时是令人吃惊的。由于可能存在种种理由允许发生小范围的故障，当资源一同的数量扩大时，你将无法从确定尺度的必要的努力中受益。
有时故障仅发生在单个的部门，该部门对获取的数据仅采用自己部门内的定义标准。再一次地，棘手的问题经常是如何调和各部门之间对数据利用时定义的不同。两件事情中在处理复合的系统和部门问题时都遭遇了实际的挑战。商务人员需要纵观全局，然而这只有当他们能够对企业内的数据进行评估和分析时才可能实现。
数据质量管理的步骤
为确保数据质量，BI项目团队必须从一开始就致力于此。这里有一些重要的步骤可供参考。
要求对商业数据进行比较宽泛的定义，建立监督和测试标准，明确数据不符合标准时应该采取什么措施。
在进行资源系统分析时努力使数据有一个全面的轮廓。对通过资源系统的反常数据的整理和时间(历史数据并不总是保存的好)都是必需的，以便从商业运作的前期就能对其进行处理。
从数据来源到商务人员的信息提取，所有的综合数据和商业智能程序都要进行数据质量合并。数据质量问题应该尽早在程序中检查出来并且按照商业要求的详细条款进行处理。
企业必须提供的数据要达到严格的质量标准水平，尤其要根据现行的规定和要求。只要建立强大的数据质量管理责任体系和确保其实施的步骤，数据水平所需的透明度就能实现。
关于作者
瑞克•谢尔曼有18年多的商业智能和数据管理经验，作为独立顾问在50多家机构任职，还在一家大五会计事务所任管理/执行官。他建立了雅典娜IT咨询公司，是一家总部位于斯通曼斯的商业智能顾问公司。他的电子邮箱是rsherman@athena-solutions.com.
责编：admin
转载请注明来源：谁在给数据质量“下绊”?
客户世界
这家伙很懒，什么都没写！
噢！评论已关闭。