数据挖掘技术展示非凡力量

　　导语:

　　“我们把世界看成数学，并且把你也看成数学”–用这句话来说明数据挖掘技术的复合性和应用的广泛性似乎再好不过。如今，虽然一些行业在应用这一技术上仍然缺乏足够的主动，但一个不能阻挡的趋势是:已经有越来越多的人在快乐而有效地使用这一技术并且不由自主地成为它的“挖掘”对象。

　　引子:

　　禽流感该如何更好地监控?今天你写Blog了吗?

　　你是否觉得这两个问题连在一起问很无厘头?

　　事实上，美国一家公司正在试图让这两个事件之间的关系日渐明了。

　　这家公司目前正在通过从全球的Blog网页中作挖掘出和禽流感相关的信息，从而建立一个预警机制。这一项目考虑到Blog已经成为新闻传播的重要途径，先从网上抓取有关禽流感的网页，存入到公司的数据仓库，再指定“国家”为关键目标词，然后利用关联分析技术，即可得到和禽流感关联最大的国家，由此可以判定该国的禽流感传染可能比较严重。

　　就在此前，已经有很多人在抱怨，网上多如牛毛的Blog除去浪费了人们数以十万年的阅读时间之外，还有多少用处?如今，商业智能领域中的数据挖掘技术正在力图从这些爆炸式增长的Blog中“挖”出更有价值的东西，同时它也正在更多领域中展示其非凡的力量。

　　工具篇:前方是岔路口

　　数据挖掘其实并非单纯的IT技术，而是数学家和计算机科学家之间的合作产物。在过去十年中，高等数学和计算机建模的联姻改变了科学和工程技术，以至于有人认为这一合作已经开创了一个全新的商业领域。

　　有关数据挖掘技术的定义有很多版本，综其要点，主要在于应用一系列统计与人工智能技术来发现以前并不了解的数据规律，并解决实际业务问题。如今，数据挖掘技术已经从最开始的一个简单的算法包，发展出通用挖掘平台和专业挖掘工具两大种类。其中，像IBM、NCR、 SAS、微软、SPSS、StatSoft等厂商的数据挖掘产品(模块)基本都是通用型工具平台;而像美国的 Unica 公司、费尔艾萨克公司(Fair IsaacCorporation)则主要专注于诸如营销自动化、信用卡积分等细分领域，属于后一种工具。

　　具体来看，目前在数据挖掘领域声势颇大的大多是通用型工具平台，像IBM、NCR、SAS、微软、Oracle 、SPSS、StatSoft等都是如此。

　　“现在IBM更侧重的是平台优势。”IBM软件部中国区DB2信息管理技术经理刘晶炜明确表示。目前，IBM的 DB2中包含Intelligent Miner for Data和Intelligent Miner for Text两个数据挖掘模块，将数据挖掘和数据仓库整合到一个平台之上。其中，前者主要针对结构化信息，主要分为建模、浏览、Scoring Service三个部分;后者则是针对文本的挖掘模块，其主要功能是特征抽取、文档聚集、文档分类和检索。

　　NCR Teradata的数据挖掘工具同样也是与其数据仓库整合在一起。具体来说，其数据挖掘工具可以按照挖掘的步骤主要分成Profiler、ADS Generator、Warehouse Miner和模型管理器四块。目前Teradata最新版的数据挖掘方案是Teradata Warehouse Miner 4.1。

　　SAS 公司和SPSS公司作为两家从传统的统计分析技术发展而来的数据挖掘厂商，二者在业内的影响力可谓有目共睹。其中，SAS 公司提供了SAS Enterprise Miner 、SAS ETS(时间序列预测)、SAS OR(运筹学)、SAS STAT(统计分析)、SAS QC(质量控制)等一系列工具;SPSS公司也提供了Clementine和AnswerTree两项产品。

　　总起来看，像IBM、NCR、Oracle、微软这些平台工具厂商基本上都是以提供“整车”为己任。一句话，只要用户不是很挑剔，基本上都可以在某一家那里即可买全包括数据挖掘工具在内的全套商业智能产品。而像SAS、SPSS、StatSoft等公司虽然也宣称提供工具平台，但提供“整车”的实力有限，主要在统计分析和数据挖掘领域延伸提供尽可能多的工具组件。

　　相对于这些挖掘工具平台，专业挖掘工具可能在市场的声势并不大，但是像Fair Isaac 公司、Unica 公司的发展却也相当不错。比如像Fair Isaac 公司就已经占据了全球信用卡积分市场70%-80%的份额，几乎达到垄断。该公司的创始人发明了一个信用评分卡(即费寇分数，FICO score)，由此可以预测人的未来偿付行为，为消费者信用行业提供一个有效的预测工具。同样，美国 Unica 公司的 Affinium Model 则是一款专注于市场营销自动化的数据挖掘工具软件。

　　那么，面对这两种工具，用户该如何选择?换句话讲，哪种工具才是未来的发展方向呢?

　　中国传媒大学调查统计研究所副所长、数据挖掘研究室主任沈浩认为，平台化肯定是将来的一个发展方向，而且，中国的市场足够广阔，也可以容得下一批这样的平台厂商。IBM软件部中国区DB2信息管理技术经理刘晶炜也表示，正与SAS进行更多的合作，以便进一步统一数据挖掘领域的技术标准。而Teradata数据仓库专家盛秋戬博士则认为，目前的平台工具虽多，但从根本上讲，都是在用横向的数据挖掘工具解决纵向的行业业务问题。他表示，如果从用户出发，用户应该更欢迎那些专业挖掘工具。

　　现在数据挖掘领域的确存在平台化趋势，但专业工具也占领了一些市场。有些公司就是只选出并优化某些算法，再加上行业经验，就可以使建模过程更加优化。另据SYBASE商务智能总监廖钢城介绍，其实在日本，就有公司专门销售一种类似“黑匣子”的专业工具，银行积累的数据在里面跑一遍，就直接出来结果。这种工具用得也很好。而在另一方面，他也认为，提供平台的厂商会越来越少。

　　如此看来，业界对于工具的发展方向似乎并无太大异议，即平台工具会保持在一个适当的数量，而专业工具显然更得用户的宠爱。而现在，数据挖掘技术的发展刚好到了一个岔路口，一边指向通用型，一边指向专业型，就看企业要往哪个方向走了。