数据挖掘：获取核心信息

 

第一资本（Capital One），著名的信用卡发行公司的CEO理查德·费班克（Richard Fairbank）上月在与华尔街分析师见面时，谈起当其他信用卡发行公司陷入利率上扬、促销活动效果欠佳的困境，而第一资本的生意却依然红火的秘诀。原来最近公司发现学生市场蕴藏着巨大的潜力，于是潜心拟定新的广告邮寄名单，大力宣传为学生族量身打造的产品。结果：学生们通常都将大多数信用卡宣传单扔进垃圾桶，而这一次却成群结队地提交信用卡申请。11月22日出版的《商业周刊》指出，与其他邮寄给学生的同类广告相比，第一资本得到的回应要多出70%。

第一资本成功的秘诀何在？答案就是快速崛起的神秘武器——数据挖掘。现在使用数据挖掘的公司越来越多。电脑的普及使很多公司可以定期收集关于客户及其交易的大量数据。譬如，电信公司和信用卡发行公司可以追踪数百万客户的电话及交易。数据挖掘的原理在于利用统计学、计算机科学和人工智能等领域的先进模型对几十亿字节的数据进行分析，从中挖掘出关键信息，最终透过该信息深入了解客户行为及市场走向。

长期以来，早有公司使用统计工具了解客户行为，但数据挖掘的不同之处在于：它可以处理海量的数据。沃顿商学院客座教授杰科伯·扎哈维（Jacob Zahavi）解释说，“传统的统计工具处理少量数据完全没有问题，但现在的数据库可能包含多达几百万种的数据。”

扎哈维与他的两个同事，宾夕法尼亚大学计算机及信息科学系的利勒·安格（Lyle Ungar）和沃顿商学院统计系的罗伯特·斯坦恩（Robert Stine），将于12月举办关于数据挖掘的高级管理者短期课程。从金融服务到电子通讯的各行各业都在转向数据挖掘，但该技术也面临着几项挑战。其一是因特网的普及降低了挖掘数据的难度和成本，但也造成了数据量的猛增。其二是管理层面临的战略挑战：数据挖掘需要公司几个部门协力完成，那么该项目的归属权应该在哪个部门？

第一资本等通过数据挖掘尝到甜头的公司已经给出了答案。第一资本的管理人员对不同层次的客户群体对信用卡年费和利率等项目的不同反馈进行了调查分析，据此制定了多级费率、利率等制度，并向不同的客户群体发行了约7000种Master和Visa信用卡品种。扎哈维解释说信用卡发行公司可以通过此类细分控制风险。“高风险客户适用高利率，按时付款的客户则可以享受低利率。”如果采取有效的数据挖掘模型，客户对收到的广告宣传单可能更感兴趣，而不是随手扔进垃圾桶。

安格指出，数据挖掘还能有助于信用卡发行公司识破欺诈行为。公司可以搜索客户的交易记录，从中发现与客户过去的使用习惯相悖的交易。譬如，某个客户突然以信用卡购买了价值2美元的汽油，而他过去甚少进行此类交易，此时会有警示标志，该行为可能是对偷来的信用卡进行试探性交易。此外，数据挖掘还能用以辨别濒临破产的高风险客户。电信公司也利用数据挖掘模型追踪电话的欺诈使用。通话记录中如果有长时间的国际长途打往从未有过的号码，则有可能是盗窃来的电话卡或是其他类型的欺诈使用。

制药公司也经常使用数据挖掘进行临床试验和药品推广。斯坦恩指出，大型制药公司常对大规模的药品数据库进行分类检索，从中筛选出疗效最佳的药品，而这项工作依靠人工作业几乎无法完成。有时“无心插柳柳成荫”，辉瑞公司就是很好的例子。它最初研制伟哥不是为了治疗阳萎，而是为了减轻心绞痛症状。但数据分析显示，男性服用伟哥后出现了性勃起，于是伟哥最终成为治疗勃起障碍的有效药物。

虽然数据挖掘优势尽显，但它也面临着重大挑战。扎哈维认为，目前技术上的主要障碍是开发更先进的算法及模式，以最快的速度处理日益庞大的数据。“扩大数据处理范围是关键所在。另一大技术问题是开发分析能力更佳的新模型，挖掘各种元素间的非线性关系及相互作用。”他强调说。

而在业务上的主要挑战是如何正确识别可以利用数据挖掘工具进行分析的问题。网络技术的突飞猛进促使许多公司引入电子商务，使这一问题更加突出。扎哈维指出，“现实和虚拟世界中的客户行为存在差异。网上数据容易掌握，但客户决策时间也短得多。一旦用户登陆某网站，你就必须在极短的时间内向该用户推销适当的产品，因此有必要研制专门针对网上决策的数据挖掘工具。”

即使数据挖掘专家能够处理因特网带来的影响，问题仍未解决。正如斯坦恩所言，一家制药公司召开数据采集会议，最亟需解决的不是统计而是组织问题。“计算机部门设计数据库，但采集数据的是化学部门，组织数据的是统计部门，所以该项目应该由哪个部门负责？每个部门都有自己的季度目标，而该目标并不一定要依靠数据挖掘才能实现。”斯坦恩认为，如果企业无法解决这种画地为限的心态，将会影响到数据采集项目的执行。

但倘若公司能成功运用数据挖掘，则可以获得丰厚回报。斯坦恩称，“关于客户群和客户行为，现在各家公司掌握的数据比以往任何时候都多，其中包含着重要信息和曲线。如果你能洞察到这些特点和识别这些曲线，将可能带来远见卓识和巨大收益。第一资本就是个极好的例子。

 

    本文发表于1999年12月10日。