关于人工智能的综述报告范文
时间:2024-01-08 17:33:17
导语:如何才能写好一篇关于人工智能的综述报告,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
2017年7月,国务院印发《新一代人工智能发展规划》,不仅对人工智能的发展做出了战略性部署,还确立了“三步走”的政策目标,力争到2030年将我国建设成为世界主要的人工智能创新中心。[1]值得注意的是,此次规划不仅仅只是技术或产业发展规划,还同时包括了社会建设、制度重构、全球治理等方方面面的内容。之所以如此,是由于人工智能技术本身具有通用性和基础性。换句话说,为助推人工智能时代的崛起,我们面对的任务不是实现某一个专业领域或产业领域内的颠覆性技术突破,而是大力推动源于技术发展而引发的综合性变革。
也正因为如此,人工智能发展进程中所面临的挑战才不仅仅局限于技术或产业领域,而更多体现在经济、社会、政治领域的公共政策选择上。首先,普遍建立在科层制基础上的公共事务治理结构,是否能够适应技术发展和应用过程中所大规模激发的不确定性和不可预知性?再者,长久以来围绕人类行为的规制制度,是否同样能够适应以数据、算法为主体的应用环境?最后,如何构建新的治理体系和治理工具来应对伴随人工智能发展而兴起的新的经济、社会、政治问题?
应对上述挑战并不完全取决于技术发展或商业创新本身,而更多依赖于我们的公共政策选择。本文试图在分析人工智能发展逻辑及其所引发的风险挑战的基础上,对人工智能时代的公共政策选择做出分析,并讨论未来改革的可能路径,这也就构成了人工智能治理的三个基本问题。具体而言,人工智能本身成为治理对象,其发展与应用构成了治理挑战,而在此基础上如何做出公共政策选择便是未来治理变革的方向。
全文共分为四个部分:第一部分将探讨人工智能的概念及特征,并进而对其发展逻辑进行阐述。作为一项颠覆性技术创新,其本身的技术门槛对决策者而言构成了挑战,梳理并捋清人工智能的本质内涵因而成为制定相关公共政策的前提;第二部分将着重分析人工智能时代崛起所带来的治理挑战,主要包括三个方面,即传统科层治理结构应对人工智能新的生产模式的滞后性、建基于行为因果关系之上的传统治理逻辑应对人工智能新主体的不适用性,以及人工智能发展所引发的新议题的治理空白;面对上述挑战,各国都出台了相关政策,本文第三部分对此进行了综述性对比分析,并指出了其进步意义所在。需要指出的是,尽管各国的政策目标都试图追求人工智能发展与监管的二维平衡,但由于缺乏对人工智能内涵及其发展逻辑的完整认识,当前的公共政策选择有失综合性;本文第四部分将提出新的治理思路以及公共政策选择的其他可能路径,以推动围绕人工智能治理的相关公共政策议题的深入讨论。
一、人工智能的概念及技术发展逻辑:算法与数据
伴随着人工智能技术的快速发展,尤其是其近年来在棋类对弈、自动驾驶、人脸识别等领域的广泛应用,围绕人工智能所可能引发的社会变革产生了激烈争论。在一方面,以霍金[2]、马斯克[3]、比尔-盖茨[4]、赫拉利[5]为代表的诸多人士呼吁加强监管,警惕“人工智能成为人类文明史的终结”;在另一方面,包括奥巴马[6]在内的政治家、学者又认为应该放松监管,充分释放人工智能的技术潜力以造福社会。未来发展的不确定性固然是引发当前争论的重要原因之一,但围绕“人工智能”概念内涵理解的不同,以及对其发展逻辑认识的不清晰,可能也同样严重地加剧了人们的分歧。正因为此,廓清人工智能的概念内涵和发展逻辑不仅是回应争论的需要,也是进一步提出公共政策建议的前提。
就相关研究领域而言,人们对于“人工智能”这一概念的定义并未形成普遍共识。计算机领域的先驱阿兰-图灵曾在《计算机器与智能》一文中提出,重要的不是机器模仿人类思维过程的能力,而是机器重复人类思维外在表现行为的能力。[7]正是由此理解出发,著名的“图灵测试”方案被提出。但如同斯坦福大学计算机系教授约翰·麦卡锡所指出的,“图灵测试”仅仅只是“人工智能”概念的一部分,不模仿人类但同时也能完成相关行为的机器同样应被视为“智能”的。[8]事实上,约翰·麦卡锡正是现代人工智能概念的提出者。在他看来,“智能”关乎完成某种目标的行为“机制”,而机器既可以通过模仿人来实现行为机制,也可以自由地使用任何办法来创造行为机制。[9]由此,我们便得到了人工智能领域另一个非常重要的概念——“机器学习”。
人工智能研究的目标是使机器达到人类级别的智能能力,而其中最重要的便是学习能力。[10]因此,尽管“机器学习”是“人工智能”的子域,但很多时候我们都将这两个概念等同起来。[11]就实现过程而言,机器学习是指利用某些算法指导计算机利用已知数据得出适当模型,并利用此模型对新的情境给出判断,从而完成行为机制的过程。此处需要强调一下机器学习算法与传统算法的差异。算法本质上就是一系列指令,告诉计算机该做什么。对于传统算法而言,其往往事无巨细地规定好了机器在既定条件下的既定动作;机器学习算法却是通过对已有数据的“学习”,使机器能够在与历史数据不同的新情境下做出判断。以机器人行走的实现为例,传统算法下,程序员要仔细规定好机器人在既定环境下每一个动作的实现流程;而机器学习算法下,程序员要做的则是使计算机分析并模拟人类的行走动作,以使其即使在完全陌生的环境中也能实现行走。
由此,我们可以对“人工智能”设定一个“工作定义”以方便进一步的讨论:人工智能是建立在现代算法基础上,以历史数据为支撑,而形成的具有感知、推理、学习、决策等思维活动并能够按照一定目标完成相应行为的计算系统。这一概念尽管可能仍不完善,但它突出了人工智能技术发展和应用的两大基石——算法与数据,有助于讨论人工智能的治理问题。
首先,算法即是规则,它不仅确立了机器所试图实现的目标,同时也指出了实现目标的路径与方法。就人工智能当前的技术发展史而言,算法主要可被划分为五个类别:符号学派、联接学派、进化学派、类推学派和贝叶斯学派。[12]每个学派都遵循不同的逻辑、以不同的理念实现了人工智能(也即“机器学习”)的过程。举例而言,“符号学派”将所有的信息处理简化为对符号的操纵,由此学习过程被简化(抽象)为基于数据和假设的规则归纳过程。在数据(即历史事实)和已有知识(即预先设定的条件)的基础上,符号学派通过“提出假设-数据验证-进一步提出新假设-归纳新规则”的过程来训练机器的学习能力,并由此实现在新环境下的决策判断。
从对“符号学派”的描述中可以发现,机器学习模型成功的关键不仅是算法,还有数据。数据的缺失和预设条件的不合理将直接影响机器学习的输出(就符号学派而言,即决策规则的归纳)。最明显体现这一问题的例子便是罗素的“归纳主义者火鸡”问题:火鸡在观察10天(数据集不完整)之后得出结论(代表预设条件不合理,超过10个确认数据即接受规则),主人会在每天早上9点给它喂食;但接下来是平安夜的早餐,主人没有喂它而是宰了它。
所有算法类型尽管理念不同,但模型成功的关键都聚焦于“算法”和“数据”。事实上,如果跳出具体学派的思维束缚,每种机器学习算法都可被概括为“表示方法、评估、优化”这三个部分。[13]尽管机器可以不断的自我优化以提升学习能力,且原则上可以学习任何东西,但评估的方法和原则(算法)以及用以评估的数据(数据)都是人为决定的——而这也正是人工智能治理的关键所在。算法与数据不仅是人工智能发展逻辑的基石,其同样是治理的对象和关键。
总而言之,围绕“人工智能是否会取代人类”的争论事实上并无太大意义,更重要的反而是在廓清人工智能的内涵并理解其发展逻辑之后,回答“治理什么”和“如何治理”的问题。就此而言,明确治理对象为算法和数据无疑是重要的一步。但接下来的重要问题仍然在于,人工智能时代的崛起所带来的治理挑战究竟是什么?当前的制度设计是否能够对其做出有效应对?如果答案是否定的,我们又该如何重构治理体系以迎接人工智能时代的崛起?本文余下部分将对此做进一步的阐述。
二、人工智能时代崛起的治理挑战
不同于其他颠覆性技术,人工智能的发展并不局限于某一特定产业,而是能够支撑所有产业变革的通用型技术。也正因为此,其具有广泛的社会溢出效应,在政治、经济、社会等各个领域都会带来深刻变革,并将同时引发治理方面的挑战。具体而言,挑战主要体现在以下三个方面。
首先,治理结构的僵化性,即传统的科层制治理结构可能难以应对人工智能快速发展而形成的开放性和不确定性。之所以需要对人工智能加以监管,原因在于其可能成为公共危险的源头,例如当自动驾驶技术普及之后,一旦出现问题,便可能导致大规模的连续性伤害。但不同机、大型水坝、原子核科技等二十世纪的公共危险源,人工智能的发展具有极强的开放性,任何一个程序员或公司都可以毫无门槛的进行人工智能程序的开发与应用。这一方面是由于互联网时代的到来,使得基于代码的生产门槛被大大降低[14];另一方面,这也是人工智能本身发展规律的需要。正如前文所提到,唯有大规模的数据输入才可能得到较好的机器学习结果,因此将人工智能的平台(也即算法)以开源形式公开出来,以使更多的人在不同场景之下加以利用并由此吸收更多、更完备的数据以完善算法本身,就成为了大多数人工智能公司的必然选择。与此同时,人工智能生产模式的开放性也必然带来发展的不确定性,在缺乏有效约束或引导的情况下,人工智能的发展很可能走向歧途。面对这一新形势,传统的、基于科层制的治理结构显然难以做出有效应对。一方面,政府试图全范围覆盖的事前监管已经成为不可能,开放的人工智能生产网络使得监管机构几乎找不到监管对象;另一方面,由上至下的权威结构既不能传递给生产者,信息不对称问题的加剧还可能导致监管行为走向反面。调整治理结构与治理逻辑,并形成适应具有开放性、不确定性特征的人工智能生产模式,是当前面临的治理挑战之一。
再者,治理方法的滞后性,即长久以来建立在人类行为因果关系基础上的法律规制体系,可能难以适用于以算法、数据为主体的应用环境。人工智能的价值并不在于模仿人类行为,而是其具备自主的学习和决策能力;正因为如此,人工智能技术才不能简单地理解为其创造者(即人)意志的表达。程序员给出的只是学习规则,但真正做出决策的是基于大规模数据训练后的算法本身,而这一结果与程序员的意志并无直接因果关联。事实上也正由于这个特点,AlphaGo才可能连续击败围棋冠军,而其设计者却并非围棋顶尖大师。也正是在这个意义上,我们才回到了福柯所言的“技术的主体性”概念。在他看来,“技术并不仅仅是工具,或者不仅仅是达到目的的手段;相反,其是政治行动者,手段与目的密不可分”。[15]就此而言,长久以来通过探究行为与后果之因果关系来规范人的行为的法律规制体系,便可能遭遇窘境:如果将人工智能所造成的侵权行为归咎于其设计者,无疑不具有说服力;但如果要归咎于人工智能本身,我们又该如何问责一个机器呢?由此,如何应对以算法、数据为核心的技术主体所带来的公共责任分配问题,是当前面临的第二个治理挑战。
最后,治理范围的狭隘性,即对于受人工智能发展冲击而引发的新的社会议题,需要构建新的治理体系和发展新的治理工具。人工智能发展所引发的治理挑战不仅仅体现在现有体系的不适应上,同时还有新议题所面临的治理空白问题。具体而言,这又主要包括以下议题:算法是否能够享有言论自由的宪法保护,数据的权属关系究竟如何界定,如何缓解人工智能所可能加剧的不平等现象,以及如何平衡人工智能的发展与失业问题。在人工智能时代之前,上述问题并不存在,或者说并不突出;但伴随着人工智能的快速发展和应用普及,它们的重要性便日渐显著。以最为人所关注的失业问题为例,就技术可能性来说,人工智能和机器人的广泛应用代替人工劳动,已是一个不可否定的事实了。无论是新闻记者,还是股市分析员,甚至是法律工作者,其都有可能为机器所取代。在一个“充分自动化(Full Automation)”的世界中,如何重新认识劳动与福利保障的关系、重构劳动和福利保障制度,便成为最迫切需要解决的治理挑战之一。[16]
上述三方面共同构成了人工智能时代崛起所带来的治理挑战。面对这些挑战,各国也做出了相应的公共政策选择。本文第三部分将对各国人工智能的治理政策进行对比性分析。在此基础上,第四部分将提出本文的政策建议。
三、各国人工智能治理政策及监管路径综述
人工智能时代的崛起作为一种普遍现象,其所引发的治理挑战是各国面临的共同问题,各国也陆续出台了相关公共政策以试图推动并规范人工智能的快速发展。
美国于2016年同时颁布了《国家人工智能研究与发展战略规划》和《为人工智能的未来做好准备》两个国家级政策框架,前者侧重从技术角度指出美国人工智能战略的目的、愿景和重点方向,而后者则更多从治理角度探讨政府在促进创新、保障公共安全方面所应扮演的角色和作用。就具体的监管政策而言,《为人工智能的未来做好准备》提出了一般性的应对方法,强调基于风险评估和成本-收益考量的原则以决定是否对人工智能技术的研发与应用施以监管负担。[17]日本同样于2016年出台了《第五期(2016~2020年度)科学技术基本计划》,提出了“超智能社会5.0”的概念,强调通过推动数据标准化、建设社会服务平台、协调发展多领域智能系统等各方面工作促进人工智能的发展和应用。[18]
尽管美国和日本的政策着力点不同,但其共有的特点是对人工智能的发展及其所引发的挑战持普遍的包容与开放态度。就当前的政策框架而言,美日两国的政策目标更倾斜于推动技术创新、保持其国家竞争力的优势地位;当涉及对人工智能所可能引发的公共问题施以监管时,其政策选择也更倾向于遵循“无需批准式(permissionless)”的监管逻辑,即强调除非有充分案例证明其危害性,新技术和新商业模式默认为都是被允许的。[19]至于人工智能的发展对个人数据隐私、社会公共安全的潜在威胁,尽管两国的政策框架都有所涉及,却并非其政策重心——相比之下,英国、法国则采取了不同的政策路径。
英国政府2016年了《人工智能:未来决策制定的机遇与影响》,对人工智能的变革性影响以及如何利用人工智能做出了阐述与规划,尤其关注到了人工智能发展所带来的法律和伦理风险。在该报告中,英国政府强调了机器学习与个人数据相结合而对个人自由及隐私等基本权利所带来的影响,明确了对使用人工智能所制定出的决策采用问责的概念和机制,并同时在算法透明度、算法一致性、风险分配等具体政策方面做出了规定。[20]与英国类似,法国在2017年的《人工智能战略》中延续了其在2006年通过的《信息社会法案》的立法精神,同样强调加强对新技术的“共同调控”,以在享有技术发展所带来的福利改进的同时,充分保护个人权利和公共利益。[21]与美日相比,英法的公共政策更偏向于“审慎监管(precautionary)”的政策逻辑,即强调新技术或新的商业模式只有在开发者证明其无害的前提下才被允许使用。[22]
在本文看来,无论是“无需批准式监管”还是“审慎监管”,在应对人工智能时代崛起所带来的治理挑战方面都有其可取之处:前者侧重于推动创新,而后者则因重视安全而更显稳健。但需要指出的是,这两种监管路径的不足却也十分明显。正如前文第二部分所指出,一方面,快速迭代的技术发展与商业模式创新必将引发新的社会议题,无论是算法是否受到言论自由的权利保护还是普遍失业对社会形成的挑战,它们都在客观上要求公共政策做出应对,而非片面的“无需批准式监管”能够处理。更重要的是,“无需批准式监管”的潜在假设是事后监管的有效性;然而,在事实上,正如2010年5月6日美国道琼斯工业指数“瞬间崩盘”事件所揭示的,即使单个电子交易程序合规运行,当各个系统行为聚合在一起时反而却造成了更大的危机。[23]在此种情形下,依赖于合规性判断的“事后监管”基本上难以有效实施。另一方面,人工智能本身的自主性和主体性使得建立在人类行为因果关系基础上的“审慎监管”逻辑存在天然缺陷:既然人类无法预知人工智能系统可能的行为或决策,开发者又如何证明人工智能系统的无害性?
正如本文所反复强调的,人工智能与其他革命性技术的不同之处,正是在于其所带来的社会冲击的综合性和基础性。人工智能并非单个领域、单个产业的技术突破,而是对于社会运行状态的根本性变革;人工智能时代的崛起也并非一夜之功,而是建立在计算机革命、互联网革命直至数字革命基础上的“奇点”变革。因此,面对人工智能时代崛起所带来的治理挑战,我们同样应该制定综合性的公共政策框架,而非仅仅沿袭传统治理逻辑,例如只是针对具体议题在“创新”与“安全”这个二元维度下进行艰难选择。本文在第四部分从承认技术的主体性、重构社会治理制度、推进人工智能全球治理这三方面提出了政策建议,并希望以此推动更深入地围绕人工智能时代公共政策选择的研究与讨论。
四、人工智能时代的公共政策选择
《新一代人工智能发展规划》明确提出了到2030年我国人工智能发展的“三步走”目标,而在每一个阶段,人工智能法律法规、伦理规范和政策体系的逐步建立与完善都是必不可少的重要内容。面对人工智能时代崛起的治理挑战,究竟应该如何重构治理体系、创新治理机制、发展治理工具,是摆在决策者面前的重要难题。本文基于对人工智能基本概念和发展逻辑的梳理分析,结合各国已有政策的对比分析,提出以下三方面的改革思路,以为人工智能时代的公共选择提供参考。
第一,人工智能发展的基石是算法与数据,建立并完善围绕算法和数据的治理体系与治理机制,是人工智能时代公共政策选择的首要命题,也是应对治理挑战、赋予算法和数据以主体性的必然要求。(1)就算法治理而言,涉及的核心议题是算法的制定权及相应的监督程序问题。算法作为人工智能时代的主要规则,究竟谁有权并通过何种程序来加以制定,谁来对其进行监督且又如何监督?长久以来公众针对社交媒体脸书(Facebook)的质疑正体现了这一问题的重要性:公众如何相信脸书向用户自动推荐的新闻内容不会掺杂特殊利益的取向?[24]当越来越多的人依赖定制化的新闻推送时,人工智能甚至会影响到总统选举。也正因为此,包括透明要求、开源要求在内的诸多治理原则,应当被纳入到算法治理相关议题的考虑之中。(2)就数据治理而言,伴随着人工智能越来越多地依赖于大规模数据的收集与利用,个人隐私的保护、数据价值的分配、数据安全等相关议题也必将成为公共政策的焦点。如何平衡不同价值需求、规范数据的分享与应用,也同样成为人工智能时代公共政策选择的另一重要抓手。
第二,创新社会治理制度,进一步完善社会保障体系,在最大程度上缓解人工智能发展所可能带来的不确定性冲击。与历史上的技术革命类似,人工智能的发展同样会导致利益的分化与重构,而如何保证技术革命成本的承受者得到最大限度的弥补并使所有人都享有技术发展的“获得感”,不仅是社会发展公平、正义的必然要求,也是促进技术革命更快完成的催化剂。就此而言,在人工智能相关公共政策的考量中,我们不仅应该关注产业和经济政策,同时也应该关注社会政策,因为只有后者的完善才能够控制工人或企业家所承担的风险,并帮助他们判断是否支持或抵制变革的发生。就具体的政策设计来说,为缓解人工智能所可能带来的失业潮,基本收入制度的普遍建立可能应该被提上讨论议程了。“基本收入”是指政治共同体(如国家)向所有成员不加任何限制条件地支付一定数额的收入,以满足其基本生活的需求。尽管存在“养懒汉”的质疑,但有研究者已指出,自18世纪就开始构想的基本收入制度很有可能反过来促进就业。[25]芬兰政府已经于2017年初开始了相关实验,美国的一些州、瑞士也做出了一定探索。在人工智能时代尚未完全展现其“狰容”之前,创新社会治理机制、完善社会保障体系,可能是平衡技术创新与社会风险的最佳路径。
第三,构建人工智能全球治理机制,以多种形式促进人工智能重大国际共性问题的解决,共同应对开放性人工智能生产模式的全球性挑战。人工智能的发展具有开放性和不确定性的特征,生产门槛的降低使得人工智能技术研发的跨国流动性很强,相关标准的制定、开放平台的搭建、共享合作框架的形成,无不要求构建相应的全球治理机制。另一方面,跨境数据流动在广度和深度上的快速发展成为了人工智能技术进步的直接推动力,但各国数据规制制度的巨大差异在制约跨境数据流动进一步发展的同时,也将影响人工智能时代的全面到来。[26]故此,创新全球治理机制,在承认各国制度差异的前提下寻找合作共享的可能性,便成为人工智能时代公共政策选择的重要考量之一。就具体的机制设计而言,可以在人工智能全球治理机制的构建中引入多利益相关模式;另一方面,为防止巨头垄断的形成,充分发挥主权国家作用的多边主义模式同样不可忽视。作为影响深远的基础性技术变革,互联网全球治理机制的经验和教训值得人工智能发展所借鉴。
上述三方面从整体上对人工智能时代的公共政策框架做出了阐述。与传统政策局限于“创新”与“安全”之间做出二维选择不同,本文以更综合的视角提出了未来公共政策选择的可能路径。就其内在联系来讲,建立并完善围绕算法和数据的治理体系是起点,其将重构人工智能时代的规则与制度;创新社会治理机制并完善社会保障体系是底线,其将缓解人工智能所带来的影响与波动;构建全球治理机制则成为了制度性的基础设施,推动各国在此之上共同走向人工智能时代的“人类命运共同体”。
五、结语
在经历了60余年的发展之后,人工智能终于在互联网、大数据、机器学习等诸多技术取得突破的基础上实现了腾飞。在未来的人类生活中,人工智能也必将扮演越来越重要的角色。对于这样的图景,我们自不必惊慌,但却也不可掉以轻心。对于人工智能的治理,找到正确的方向并采取合理的措施,正是当下所应该重视的政策议题。而本文的主旨也正在于此:打破长久以来人们对于人工智能的“笼统”式担忧,指出人工智能技术发展的技术逻辑及其所引发的治理挑战,并在此基础上提出相应的政策选择。人工智能治理的这三个基本问题,是重构治理体系、创新治理机制、发展治理工具所必须思考的前提。伴随着我国国家层面战略规划的出台,我国人工智能的发展也必将跃上新台阶。在此背景下,深入探讨人工智能治理的相关公共政策议题,对于助推一个人工智能时代的崛起而言,既有其必要性,也有其迫切性。(来源:中国行政管理 文/贾开 蒋余浩 编选:中国电子商务研究中心)
[参考文献]
[1]国务院关于印发新一代人工智能发展规划的通知[EB/OL]. http://gov.cn/zhengce/content/2017-07/20/content_5211996.htm.
[2]霍金. AI可能成就或者终结人类文明[EB/OL].http://raincent.com/content-10-7672-1.html.
[3] Elon Musk. Artificial Intelligence is Our Biggest Existential Threat. https://theguardian.com/technology/2014/oct/27/elon-musk-artificial-intelligence-ai-biggest-existential-threat.
[4] Microsoft's Bill Gates Insists AI is A Threat. http://bbc.com/news/31047780. 2017-8-14.
[5] [以]赫拉利.人类简史[M].北京:中信出版社,2014.
[6] The President in Conversation With MIT’s Joi Ito and WIRED’s Scott Dadich. https://wired.com/2016/10/president-obama-mit-joi-ito-interview/. 2017-8-14.
[7] Turing,A. M. Computing Machinery and Intelligence. Mind,1950,59(236).
[8] [9][10] McCarthy,J.What is Artificial Intelligence. URL:http://www-formal.stanford.edu/jmc/whatisai/whatisai.html.
[11] [12][13] [美]佩德罗-多明戈斯.终极算法:机器学习和人工智能如何重塑世界[M].黄芳萍译.北京:中信出版社,2016.
[14] Benkler,Y. The Wealth of Networks:How Social Production Transforms Markets and Freedom. Yale University Press,2006.
[15] Foucoult,M. Discipline and Punish. A. Sheridan,Tr.,Paris,FR,Gallimard,1975.
[16] Srnicek,N.,& Williams,A. The Future isn't Working. Juncture,2015,22(3):243-247.
[17] Preparing for the Future of Artificial Intelligence. https://obamawhitehouse.archives.gov/sites/default/files/whitehouse_files/microsites/ostp/NSTC/preparing_for_the_future_of_ai.pdf. 2017-8-14.
[18]薛亮.“日本推动实现超智能社会‘社会5.0’”[EB/OL]. http://istis.sh.cn/list/list.aspx?id=10535.
[19] Thierer,A. Permissionless Innovation:The Continuing Case for Comprehensive Technological Freedom. Mercatus Center at George Mason University,2016.
[20] Artificial Intelligence:Opportunities and Implications for the Future of Decision Making.https://gov.uk/government/uploads/system/uploads/attachment_data/file/566075/gs-16-19-artificial-intelligence-ai-report.pdf.
[21]周衍冰.大数据产业在法国的发展及应用[N].学习时报,2014-11-03.
[22] Thierer,A. D.,& Watney,C. J. Comment on the Federal Automated Vehicles Policy,2016.
[23] [美]杰瑞·卡普兰.人工智能时代:人机共生下财富、工作与思维的大未来[M].杭州浙江人民出版社,2016.
[24] Marcel Rosenbach. How Google and Facebook Can Reshape Elections.http://spiegel.de/international/germany/google-and-facebook-could-help-decide-2017-german-election-a-1120156.html.
[25] Van Parijs,P. Basic Income:A Simple and Powerful Idea for the Twenty-first Century. Politics & Society,2004,32(1).
篇2
关键词:数据挖掘;方法;数据挖掘技术;数据仓库
中图分类号:TP311文献标识码:A 文章编号:1009-3044(2008)34-2030-03
Brief Analysis of Data Mining Techniques
WEI Xiao-ling
(Department of Primary education, Qinzhou University, Qinzhou 535000, China)
Abstract: Data mining techniques is an emerging research field in database and artificial intelligence.Is present widespread research data bank technology Is present widespread research data bank technology, It may refine usefully, the latent information from the massive data, After ten several years research and application, Had already established the quite solid rationale, at present, is closely integrated with applications, Further reform of the existing technology development.
Key words: data mining; methods; data mining; techniques data warehouse
1 引言
随着计算机技术,特别是数据库技术的快速发展和广泛应用,各行各业积累的数据量越来越大,传统的数据处理方式已很难充分利用蕴藏在这些数据中的有用知识,为适应这种需求 ,数据挖掘(Data Mining,DM)应运而生,并得以蓬勃发展,越来越显示出其强大的生命力。
数据挖掘技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的,然后发展到可对数据库进行查询和访问,进而发展到对数据库的即时遍历。数据挖掘使数据库技术进入了一个更高级的阶段,它不仅能对过去的数据进行查询和遍历,并且能够找出过去数据之间的潜在联系,从而促进信息的传递。
从80年代末数据挖掘开始出现,短短二十多年它的发展速度很快。目前数据挖掘技术在零售业的购物篮分析、金融风险预测 、产品质量分析、通讯及医疗服务 、基因工程研究等许 多领域得到了成功的应用.很多专题会议也把数据挖掘和知识发现列为议题之一。
2 数据挖掘技术概述
所谓数据挖掘就是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中,提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。
数据挖掘的核心模块技术历经了数十年的发展,其中包括数理统计、人工智能、机器学习。今天,这些成熟的技术,加上高性能的关系数据库引擎以及广泛的数据集成,让数据挖掘技术在当前的数据仓库环境中进入了实用的阶段。
数据挖掘与传统的数据分析(如查询、报表、联机应用分析)的本质区别是数据挖掘是在没有明确假设的前提下去挖掘信息、发现知识。数据挖掘所得到的信息应具有先未知,有效和可实用三个特征。
3 数据挖掘技术功能
1) 自动预测趋势和行为
数据挖掘自动在大型数据库中寻找预测性信息,以往需要进行大量手工分析的问题如今可以迅速直接由数据本身得出结论。一个典型的例子是市场预测问题,数据挖掘使用过去有关促销的数据来寻找未来投资中回报最大的用户,其它可预测的问题包括预报破产以及认定对指定事件最可能作出反应的群体。
2) 关联分析
数据关联是数据库中存在的一类重要的可被发现的知识。若两个或多个变量的取值之间存在某种规律性,就称为关联。关联可分为简单关联、时序关联、因果关联。关联分析的目的是找出数据库中隐藏的关联网。有时并不知道数据库中数据的关联函数,即使知道也是不确定的,因此关联分析生成的规则带有可信度。
3) 聚类
数据库中的记录可被化分为一系列有意义的子集,即聚类。聚类增强了人们对客观现实的认识,是概念描述和偏差分析的先决条件。聚类技术主要包括传统的模式识别方法和数学分类学。80年代初,Mchalski提出了概念聚类技术其要点是,在划分对象时不仅考虑对象之间的距离,还要求划分出的类具有某种内涵描述,从而避免了传统技术的某些片面性。
4) 概念描述
概念描述就是对某类对象的内涵进行描述,并概括这类对象的有关特征。概念描述分为特征性描述和区别性描述,前者描述某类对象的共同特征,后者描述不同类对象之间的区别。生成一个类的特征性描述只涉及该类对象中所有对象的共性。生成区别性描述的方法很多,如决策树方法、遗传算法等。
5) 偏差检测
数据库中的数据常有一些异常记录,从数据库中检测这些偏差很有意义。偏差包括很多潜在的知识,如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等。偏差检测的基本方法是,寻找观测结果与参照值之间有意义的差别。
4 数据挖掘常用技术
在数据挖掘中最常用的技术有:
人工神经网络:人工神经网络方法从结构上模仿生物神经网络,是一种通过训练来学习的非线性预测模型。 它将每一个连接看作一个处理单元(PE),试图模拟人脑神经元的功能。它可以完成分类、聚类、特征挖掘等多种数据挖掘任务。
决策树:决策树是数据挖掘中经常要用到的一种技术,可以用于分析数据,同样也可以用来作预测。它利用树的结构将数据记录进行分类,树的一个叶结点就代表某个条件下的一个记录集,根据记录字段的不同取值建立树的分支;在每个分支子集中重复建立下层结点和分支,便可生成一棵决策树。常用的算法有CHAID、 CART、 Quest 和C5.0。
遗传算法:遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法。其基本思想是基于 Darwin的进化论和 Mendel的遗传学说。该算法由密执安(Michigan)大学教授 Holland及其学生于 1975年创建。与传统搜索算法不同,遗传算法从一组随机产生的初始解,称为种群(Population),开始搜索过程。种群中的每个个体是问题的一个解,称为染色体(Chromone)。染色体是一串符号,例如一个二进制字符串。这些染色体在后续迭代中不断进化,称为遗传在每一代中用适应度 (Fitness)来衡量染色体的好坏。生成下一代染色体,称为后代(Offspring)。后代是由前一代染色体通过交叉(Crossover)或变异(Muration)运算形成。根据适应度大小选择部分后代淘汰部分后代,从而保持种群大小是常数。适应度高的染色体被选中的概率高。这样,经过若干代之后,算法收敛于最好的染色体,它很可能就是问题的最优解或次优解。
近邻算法:将数据集合中每一个记录进行分类的方法。
规则推导:从统计意义上对数据中的“如果-那么”规则进行寻找和推导。
5 数据挖掘技术实现
在技术上可以根据它的工作过程分为:数据的抽取、数据的存储和管理、数据的展现等关键技术。
1) 数据的抽取
数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境,它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等几个方面的处理。在数据抽取方面,未来的技术发展将集中在系统功能集成化方面,以适应数据仓库本身或数据源的变化,使系统更便于管理和维护。
2) 数据的存储和管理
数据仓库的组织管理方式决定了它有别于传统数据库的特性,也决定了其对外部数据的表现形式。数据仓库管理所涉及的数据量比传统事务处理大得多,且随时间的推移而快速累积。在数据仓库的数据存储和管理中需要解决的是如何管理大量的数据、如何并行处理大量的数据、如何优化查询等。目前,许多数据库厂家提供的技术解决方案是扩展关系型数据库的功能,将普通关系数据库改造成适合担当数据仓库的服务器。
3) 数据的展现
在数据展现方面主要的方式有:
查询:实现预定义查询、动态查询、OLAP查询与决策支持智能查询;报表:产生关系数据表格、复杂表格、OLAP表格、报告以及各种综合报表;可视化:用易于理解的点线图、直方图、饼图、网状图、交互式可视化、动态模拟、计算机动画技术表现复杂数据及其相互关系;统计:进行平均值、最大值、最小值、期望、方差、汇总、排序等各种统计分析;挖掘:利用数据挖掘等方法,从数据中得到关于数据关系和模式的知识。
4) 数据挖掘一般过程
图1描述了数据挖掘的基本过程和主要步骤。
过程中各步骤的大体内容如下:
5.1 确定业务对象
清晰地定义出业务问题,认清数据挖掘的目的是数据挖掘的重要一步.挖掘的最后结构是不可预测的,但要探索的问题应是有预见的,为了数据挖掘而数据挖掘则带有盲目性,是不会成功的
5.2 数据准备
1) 数据的选择
搜索所有与业务对象有关的内部和外部数据信息,并从中选择出适用于数据挖掘应用的数据。
2) 数据的预处理
研究数据的质量,为进一步的分析作准备。并确定将要进行的挖掘操作的类型。
3) 数据的转换
将数据转换成一个分析模型。这个分析模型是针对挖掘算法建立的。建立一个真正适合挖掘算法的分析模型是数据挖掘成功的关键。
5.3 数据挖掘
对所得到的经过转换的数据进行挖掘。除了完善从选择合适的挖掘算法外,其余一切工作都能自动地完成。
5.4 结果分析
解释并评估结果。其使用的分析方法一般应作数据挖掘操作而定,通常会用到可视化技术。
5.5 知识的同化
将分析所得到的知识集成到业务信息系统的组织结构中去。
6 数据挖掘技术的应用
应用是数据挖掘技术的发展动力,数据挖掘研究具有广泛的应用前景,因为数据挖掘产生的知识可以用于决策支持、信息管理、科学研究等许多领域。数据挖掘技术与各个行业的有机结合体现了其蓬勃的生命力 ,且这种趋势正在以前所未有的速度继续向前发展。尤其是在如银行、电信、保险、交通、零售(如超级市场)等商业领域。数据挖掘所能解决的典型商业问题包括:数据库营销(Database Marketing)、客户群体划分(Customer Segmentation & Classification)、背景分析(Profile Analysis)、交叉销售(Cross-selling)等市场分析行为,以及客户流失性分析(Churn Analysis)、客户信用记分(Credit Scoring)、欺诈发现(Fraud Detection)等等。具体应用实例如:IBM公司开发的QUEST和Intelligent Miner系统可以挖掘顾客的购物行为模式,预测销售行情。AT& T实验室开发了Hancock系统,该系统主要处理电信数据流,分析电话呼叫记录。Bell通信研究所的Tribeca则是一个用于网络监控的系统。Google公司利用其数据挖掘技术Page Rank,在短短的几年内打败所有竞争对手成为Internet上的赢家。
7 结束语
数据挖掘是当前计算机工业最热门的研究领域之一。它是一个不断发展的、综合交叉的学科。随着数据挖掘成功案例的广播,越来越多的行业采用数据挖掘技术,它将会被广泛而深入地应用于人类生活的各个领域。
参考文献:
[1] 张士玲,杨林楠,孙向前,等.浅论数据挖掘技术[J].福建电脑,2005(8):61-62.
[2] 杨雪.浅析数据挖掘技术[J].华南金融电脑,2005(8):83-85.
[3] 张倩.数据挖掘技术综述[J].甘肃科技,2005,21(7):92-93.
[4] 黄晓霞,萧蕴诗.数据挖掘应用研究及展望[J].计算机辅助工程,2001(4):23-29.
篇3
关键词:撮合;框架模型;方法算法;应用;综述;展望
1引言
Internet和信息技术的发展使得电子商务平台成为买卖双方进行商品交易和服务提供的重要虚拟场所。技术带动买家、卖家及其他实体组成了新一代电子商务组织,电子中介的撮合也成为电子商务中重要的应用之一。随着社会经济的全球化及信息技术的发展,撮合技术越来越受到重视,在多个领域得到了广泛应用,已经成为为管理学、运筹学、计算机科学及系统工程等领域备受关注的研究方向,具有重要科学意义和广阔应用前景。本文将从撮合(matchmaking)的概念发展、框架模型、方法算法等方面对撮合的研究进展及应用现状进行梳理和评述,并提出未来的研究展望。
2撮合技术研究进展
2.1概念发展研究
Wallace等认为撮合是为了婚姻目的将两个人进行配对的过程[1],他根据对会员特征的归类,并结合实验对象最后的婚姻状况报告,研究提出了如何使俱乐部在婚姻撮合行为中更为科学有效地运作。随着知识经济的出现以及撮合技术进一步在信息领域的应用,撮合逐渐成为一种借助知识共享智能系统而存在的信息供给者与消费者之间的合作伙伴关系[2]。Daniel等人认为撮合是一种基于计算机可识别信息及内容语言的自动化处理进程,该进程通过分别接收一组供给信息和需求信息作为输入,从而输出一组满足需求的k组最优供给方案的撮合队列[3]。电子商务的发展及INTERNET环境的变迁,对商务活动中交易方案的合理化、交易区间的最大化以及交易实现的高效率性提出了更高的要求。唐亮贵等提出了在INTERNET环境中基于Multi-Agent的撮合交易模型[4],该研究认为撮合交易的基本思想和目标是:资源的合理配置、优化配置以及交易区间、交易量和交易效率的优化;从而提供一个优化的交易平台,充分体现出高质量、高水平、高效率的交易服务。
普遍地,撮合被认为是一种在潜在合作伙伴和交易者之间进行商业活动的进程,它通过使有意进行经济价值交换的交易者与潜在对象获得联络并进行磋商,是一种在供给与需求之间寻找可能匹配空间的自动化过程[5]。撮合能够通过的方式对供需双方的信息进行收集、存储,通过相应撮合模型及算法的处理,使潜在的交易对象能够获得联络并进行磋商,从而产生优化的交易匹配方案。综合学者对撮合概念的研究,总结撮合的基本模式如图1所示。
2.2框架模型研究
早期的撮合模型和撮合系统主要基于计算机中介通信(Computer-Mediated Communication)的框架,如通过组织内的电子邮件系统等方式。这一时期的撮合,计算机仅被当作一种信息中介工具,由个体之间自主地进行信息交流及交易活动。被Adelman等人称作“婚姻市场中间人”(Marriage Market Intermediary,MMI)的撮合系统[6],则是使用计算机中介将媒体中的服务信息集中起来,并按照信息匹配的方法为单身男女进行婚姻撮合的。研究强调了婚姻中介决策支持的重要意义和作用,并使用了三阶段模型来解释了的撮合行为:“搜寻”(信息获取)、“配对”(可兼容对象的集中)以及“互动”(一组配对的形成或者拒绝)。随着撮合应用领域的扩展,需求的多样化和信息的高容量需求使得基于的撮合成为研究和应用所广泛认同的框架模型。除了作为一个单独的存在之外,撮合者还包含了在知识共享中间件中的结构化共享信息以及对应的撮合算法[7] 。
基于的撮合框架模型经历了从中央式结构(Centralized Architecture)到分布式结构(Decentralized/Distributed Architecture)的变迁。早期的撮合框架多采用中央式结构,使用一个服务于单个或者多个用户。这是因为,在P2P(Peer to Peer)技术尚未成熟时期,终端之间缺少有效沟通联络的方法,中央式结构因易于构建和控制、直观简单而成为撮合唯一的解决方案[8]。但在研究与应用中逐渐发现中央式结构也存在一些弊端,如难以应付过大用户量的承载问题和意外故障可能导致整个系统瘫痪崩溃的安全问题[9]。分布式结构的多撮合框架模型则能有效地解决上述问题[10],成为目前撮合系统/平台最常用的框架结构。图2可表达一般多撮合的框架模型。
现实世界中的撮合问题比较复杂,往往需要同时考虑多个维度属性的撮合。学者针对不同环境、不同对象、不同目的下的撮合问题进行研究,构建了一些有代表性的撮合框架模型。
软件的概念被扩展到消费者购买行为(Consumer Buying Behavior, CBB)这一传统市场营销模型中,为基于的电子商务市场发展起到了推动作用。该模型从六个阶段对基于的电子商务撮合系统来划分整个撮合交易行为[11]:需求确定、产品中介、供货方中介、磋商、购买及交付、服务和评价。
基于多的企业能力匹配决策支持系统依据企业能力模型构建,能够帮助企业加强或创造其匹配市场需求的企业能力。这个多系统由一组互相协作的组成,包括:需求(Request Agent,RA)、能力(Competence Agent,CA)和公共信息(Public Information Agent,PIA)。系统中的器能够成为企业能力信息的要求者和提供者,它在能力知识库中通过推理及与其他互动来生成企业能力的撮合匹配方案,在解决能力匹配问题的知识上具有优势[12]。
应对租赁住房的网络搜寻问题,Du等人构建了一个基于“溯因合取查询回答”(Abductive Conjunctive Query Answering)的撮合系统框架[13],该系统模型将租赁住房的撮合方案定义为对租房需求的“溯因合取查询回答”(Abductive Conjunctive Query Answering)。该系统分为两个部分:线下部分将从网络上搜集和存储的各类租赁住房信息集中到描述逻辑程序本体(DLP Ontology)中,包含了控制器、转换器、恢复器和封装器四个构件;线上部分则建立在一个应用“溯因合取查询回答” (Abductive Conjunctive Query Answering)的撮合器(matchmaker)之上,对用户的租赁住房需求做出回应。
面对现实世界中复杂多维度的撮合需求,Daniel等人构建了一个基于的GRAPPA(Generic Request Architecture for Passive Provider Agents)撮合匹配模型,通过计算候选对象各个维度的关联度来对可能的匹配进行优先排序。通过该模型建立的撮合“知识库”和“工具库”能够广泛地适用于各种电子商务市场中的撮合交易应用[14]。他随后的研究进一步定义了多维度撮合的概念,并实现了XML结构的EJB撮合应用,该研究定义了某些领域的不同关联函数并应用于人力资源领域。
2.3方法算法研究
在撮合框架模型下,根据撮合对象的属性对供给、需求双方按照一定的条件进行匹配的方法算法是实现撮合的重要技术方法。许多学者针对撮合的方法及算法进行了深入的研究,总体来看,撮合方法可以分成三类[15]:功能性撮合(Functional Based Matchmaking)、非功能性撮合(Non-functional Based Matchmaking)以及复合撮合方法(Hybrid Matchmaking)。
功能性撮合方法(Functional Based Matchmaking)对用户的服务或商品的功能性描述与需求信息进行过滤与处理[16],主要的方法有本体撮合(Ontology Based Matchmaking)、语义撮合(Semantic Matchmaking)、基于语义的本体撮合(Ontology Based Semantic Matchmaking)、演绎撮合(Deductive Matchmaking)和相似性撮合(Similarity Matchmaking)等。
非功能性撮合方法(Non-functional Based Matchmaking)按照服务或商品的非功能性要求进行撮合,多用于Web Service的撮合匹配问题研究与应用[16]。该方法对用户提出的非功能性要求(通常指QoS约束)过滤, 例如Web Service的可用性、可得性、完整性、性能、可靠性、可管理性和安全性等约束。常用的方法有QoS撮合(QoS Based Matchmaking)、本体QoS撮合(Ontology Based QoS Matchmaking)、语义QoS撮合(Semantic Based QoS Matchmaking)、本体语义QoS撮合(Ontology Based Semantic QoS Matchmaking)以及约束规划QoS撮合(QoS Based Matchmaking by Constraints Programming)等。
复合撮合方法(Hybrid Matchmaking)是功能性和非功能性撮合方法的联合应用[15]。一般地,撮合进程依据服务或商品的功能性需求展开,当生成的撮合方案容量较大的时候,基于非功能性撮合的结果输出能够有效较少方案数目,使撮合能够更易于找到最合适的匹配方案。两种撮合方法的联合应用,无疑能够提高撮合的效率、柔性和精度。
不同撮合问题研究中,研究主要从描述逻辑语言和算法两个角度来解决撮合中主要的技术方法问题。正如前文中所述,这二者也是撮合系统的最重要组成部分。
2.3.1描述逻辑语言研究
研究广泛地认同撮合需要将服务或商品的供需信息转化为计算机可识别的内容语言(Content Language)[7],再通过机器的学习和推理能力对既定规则和目标的对象进行撮合。许多研究通过对服务或商品基于内容和约束的信息过滤来描述其特征并确定相关性[11],在语义描述方法的研究主要有语义网(Semantic Web)技术、RDF、DAML、Larks、DAML-S、DAML-OIL、MSDL、DataLog、模糊语言方法等。
早期网络上已经存在一些寻求和发现Web Service的途径如UDII(Universal Description Discovery and Integration,通用描述、发现与集成服务)和ebXML(E-business eXtensible Markup Language,电子商务全球化标准),但这些电子商务行业中标准化描述方法的应用无法在既有服务界面来实现撮合功能[17],并且在产品和服务描述上的柔性和丰富性有所欠缺[18]。为进一步解决服务发现与服务提供的问题,许多研究通过使用语义网(Semantic Web)来应用于Web Service描述来实现信息自动处理功能[19]。
Transtour等通过对语义网技术(Semantic Web Technologies)和电子商务标准框架(Standard Frameworks for E-commerce)的对比分析研究表明,以往的描述语言技术不足以填补现有电子商务标准框架与语义网技术应用需求之间的空白。该研究以RDF(Resource Description Framework)和DAML (Darpa Agent Markup Language)这两种基于语义网的描述逻辑语言为例,进一步指出基于语义网的自动撮合和磋商技术在今后复杂的商务环境中将起到重要作用,语义网技术和工具的应用将会在其中扮演更为重要的角色[18]。
Larks是在撮合用于描述供给和需求属性要求特征的语言[20]。该语言巧妙地平衡了描述逻辑在撮合问题中同时强调的语义表达性和效率性,使撮合模型能够同时进行文本匹配和语义撮合。DMAL用于研究Web Service的发现与提供,被学者进一步发展为DMAL-S(DARPA Agent Markup Language for Services),成为一种用于描述Web Service 和Agent属性与能力的高级本体语言[21],它提供了对Web Service的功能(服务配置)、如何执行(服务模型)、以及服务如何得到(服务落地)的标准化描述,是Web Service 能力描述的重要工具。通过软件的自动化处理,DAML-OIL(DARPA Agent Markup Language Ontology Interchange Language)拥有易被人类理解的规范语义能力,用于分别描述需求方和供给方的服务和商品属性要求[22],已经成为最具表达能力的本体语言之一。
随着撮合研究和应用领域的不断延伸,不断出现了新的描述逻辑语言用于对服务和商品的信息描述。制造服务描述语言(Manufacturing Service Description Language ,MSDL)就是一种通过有向标签树的形式对制造服务进行规范描述的高级本体语言[23],它用于描述制造业供应链中供需双方制造能力的匹配相似性。语言语义不如数字表达要求精度高,在描述不确定性的语言变量更为合适[24],因此使用语词来替代数字变量的模糊语言方法也更适合处理非确定性信息的撮合问题。基于霍恩子句逻辑的Datalog(也称作Top-k-Datalog语言)是一种成熟且有用的描述语言,它能够扩展地结合模糊语言方法的使用来制定撮合规则和查询的软约束,通过相应的算法寻找出按优先顺序排列的k组配对。
2.3.2算法研究
学者对撮合的算法研究成果主要经历了文本匹配和语义匹配两个阶段。早期研究的对象较为简单,相关支持技术方法亦不够成熟,撮合考虑的属性维度较少,主要以撮合对象文本资料信息的关键字匹配相似度作为撮合依据。随着人工智能的发展和应用,机器自学习能力和自推理能力得到长足发展,一般化的产品服务描述语言能够被机器所理解并进行推理,因此语义匹配方法在描述产品服务性能、信息检索推理上大大提高了效率和精度,是现在主流应用的算法依据。
基于OWL-S描述,Paolucci等在研究Web Service能力撮合匹配问题时提出了输出最小距离算法,该算法严格判定需求输入是否规范以及服务提供方的输出是否满足需求者的输入,但在处理非确切服务匹配问题时因为灵活性不够而适用性不强[25]。TRANSTOUR算法则基于RDF对服务的描述,通过图位匹配方法比较服务供需方的描述,如果双方描述的根元素相似,则描述相似;反之,则不相似[18]。LARKS算法源于LARKS语言中对服务的四个功能参数输入、输出、约束内、约束外的分解设定,通过五个有序不同的过滤器的单独或联合使用,根据成本排序来进行服务的撮合匹配[20]。
Manaster在研究中将组合数学(combinatorics)和递归函数理论(Recursive Function Theory)首次应用到婚姻撮合问题中[26]。静态婚姻撮合算法(Stable Marriage Matching Algorithm)[27]不仅在早期的研究中可以为静态婚姻撮合问题中的每个单身对象找到最合适的配对,Choi等人还通过将服务消费者捆绑到服务提供者,采用该算法对服务的撮合匹配进行了研究。与OWL-S和LARKS等其他撮合方法不同的是,该算法还实现了网络节点中的时序安排[28],扩大了多变环境下算法对多网络节点的支持能力。
在COINS(Common INterest System)这一多推荐系统中,Leonard使用SMART撮合算法和WordNet算法来比较系统内不同用户的属性特征,实现系统内具有相似兴趣用户的互相推荐[8]。在复杂的电子商务市场撮合匹配过程中,往往难以一次性达到精确有效的撮合方案。当供给需求双方的真实意向约束无法达成一致,便得不到合适的匹配结果导致撮合失败。Michael等构建了扩展撮合成分(Extended Matchmaking Component ,EMC)算法[29],当供需双方真实约束无法匹配但双方又愿意放宽各自的约束条件时,该算法能快速有效地确定最后双方磋商的一致意向。
Noia等修正了经典的结构化归纳算法并提出了潜在排序算法(rankPotential Algorithm)[5],通过对不同撮合匹配的分类以及打分,得出不同撮合配对的优先顺序,从而完成电子商务市场上交易双方的撮合匹配过程。Gatteschi等人在研究网络招聘问题时,基于就业者知识技能及其他能力概念的属性比较,也使用了排序算法[30]对网上择业者给予了撮合匹配决策支持。
张振华等根据电子中介处理个人之间单件物品交易时的多属性匹配问题,建立了多目标匹配模型(多目标指派模型),推导了用理想点法求解该模型[31],并以二手房交易问题为例的仿真算例表明该方法有一定通用性。樊治平等通过将买卖双方的满意度语言评价信息的效率矩阵转化为二元语义形式,以买方与卖方双方满意度最大为目标构建了多目标优化模型[32]。进一步研究针对 IT服务的供给方和需求方分别给出的语言满意度评价信息,将语言评价信息转化为三角模糊数并进行多指标信息的集结运算,以供给方和需求方双方满意度最大为目标构建了服务供需双边匹配的模糊多目标优化模型[33]。
3撮合技术应用现状
如引文所述,在INTERNET电子商务环境下,基于电子中介的需求方描述所需服务和商品特征属性,供给方通过广告形式披露其服务和商品属性信息,中间则以撮合者的身份对双方需求及利益进行撮合协商,以达成最有效的交易匹配及竞争优势。如中国棉花交易市场就是较早应用了撮合交易模式建立的电子交易市场,阿里巴巴是迄今最成功应用撮合交易理念展开B2B电子商务模式的典范。某些特殊行业中,如易创化工网、中国粮食贸易网、制造商网等电子商务市场都是通过应用撮合交易创新而发展壮大的。不仅如此,撮合技术因其有效地支持网络环境下的服务和商品交易问题,在以下多个领域得到了深入研究与广泛应用。
金融领域因其产品和服务的虚拟性特征,应用了撮合交易机制来提高服务质量和效率。A-Match是一个使得商能够动态出入的用户资产管理撮合系统[34],该系统使用撮合器(matchmaker)来支持商在系统中的服务交易。IBM苏黎世研究所应用撮合机制建立了保险服务的网络虚拟市场[35],为保险服务网上提供和交易提供了便利。
IM3(Intelligent Mobile MatchMaker)[36]是一个通过移动网络与终端来为用户提供最合适的旅游资讯信息的撮合系统。该系统基于移动终端接入互联网中央服务器,通过用户需求偏好和旅游资讯的语义描述与分析,构建了同时解决偏好冲突和不完全信息的算法模型,能够有效地为用户推荐最感兴趣和最合适的旅游资讯。
与传统的工作招聘方式不同,雇主和雇员在网络上缺乏面对面直接交互信息及磋商的机会。Leonard研究了Recruit Navi这一招聘系统,针对该系统无法对招聘和求职信息进行双边匹配的问题,研究设计了一个包括“用户条件”及“企业要求”的双边匹配系统模型,建立了使用知识库的人撮合系统,来实现器的拟人化决策过程。模拟结果表明该撮合系统能够有效减少Recruit Navi的搜寻结果、提高用户使用效率、降低系统信息搜寻负载,表现了良好的应用前景[37]。Daniel等人与西门子为德国劳动力中心(German Labor Exchange Office, BfA)设计的HRNetAgent系统[14]使用网络数据库中的应聘者和职位信息,应用了GRAPPA框架下的多维度模型对人力资源招聘进行了智能撮合,系统在实验仿真和横向对比研究上都表现了很好的应用效果。类似地,e-HR撮合服务系统[38]也通过Web服务提供了一个标准的人力资源搜索平台,并通过撮合匹配反馈出最合适的职位人选。Hara等人构建了一个基于网络和的支持系统的概念模型,研究构建了一个工作撮合匹配模型,并以此开发了一个原型系统[39]。支持系统由基于的“职位撮合过程”和基于合作器的“结果推理过程”两部分组成,系统通过大型的远程工作社区来实现雇员和雇主的优势匹配与撮合。
学习网络(Learning Networks)是学生和教师通过计算机和网络中介来进行学习和互动的社区[40],实现了随时随地在学生之间以及学生与教师之间进行课程的授予与知识分享。Kester等人通过对学习网络中非对称知识共享的研究,设计了一个满足边界条件、多样性条件、问责条件的学习网络系统构架,对学习网络中的用户进行撮合和聚类。学习网络定的人能够被撮合并聚集到一起形成一个知识共享交流社区[41],使得自适应的瞬变(自组织临时)社区的发展和繁荣变得可能。相应的研究表明,数字图书馆也可以作为一个撮合支持系统[42],面向用户推荐并撮合有共同技能和兴趣爱好的对象进行交流与互动,以增进用户学习与沟通的效率。虚拟社区(Social Network Service,SNS)中社员新加入社区和后期的活动过程中,撮合系统(Matchmaking System)用于互联网虚拟社区的相互推荐,目的在于撮合匹配有相似背景和兴趣爱好的社区成员互相活动,进行信息交流和知识共享。撮合系统利用社区成员的评价来帮助社区其他成员确认他们最有兴趣、最需要的信息和产品[43]。如1994年提供线上服务的Ringo System就是一个利用协同过滤为用户推荐音乐的系统。
类似于证券股票市场的竞价撮合机制,我国电力交易市场也有具有相似的交易特征。部分研究依据撮合匹配理论方法,基于成本、效率、容量等视角,构建了电力市场撮合交易模型与机制[44, 45],并投入了实际应用,如南方区域电力市场年度月度竞价交易平台、华东区域电力市场年度月度竞价交易平台、江苏和河南等地推行的高耗能小机组向高效率大机组转让发电计划的发电权交易市场平台等。
4研究评述与展望
经历了数十年的发展,撮合技术得到了广泛地关注,已经在理论和实践上取得了一定的研究与应用成果。随着撮合技术在各个领域深化应用,现有研究已经不能完全满足当今复杂多变的社会商务环境需求,本文认为需要进一步在以下几个方面加强其研究与应用。
4.1撮合概念与理论深化
推荐系统是为解决Internet上的信息过载问题而提出的一种智能系统,它能从Internet的大量信息中向用户自动推荐出符合其兴趣偏好或需求的资源。推荐系统通过研究用户的兴趣偏好,进行个性化计算,由系统发现用户的兴趣点,从而引导用户发现自己的信息需求[46]。
如前文所述,撮合系统的问题描述及其框架模型、方法算法都与信息领域的推荐系统有一定相似之处。特别是在电子商务领域的应用研究中,推荐系统与撮合系统都采用了的框架结构,在语义描述和推荐/撮合算法上没有明显的区分和界限。笔者认为:推荐系统解决的是信息过载问题,它能够帮助用户检索有用信息,并且根据用户的偏好进行信息过滤与信息推荐,从而达到为客户提供个性化服务和提高客户忠诚度等目的;而撮合系统的目的则是促成交易的双边匹配方案,实现资源的合理配置、优化配置以及交易区间、交易量和交易效率的优化。如何认识撮合系统与推荐系统的异同,在研究与应用过程中正确将二者区分或者相结合,还有待进一步深入研究。
4.2不完全信息条件下撮合研究
现有对服务和商品撮合交易的研究中,描述问题和对象的属性、供需要求通常是比较确切的。然而在现实复杂多变的商务环境中,由于双边信息不对称、信息的模糊性等原因,需求方对多样化的服务和商品属性要求信息往往是模糊或不完备的(即模糊信息)。在针对供需信息实现最优的双边撮合匹配中,有时也面临着服务和商品属性权重信息不完全的情况。在多属性决策问题研究中,参数信息不能完全确定的决策研究已经取得一定进展,如何在信息不完全条件下的撮合问题中寻求优化的撮合匹配方案,在理论和现实需要上都是值得研究的主题。
4.3撮合模型和算法扩展
通过文献综述可以看出,现有研究成果普遍认为撮合匹配是一种基于的决策支持行为,由撮合器(matchmaker)依据双方属性信息按照一定目标进行最优化匹配。多数研究在构建撮合框架模型时,依据特定问题的服务和交易特征,较多地从系统构架和语义算法的角度来进行研究,鲜有数学模型的构建与求解。与推荐系统所强调的信息过滤与推荐算法不同的是,撮合应用在电子中介商品交易问题中通常以目标函数和约束条件的模型构建与优化为研究内容和目标,存在许多算法研究成果应用于撮合交易模型的求解。可以推断,多属性匹配模型的研究也对撮合研究的模型构建和算法求解有着重要的借鉴研究意义。
4.4基于群决策的撮合研究
现实中的撮合问题不仅发生在于单个个体之间,网络社群的盛行和商务模式的发展也使得群体之间的撮合成为必要,如群体服务、团体大客户购买等行为。与单个个体撮合问题不同的是,群体之间的撮合需要考虑群内单个成员的偏好与决策。群体之间的撮合中需要集结各个决策个体的偏好为群体偏好,再根据群体偏好和群属性、群目标进行撮合。群决策理论方法能够把不同成员的关于方案集合中各方案的偏好按某种规则集结为决策群体的一致或妥协的群体偏好序[47],从而使得一个群体能够共同进行一项联合行动决策。如何将群决策理论与方法巧妙地应用到群体撮合问题中,在理论和实践上都有研究的意义和必要性。
4.5撮合技术应用实践
虽然撮合问题的研究已经取得了一定成就,但是它在现实社会中的应用还不够广泛和深入。简单的撮合问题中,撮合对象属性维度较少、信息确切,因此在电子商务环境下证券股票、电力等交易环境中有较为成熟的应用。在具有不对称模糊信息、不完全信息、复杂信息结构等特征的撮合问题上,由于相关模型算法研究的支持不够,绝大多数应用研究仅停留在试验的系统原型或实验仿真阶段(如上文述及e-HR系统等),实际投入商业和社会应用的却不多见。今后需要在加强撮合模型算法研究的基础之上,进一步将理论研究与应用实践相结合,为社会经济发展提供管理科学决策支持。
参考文献:
[1] Wallace K M. An Experiment in Scientific Matchmaking[J]. Marriage and Family Living, 1959, 21(4): 342-348.
[2] Genesereth M R. An Agent-Based Framework for Interoperability.Software Agents[M]. MIT Press, 1997, 317-345.
[3] Veit D J,Weinhardt C,Ller J R P M. Multi-Dimensional Matchmaking for Electronic Markets[J]. Applied Artificial Intelligence, 2002, 16(9-10): 853-869.
[4] 唐亮贵,唐世国. Internet 环境中电子商务交易模型综述[J]. 重庆商学院学报, 2002(006): 85-88.
[5] Noia T D,Sciascio E D,Donini F M, et al. A System for Principled Matchmaking in an Electronic Marketplace[J]. International Journal of Electronic Commerce, 2004, 8(4): 9-37.
[6] Adelman M B,Ahuvia A C. Mediated Channels for Mate Seeking: A Solution to Involuntary Singlehood[J]. Critical Studies in Media Communication, 1991, 8(3): 273-289.
[7] Kuokka D,Harada L. Matchmaking for Information Agents[C]//International Joint Conference on Artificial Intelligence. Lawrence Erlbaum Associates LTD, 1995: 672-678.
[8] Foner L. A Multi-Agent Referral System for Matchmaking[C]//Proceedings the First International Conference on the Practical Application of Intelligent Agents and Multi-Agent Technology. 1996: 245-262.
[9] Foner L N. Yenta: A Multi-Agent, Referral-Based Matchmaking System[C]//Proceedings of the First International Conference on Autonomous Agents. ACM, 1997: 301-307.
[10] Foner L. Community Formation Via a Distributed, Privacy-Protecting Matchmaking System[J]. Community Computing and Support Systems, 1998: 359-376.
[11] Ojha A,Kumar Pradhan S K. Fuzzy Linguistic Approach to Matchmaking in E-Commerce[C]//9Th International Conference on Information Technology. IEEE, 2006: 217-220.
[12] Yu L,Biqing H,Wenhuang L, et al. Knowledge Based Decision Support System for Matchmaking of Enterprise Competence[C]//2000 Ieee International Conference on Systems, Man, and Cybernetics. IEEE, 2000: 2023-2027.
[13] Du J,Wang S,Qi G, et al. An Abductive CQA Based Matchmaking System for Finding Renting Houses[C]//Proc. of Joint International Semantic Technology Conference. 2011: 394-401.
[14] Veit D,Müller J P,Schneider M, et al. Matchmaking for Autonomous Agents in Electronic Marketplaces[C]//Proceedings of the Fifth International Conference on Autonomous Agents. ACM, 2001: 65-66.
[15] Dharanyadevi P,Dhavachelvan P,Baskaran R, et al. Qualitative Analysis on Matchmaking Techniques for Web Service Discovery[J]. International Journal of Advancements in Computing Technology, 2010, 2(2): 130-143.
[16] Kritikos K,Plexousakis D. Requirements for Qos-Based Web Service Description and Discovery[J]. IEEE Transactions on Services Computing, 2009, 2(4): 320-337.
[17] Kawamura T,Hasegawa T,Ohsuga A. Proposal of Semantics-Based Web Service Matchmaking[C]//Proceedings of the Fourth International Conference on Computational Intelligence and Multimedia Applications. IEEE Computer Society, 2001: 87.
[18] Trastour D,Bartolini C,Castillo J G. A Semantic Web Approach to Service Description for Matchmaking of Services[C]//Proceedings of the International Semantic Web Working Symposium SWWS. 2001: 447-461.
[19] Lee T B,Hendler J,Lassila O. The Semantic Web[J]. Scientific American, 2001, 284(5): 34-43.
[20] Sycara K,Widoff S,Klusch M, et al. Larks: Dynamic Matchmaking Among Heterogeneous Software Agents in Cyberspace[J]. Autonomous Agents and Multi-Agent Systems, 2002, 5(2): 173-203.
[21] Anupriya A. DAML-S: Semantic Markup for Web Services[C]//Proceedings of the International Semantic Web Working Symposium SWWS. 2002: 411-430.
[22] Tomaz R F,Labidi S. Increasing Matchmaking Semantics in Intelligent Commerce System[C]//International Conference on Web Intelligence. IEEE, 2003: 616-619.
[23] Ameri F,Dutta D. A Matchmaking Methodology for Supply Chain Deployment in Distributed Manufacturing Environments[J]. Journal of Computing and Information Science in Engineering, 2008, 8(1): 11002-11011.
[24] Chao K M,Younas M,Lo C C, et al. Fuzzy Matchmaking for Web Services[C]//19Th International Conference on Advanced Information Networking and Applications. IEEE, 2005: 721-726.
[25] Martin D,Burstein M,Hobbs J, et al. OWL-S: Semantic Markup for Web Services. W3C Member Submission. 2004, 22(2008-01-07): 2004-2007.
[26] Manaster A B,Rosenstein J G. Effective Matchmaking (Recursion Theoretic Aspects of a Theorem of Philip Hall)[J]. Proceedings of the London Mathematical Society, 1972, 3(4): 615.
[27] Gusfield D,Irving R W. The Stable Marriage Problem: Structure and Algorithms[M]. 1989.
[28] Choi K H,Lee K,Shin H, et al. Efficient Algorithm for Service Matchmaking in Ubiquitous Environments[J]. E-Commerce and Web Technologies, 2005: 258-266.
[29] Str bel M,Stolze M. A Matchmaking Component for the Discovery of Agreement and Negotiation Spaces in Electronic Markets[J]. Group Decision and Negotiation, 2002, 11(2): 165-181.
[30] Gatteschi V,Lamberti F,Sanna A, et al. A Semantic Matchmaking System for Job Recruitment[C]//Proc. Of the 10Th International Conference on Knowledge Management and Knowledge Technologies. [S.1.]: 2010: 50-59.
[31] 张振华,汪定伟. 电子中介中的多属性匹配研究[J]. 计算机工程与应用, 2005, 41(4): 9-11.
[32] 陈希,樊治平. 电子采购中具有语言评价信息的交易匹配问题研究[J]. 运筹与管理, 2009(003): 132-137.
[33] 陈希,樊治平,李玉花. IT 服务供需双边匹配的模糊多目标决策方法[J]. 管理学报, 2011, 8(7): 1097-1101.
[34] Paolucci M,Niu Z,Sycara K, et al. Matchmaking to Support Intelligent Agents for Portfolio Management[C]//Proceedings of the National Conference on Artificial Intelligence. MIT Press, 2000: 1125-1126.
[35] Field S,Hoffner Y. Vimp-a Virtual Market Place for Insurance Products[J]. Electronic Markets, 1998, 8(4): 3-7.
[36] Calì A. Im3: A System for Matchmaking in Mobile Environments[C]//Knowledge-Based Intelligent Information and Engineering Systems. Springer, 2005: 156.
[37] Barolli L,Koyama A,Cheng Z, et al. An Agent Based Matchmaking System Using Knowledge Base[C]//22nd International Conference on Distributed Computing Systems Workshops. IEEE, 2002: 142-146.
[38] Lee K K K,Chiu D K W,Hung P C K. Web-Service Based Information Integration for E-Financial Planning System Matchmaking Decision Support[C]//International Conference on Web Intelligence and Intelligent Agent Technology Workshops. [S.1.]: IEEE, 2006: 259-262.
[39] Hara H,Fujita S,Sugawara K. Agent-Based Job Matchmaking System for Teleworkers[C]//Artificial Intelligence and Soft Computing. ACTA Press, 2004.
[40] Goodyear P. Networked Learning in Higher Education Project[R]. UK: Lancaster University, 2001.
[41] Kester L,Van Rosmalen P,Sloep P, et al. Matchmaking in Learning Networks: A System to Support Knowledge Sharing[C]//Proceedings Workshop Learning Networks for Lifelong Competence Development. Sofia, Bulgaria: 2006: 93-100.
[42] Nichols D M,Twidale M B. Matchmaking and privacy in the digital library: striking the right balance[C]//Proceedings of the 4th UK/International on Electronic Library and Visual Information Research. London, UK: Aslib, 1997: 31-38.
[43] Konstan J A. Introduction to Recommender Systems: Algorithms and Evaluation[J]. Acm Transactions on Information Systems (Tois), 2004, 22(1): 1-4.
[44] 夏清,孙正运. 考虑交易成本的区域市场撮合交易模型[J]. 电网技术, 2005, 29(17): 1-4.
[45] 肖海波,韩正华,陈彤. 我国区域电力市场批发竞争运营模式探讨[J]. 华中电力, 2007, 20(1): 51-54.