数据挖掘论文范文10篇

一、数据挖掘相关概念

数据挖掘技术是近些年发展起来的一门新兴学科，它涉及到数据库和人工智能等多个领域。随着计算机技术的普及数据库产生大量数据，能够从这些大量数据中抽取出有价值信息的技术称之为数据挖掘技术。数据挖掘方法有统计学方法、关联规则挖掘、决策树方法、聚类方法等八种方法，关联规则是其中最常用的研究方法。关联规则算法是1993年由R.Atal,Inipusqi,Sqtm三人提出的Apriori算法，是指从海量数据中挖掘出有价值的能够揭示实体和数据项间某些隐藏的联系的有关知识，其中描述关联规则的两个重要概念分别是Suppor（t支持度）和Confi-dence（可信度）。只有当Support和Confidence两者都较高的关联规则才是有效的、需要进一步进行分析和应用的规则。

二、使用Weka进行关联挖掘

Weka的全名是怀卡托智能分析环境（WaikatoEnviron-mentforKnowledgeAnalysis），是一款免费的、非商业化的、基于JAVA环境下开源的机器学习以及数据挖掘软件[2]。它包含了许多数据挖掘的算法，是目前最完备的数据挖掘软件之一。Weka软件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四种模块[2]。其中Explorer是用来探索数据环境的，Experimenter是对各种实验计划进行数据测试，KnowledgeFlow和Explorer类似，但该模块通过其特殊的接口可以让使用者通过拖动的形式去创建实验方案，Simple-CLI为简单的命令行界面。以下数据挖掘任务主要用Ex-plorer模块来进行。

（一）数据预处理

数据挖掘所需要的所有数据可以由系统排序模块生成并进行下载。这里我们下载近两年的教师科研信息。为了使论文总分、学术著作总分、科研获奖总分、科研立项总分、科研总得分更有利于数据挖掘计算，在这里我们将以上得分分别确定分类属性值。

1Web数据挖掘面临的问题

目前面向Web的数据挖掘面临的问题，主要有两个方面：

1.1数据库环境的异构型

Web上的每个站点就是一个数据源，数据源之间是异构的，外加上各个站点的信息和组织的不同，Web网站就构成了一个巨大的异构数据库环境。要对这些数据进行挖掘，首先，要解决各个站点之间的异构数据集成，提供用户统一界面，从复杂的数据源中取得所需的有用的信息知识。其次，有关Web上的数据查询。

1.2数据结构的半结构化

Web上的数据比较复杂，各个站点的数据都独立设计，具有动态可变性。虽然Web上的数据形成半结构化数据。这些问题是进行Web数据挖掘所面临的最大困难。

1系统结构组成

系统采用C/S+B/S结构,主要由前端数据采集设备(位移及载荷传感器)、站点客户端、数据库及Web服务器等组成。各部分采取分布式协同处理运行方式,站点客户端利用前端采集的数据独立分析计算,分析完成后上传至数据库服务器,并通过网页服务器对外。

2系统数据

2.1系统数据结构系统采用MicrosoftSQLServer,创建了WPGUI与WPCHQ数据库来管理3万余口油井数据采集、处理及存储等,建设数据表65张(见主要数据表的关系图2),主要包括生产井的完井数据、静态数据、动态数据、采集数据、原油物性数据、机杆管泵等技术数据,同时系统保存了油井近两年功图电参数据(每天每口井到少100张),以及根据这些数据分析计算出来的结果和汇总生成的数据。

3数据挖掘应用

数据挖掘是从大量数据集中发现可行信息的过程,是统计分析技术、数据库技术及人工智能技术的综合。面对油井工况实时分析及功图计产系统大量的油井生产完备数据,长庆油田充分利用数据挖掘技术,对数据进一步清理、集成、转换、挖掘应用,深化功图系统数据分析,先后开展了动液面计算,系统效率在线实时监测、区块动态分析研究等,并应用于油田现场,取得了较好的效果,既节约了生产成本,又方便了现场管理应用,进一步提升系统在长庆油田数字化前端的核心地位。

一、专利数据挖掘

数据挖掘技术是延伸和扩展了传统分析方法,可以发现传统分析方法不能发现的内容和规律,并且它将人们从单调、枯燥的阅读专利文献的工作中解放出来,使用计算机代替了人类劳动,这样不仅提高了效率,而且提升了准确度。因此,数据挖掘作为一个专利分析的强有力工具被引入到专利分析中来,并且得到快速的发展应用。专利数据挖掘流程应考虑的问题：一是用数据挖掘解决什么样的问题；二是为进行数据挖掘所做的数据准备；三是数据挖掘的各种分析算法。故专利数据挖掘的一般过程通常按照以下步骤来完成：领会数据挖掘的目的，获取分析所用的数据集合，探索、清理和预处理数据，选择要使用的数据挖掘技术，使用算法解决问题，解释算法的结果。而其一般流程可简化为三个阶段：数据准备→数据挖掘→结果解释和评价。本文采用简化的流程进行实证分析。

二、石家庄地区制药企业专利数据挖掘

本文对石家庄地区制药企业的专利数据进行挖掘分析，挖掘对象是华北制药集团公司、石家庄制药集团有限公司、石家庄神威药业股份有限公司、石家庄四药股份、河北以岭药业股份有限公司、石家庄市华曙制药集团、河北医科大学制药厂、河北圣雪大成制药有限责任公司等地址在石家庄且具有一定代表性的药企，希望通过这些药企数据能够找到石家庄地区制药领域的核心组成，并能为药企更好地发展提供有力的信息支持。IPC号是目前权威的专利技术主题的标识编码之一,基本包含了各行各业的专利信息，是一个庞大的专利信息体系。目前国内外很多分析方法及技术大部分是基于专利的IPC分类号来分析专利技术主题的,此分析方法有一定的参考价值和科学性,而且对于具有大量专利信息的分析具有很好的总结概括效果。本文以专利全部IPC号为分析对象,并且构建IPC号之间的关联规则,在最大程度上揭示隐含的专利技术关联性，从而为石家庄地区制药企业专利技术的发展提供参考。

1.数据准备。数据来源的准确与否是数据分析与挖掘的基础，是数据分析与挖掘的根本。本文所使用的石家庄地区制药领域专利数据由万方数据公司提供，以制药企业地址为石家庄为检索条件，搜索出了包括从1985—2014年间石家庄地区制药领域专利644条,分别分布在A、B、C、D、E、F、G、H八个大部。对专利数据库中的644条专利进行筛选，根据“分类号”字段限制，它涉及专利信息的分类,有些IPC所涉及的范围与石家庄地区制药领域没有联系或联系很小,不宜保留。根据“申请人（专利权人）”字段的限制,剔除与石家庄地区制药不相关或制药企业地址不在石家庄地区的专利。最后筛选出590条最符合该领域特点的专利。由于IPC号在几乎所有现存数据库中均是以一个字段存储一个专利的所有IPC分类号的，形如:A61K38/26、A61K9/08、A61K47/12、A61P3/10，且每个专利一般都有好几个分类号，而每个企业又研究大量的专利，所以在进行专利分析之前,需要对专利IPC号进行数据整理。由于过于细致的IPC分类号并不利于专利主题的分析与揭示,所以本文中采用专利小类分析,就是取IPC号的前4位。并将申请人与其对应的多条IPC号进行拆分,拆分后的数据项有773条，即显示每个申请人对应的一条IPC分类号。

2.数据挖掘。本文数据挖掘过程将采用Excel和SQLsever2005软件，首先对所得到的数据导入SQLserver2005进行挖掘，利用SQLserver2005可以直接进行IPC号的关联规则挖掘，然后对专利信息进行分析。

1研究背景

目前现有的针对烟草营销策略的研究，多采用数据挖掘的思想，基于数据挖掘的营销策略是对终端客户进行分类，根据用户的销量和诚信记录把用户分为多个等级，但这种分级策略只能反应用户的销量信息，把这个分类作为营销策略依据太单薄，只能起一定的辅助作用。更深入地研究是根据客户的资料和历史订单数据对现有商户进行聚类，获取到自主的商户分类，但盲目的聚类会导致商户的分类没有实际意义，或获取的结果是无助于营销目的的。

2技术关键

本系统采用基于营销目的的商户聚类，技术关键包括三部分内容：数据预处理中的特征选择、基于限制目标的商户精确聚类和基于聚类结果的多层关联规则算法的研究。

2.1特征选择

假定获取的数据的维数为n，通常情况下n是很大的一个数，为简化模型，也为了防止模型陷入过拟合（维数灾难），需要进行降维处理，即仅把对项目改造判定起关键作用的因素挑选出来。本系统采用PCA算法来进行降维处理，过程如下：

1相关技术

关联规则最初是针对购物篮分析问题提出的，目的是发现事务数据库（TransactionDatabase）中不同商品之间的联系。关联规则是形如A=》B的蕴涵式，其中A称为该关联规则的前项，B称为该关联规则的后项。事务，是一个明确定义的商业行为，如顾客在商店购物就是一次典型的事务。由用户设定的支持度和置信度的门槛值，当sup－port(A=>B)、confidence(A=>B)分别大于等于各自的门槛值时，认为A=>B是有趣的，此两值称为最小支持度(minsupport)和最小置信度(minconfidence)。同时满足minsupport和minconfidence的这种关联规则就叫做强的关联规则。设任务相关的数据D是数据库事物的集合，当项集的支持计数≥D中事务总数|D|与minsup－port的乘积时，就叫做频繁项集，当项集的支持计数可能≥D中事务总数|D|与minsupport的乘积时，就叫做侯选项集。所有侯选项集K-项集的集合记作Ck，所有频繁项集K-项集的集合常记作Lk，很明显Lk奂Ck。如果仅依赖最小支持度和最小置信度这两个参数的限制，所挖掘出的强关联规则不一定是用户感兴趣的，因此，用户可以根据实际应用的需求，再结合自身的领域知识，通过选择与实际分析任务有关的数据集，设置不同的参数，限定前项和后项的个数，选择前项和后项包含的属性等操作，对关联规则的挖掘进行约束。

2模糊集理论的引入

在讨论实际问题的时候，需要判定模糊概念涵义，如判断某个数据在模糊集的定义和归属，这时就需要普通集合与模糊集合可依某种法则相互转换。模糊理论中的截集是模糊集合和普通集合之间相互转换的一座桥梁。

3基于事务间数值型关联规则的数据挖掘算法

假设有一就业数据库，先通过数据整理，将原始数据记录值区间［0，10］偏置10个单位。由此就得到了经过偏置后的数据库记录。再依滑动窗口方法，设maxspan=1(该值可以依实际情况的需要来定),就可将偏置后的数据库数据整理转化为扩展事务数据库。再把扩展事务数据库记录通过隶属度函数转化为对应的隶属度。

[摘要]本文主要介绍了数据挖掘的基本概念，以及数据挖掘的方法。

[关键词]数据挖掘数据挖掘方法

随着信息技术迅速发展，数据库的规模不断扩大，产生了大量的数据。但大量的数据往往无法辨别隐藏在其中的能对决策提供支持的信息，而传统的查询、报表工具无法满足挖掘这些信息的需求。因此，需要一种新的数据分析技术处理大量数据，并从中抽取有价值的潜在知识，数据挖掘（DataMining）技术由此应运而生。

一、数据挖掘的定义

数据挖掘是指从数据集合中自动抽取隐藏在数据中的那些有用信息的非平凡过程，这些信息的表现形式为：规则、概念、规律及模式等。它可帮助决策者分析历史数据及当前数据，并从中发现隐藏的关系和模式，进而预测未来可能发生的行为。数据挖掘的过程也叫知识发现的过程。

二、数据挖掘的方法

1垃圾短信治理面临的调整

目前的垃圾短信过滤的方法主要有黑名单和白名单监控技术，但是短信中心对黑白名单处理数量有上限要求；基于关键字的过滤技术，但是这种技术不能灵活识别和更新关键字；基于内容的过滤技术，可分为基于规则的过滤和基于概率统计的过滤；基于数据挖掘方法的垃圾短信用户识别，目前基本上都使用IBMSPSSModeler平台的决策树和逻辑回归经典算法识别垃圾短信用户，由于选取的建模数据不全面以及算法本身各自存在不足使得建模效果受到影响。为建立白名单和科学封堵模型相结合的垃圾短信治理模式，实现精细化、行为级、高效性的垃圾短信治理，本方案提出了基于客户综合特征分析的垃圾短信治理技术方案：基于随机森林分类的垃圾短信用户预测模型。通过客户入网属性，客户通信行为信息、客户账单信息等多个维度构建模型，对垃圾短信号码进行识别和治理。相比传统基于短信内容识别、发送量控制的事中控制，本系统能够进行垃圾短信发送行为预测，配合垃圾短信拦截系统将垃圾短信在未形成大规模发送前拦截。实验结果证明该模型能够有效的识别垃圾短信号码，对监控系统拦截垃圾短信起到很好的辅助作用。

2大数据挖掘的原理与优势

大数据是指数据量很大（一般是TB到PB数量级）的巨量资料，无法通过主流软件工具，在合理时间内完成数据处理并获取有价值的信息。数据大多以非结构化或者半结构化数据为主，大数据具有4V特点：Volume、Velocity、Variety、Veracity。大数据处理的一般思路是数据压缩、数据抽样、数据挖掘等。数据挖掘是一种新的信息处理技术，其主要特点是对商业数据库中的大量业务数据进行抽取、转换、分析和其它模型化处理，从中提取辅助商业决策的关键性数据。利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、推荐系统等，它们分别从不同的角度对数据进行挖掘。大数据挖据的数据源和处理方式对比。

3数据挖据流程和模型选取

3.1数据挖掘的主要流程

1数据挖掘技术在针灸研究中的应用

1.1经穴效应特异性规律研究

主要采用关联规则与频次分析相结合的数据挖掘方法，关联规则旨在提示处方中存在的两个或两个以上腧穴之间的配伍形式，频次分析能够提供针灸治疗某一疾病选用的腧穴及其频繁程度。罗玲等在全面采集古代针灸治疗中风文献基础上，重点进行了选穴的经络症状关联分析，发现针刺治疗中风半身不遂使用腧穴频次最多的为曲池、肩等手阳明经穴；肩、曲池、足三里、百会、风池配伍是最常用处方；多选用足少阳经和手足阳明经穴位。针刺治疗中风不省人事使用腧穴频次最多的为督脉百会穴、心包经中冲穴；风池、百会、曲池配伍或大椎、百会、风池配伍是最常用处方；经脉多选用督脉和足少阳、手阳明等阳经穴位。以上表明针灸治疗中风遵循了辨证循经取穴的处方规律。何冬凤等在全面采集现代针灸治疗心绞痛临床文献基础上，重点进行了选穴的经络部位关联分析。结果发现，心绞痛选穴分布在心包经、膀胱经、任脉、心经最多；选穴主要分布在上肢部、背部、胸部，上肢部用穴中近90％分布于心包经和心经，背部用穴近95％分布于膀胱经，胸部用穴全分布于任脉和心经。以上表明针灸治疗心绞痛遵循了辨位循经取穴的处方规律。数据挖掘结果证实了古代、现代取穴规律和特点与针灸临床理论的一般规律和特点是基本相符的。经络辨证提示了经穴效应的循经性，特定穴的选用提示了经气会聚状态是腧穴发挥效应特异性的关键。

1.2腧穴运用规律的研究

1）神经系统疾病：赵凌等收录了从先秦至清末的偏头痛针灸专著，采用多层关联规则挖掘算法，计算腧穴项集的支持度和置信度，发现手足少阳经脉的穴位丝竹空、风池、率谷、颔厌、头临泣出现频次最高，偏头痛处方配伍中以合谷一风池出现的频次最高，少阳经的交会穴选用最多。杨洁等发现针灸治疗贝尔面瘫中，手足阳明经穴选用最多，重视局部穴位，配合远端选穴，地仓穴为使用频次最多经穴，交会穴、五输穴、下合穴等特定穴运用广泛。吴粮葶等挖掘针灸治疗中风后遗症的现代文献，表明针灸治疗中风后遗症选穴以循经为基础，首选阳经腧穴，分布主要在四肢，阳明经与少阳经的配伍关系最为常用，特定穴为选穴的主体，特别重视交会穴及肘膝关节以下的特定穴。李旗等挖掘出针刺治疗格林巴利综合征所选腧穴以足三里、合谷、曲池、阳陵泉、外关、三阴交使用频率最高，经络则以手足阳明经最为常用。CongMen等以不同针刺手法刺激小鼠足三里，构筑神经元混沌放电的复杂网络来刻画神经元放电时间序列的时变特性。

2）消化系统疾病：任玉兰等通过多维、多层的关联规则分析针刺治疗功能性消化不良的古文献，发现足三里、中脘、脾俞、胃俞、内关是治疗FD最常用的主要腧穴，足三里与中脘相配是最主要穴位组配方式；取穴以循经为基础，主要集中在任脉、膀胱经、脾胃经上；所选腧穴以特定穴为主体，遵循局部与远端取穴相结合原则。张勇等以古文献中治疗鼓胀的经穴为原始数据，运用频数统计及关联规则算法，统计出古代治疗鼓胀最常用经穴为足三里、水分、气海等，通过2次priori关联结果，最终确认组穴1（复溜，中风）和组穴2（复溜，脾俞）在临床应用中具有强关联性。郑华斌等发现在治疗肠易激综合征中，特定穴的使用广泛，其中以足三里为最，其次为天枢、上巨虚、中脘等，脏腑辨证取穴为针刺治疗肠易激综合征的重要原则，以足阳明胃经的足三里和天枢为主。

摘要：我国移动网络信息技术发展较快处于世界前沿，但由于其复杂的内容与庞大的数据量，在使用过程中难免发生一定的错误与不足。因此，移动通信商对其必须做出调整优化工作，以期带来更好的服务。数据挖掘技术就是帮助移动通信商调整4G网络使用的重要技术方法。通过本文的分析，希望对我国网络供应商给予帮助，使其优化我国的移动通信网络。

关键词：4G环境；移动通信；网络优化；数据挖掘

随着我国的移动信息力量不断发展，目前社会已进入了4G的通讯时代。4G环境下，移动通信网络实现了实时的更新与扩大，同时人们对于移动网络的使用要求也越来越高。如果不及时对移动通信网络进行更新优化，4G网络将无法发挥力量，进一步为社会与人们服务。因此，为深化4G网络的使用，必须对其数据进行深度挖掘与分析，从而找寻更好使其为人们服务的途径与方法。

1关于数据挖掘技术的问题分析

1.1数据挖掘的概念。数据挖掘技术是目前我国一类新兴的互联网科技技术，其运用基于目前的大数据时代形势下。数据挖掘的实质是对巨大的信息量，通过后台的整合处理，找寻具有一定规律的数据并对其深入分析，找寻各组数据之间的联系，对后续可能潜在产生的数据进行预测。因此，数据挖掘在目前信息量庞大的现代网络社会而言，具有找寻各组数据的关联性，发现人们潜在需求的重要作用，是进一步优化4G网络通讯与使用的重要依据。1.2数据挖掘的分析方法。数据挖掘的方法较多，通常情况下使用以下三类方法进行具体的挖掘工作。首先，分类分析法是最常用的一类数据挖掘方法。该方法需要技术人员对所有的数据进行初步筛选，并依据其特点做好标记的工作。在第一次筛选工作完成后，对其进行先前以标记分类的数据进行二次筛选，根据其特点再一次筛选。重复筛选的工作直至得到符合技术人员需求的规模后，在对其同类型的数据进行定点分析，找寻其规律后根据其特性对4G网络进行优化工作。其次，通常使用关联分析法进行数据挖掘的工作。所谓关联分析法，是指对人们使用4G网络的情况排查，分析其使用某数据时与其关联的数据，找寻二者的规律与相似处，并以此为依据对4G网络的使用进行进一步优化调整。关联分析法的优势是更贴合人们的需求，能够基于人性化的基础上对4G网络进行调整。最后，序列分析法也是常用的数据挖掘方法。其原理类似于分类分析法，但其采用的方法是先由技术人员对所有需要分析的数据进行采集编号，然后由计算机对其数据根据序列的不同进行分析工作。相较于分类分析法，尽管其人性化程度较低，但其分析的速度是常用的数据分析法中速度最快的。因此，技术人员同时使用序列分析法对数据进行第一次筛选与分析的工作后，根据情况具体使用分类分析法或关联分析法进行具体的筛选工作。

24G移动通信网络的特点分析