大数据库建设方案范文

导语：如何才能写好一篇大数据库建设方案，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

【关键字】 互联网 大数据 系统建设一、背景

随着互联网、移动互联网、数码设备、物联网等技术的发展，全球数据生产正在高速增长，信息已成为企业的战略资产，企业越来越需要长期保存各种数据，以进行用户行为分析、市场研究等，服务企业发展。目前，“去管道化”成为电信运营商提得最多和思考最多的问题，业内认为大数据是运营商“去管道化”最有可能的实现形式之一，运营商发展大数据具有其他行业无可比拟的优势，主要体现在：运营商掌握数据充分全面；通信网络数据提供的可持续性；运营商对数据可以有效利用。

在此背景下，本文将对电信运营商大数据应用系统建设方案进行探讨，为省级电信运营商部署大数据平台提供借鉴。

二、大数据应用系统功能架构

大数据系统目标架构，主要由五大核心平台构成，如下图所示：

采集分发平台：解决异构数据源之间数据交互，满足各种数据源之间数据统一采集和统一数据分发，提升数据实时和准实时海量数据采集分发能力；

实时分析平台：实现实时宽表数据整合，提供实时报表，提供统一实时查询；

离线分析平台：Hadoop平台解决海量结构化数据和非结构化数据快速批处理效率、海量数据存储能力；传统ODS、EDW、数据集市采用MySQL平台；

大数据运营监控平台：解决大数据运营监控，调度，开发，运营维护问题处理和运营分析平台；

大数据数据服务平台：满足快速对外提供统一数据服务共享平台。

三、大数据应用系统数据库建设

对于大数据平台数据库，建议采用传统关系型数据库+Hadoop的混搭方式进行建设，主要基于以下考虑：1、对于传统结构化业务数据，采用关系型数据库已非常成熟，新建平台延续采用关系型数据库处理传统数据，避免大量改动。2、对于非结构化数据，则采用Hadopp架构进行处理，解决以下问题：海量数据储存成本高；数据批量处理能力不足；计算和存储扩展能力受限；流式数据处理能力缺失；缺乏非结构化数据的处理能力。

四、大数据应用系统数据采集方案

电信运营商大数据平台数据主要来源为两种：来自IT系统的结构化数据和来自网络的非结构化数据。

4.1结构化数据采集

数据来源主要包括来自CRM系统的客户/用户资料、产品/销售品、产品订购、业务办理等，来自计费系统的账单、详单、余额、缴费、欠费等，来自结算系统的结算清单、过往记录等，来自客服系统的咨询投诉、外呼等，来自网厅的电子订购、业务办理、电子渠道咨询/投诉等，来自ITV的点播记录、节目库等，来自增值业务平台的订购与退订等。

对于上述结构化数据，目前主要通过ODS系统进行采集，大数据平台直接与ODS系统做接口即可获得，不需直接从系统采集，大大提升了数据采集的效率。

4.2非结构化数据采集

非结构化数据视图如下图所示：

1）固网DPI部署方案

以某电信省公司为例，其 IP城域网覆盖所有地州，2015年底预计达到3000G出口链路，其中省会城域网出口1200G。

现网在IP城域网出口部署一套DPI系统，具备280G带宽的监控能力（上下行），主要功能模块为多终端私接监控、 全协议分析。存在问题如下：覆盖能力不足：覆盖城域网规模9%，不具备对单地市出口的完整监控能力。功能缺乏：无法实现终端识别、网站识别、应用识别等功能。

本期可采用如下方案：

方案一：全覆盖部署

在城域网出口部署，实现全覆盖，共3000G。

方案二：两地州及省会两区县轮询方式部署

地州轮询：采集设备部署位置为163骨干机房，容量配置为同时覆盖两个地州共620G。

省会区县轮询：采集设备部署位置为省会CR机房，容量配置为同时覆盖两个县区共680G。

方案三：一地州及省会一区县轮询方式部署

地州轮询：采集设备部署位置为163骨干机房，容量配置为同时覆盖一个地州共310G。

省会区县轮询：采集设备部署位置为省会CR机房，容量配置为同时覆盖一个县区340G。

轮询方式说明：建议轮询周期不短于一个月，以免频繁轮询影响大数据分析系统的数据可用性和精准度。

以上三种方案主要区别在于覆盖范围，以及相应的投资，在投资充分的情况下，建议采用方案一，对城域网出口进行全覆盖部署，在投资紧张的情况下，建议采用方案三，对一地州及省会一区县通过轮询方式部署，后期根据投资情况再逐步扩大覆盖范围。

2）分组域DPI部署方案

新建分组域DPI，分为采集部分和处理部分，对3G、4G、AAA等数据进行采集，通过DPI解析后的数据，同步给大数据平台及其他相关平台使用。

3）七号信令监测系统改造方案

改造现有七号信令监测系统，提供对手机的信令采集，通过A口提供以下数据：所有采集区域内手机主叫的数据；所有采集区域内不处于关机或者占线的手机被呼的数据（不包含占线、关机被呼的数据，信令中不包含此数据）；所有采集区域内手机的短信数据；所有采集区域内手机的位置更新数据。

篇2

1.1 公有云平台技术背景

从部署方式来看，云计算一般分为公有云、私有云和混合云三大类。其中公有云是指运营者建设用以提供给外部非特定用户的公共云服务平台；私有云平台仅为单一客户提供服务，其数据中心软硬件的所有权为客户所有，能够根据客户的特定需求在设备采购、数据中心构建方面做定制，并满足在合规性方面的要求。

1.2 国内发展趋势

包括中央电教馆在内的国内各大政府机构和省级政府，都在致力或倾向于将大型应用类业务向社会公有云/混合云转移。谋求更高效率、更低成本、更及时服务和更安全环境的云平台托管，是当今信息化系统服务的发展趋势。寻求广泛的服务托管、安全托管和运维托管是大势所趋。

1.3 天津市教育数据资源中心的现状

经过“十一五”、“十二五”两期建设，随着信息中心工作的不断发展，当前数据中心的数据量比“十一五”翻了两番，运维工作量更是翻了数番，这对数据中心运维人员的安全运维能力也提出了前所未有的高要求。目前，中心机房和工大机房的承载能力已接近饱和，结合国际和国内信息化的发展趋势看，未来单靠单个IDC数据中心已经难以满足未来天津市教育信息化发展需求。参照中央电教馆等云平台系统运维模式，我市教育信息化的发展迫切需要社会上有实力的企业建设的混合云解决方案，需要更加专业的团队，协助完成“十三五”各类海量资源类系统的承载工作，进一步助力我市教育系信息化工作上一个新台阶。

2 项目目标及分项需求

2.1 项目建设目标

本方案拟建设如下混合云模式：即由天津市教委教育信息化管理中心IDC机房构建未来各类系统的核心数据库、统一身份认证平台和数据分析和统计平台，由公有云企业提供公有云业务承载空间，负责提供海量视频和图片文件优化存储、对外、信息安全和数据灾备服务。公有云服务提供商需提供不少于三个异地灾难备份数据中心，提供24小时不间断同步和异步灾备服务。

2.2 云平台服务需求

云平台提供方应该参照本需求，提供整体的云平台解决方案，包含云主机、关系型数据库、非关系型数据库、简单缓存服务、负载均衡、内容分发网络、对象存储、大数据平台服务、多媒体平台服务、云安全服务、带宽等方面。

相关术语如下解释：

云主机：是一种简单高效、安全可靠、处理能力可弹性伸缩的计算服务。用户无需提前购买硬件，即可迅速创建或释放任意多台云服务器，有效降低IT成 本，提升运维效率，为用户快速构建稳定可靠的应用，降低网络规模计算的难度，使用户更专注于核心业务创新

非关系型数据库：数据库中的非关系型数据库，通常情况下指支持NoSQL的数据库服务或者云数据库，提供高效、实时、稳定的数据检索服务。

大数据平台服务：通过对数据收集、存储、变形、分析等过程，结合公有云分布式并行计算集群、机器学习集群、数据仓库联机分析集群实现数据智能推荐、应用定制开发、在线报表等需求。

3 项目建设技术路线及实现手段

3.1 公有云平台技术路线及实现

公有云厂商核心基础架构需具备10年以上的技术积累，需有上万名国内顶尖技术专家，并具有多款国内领先互联网产品的经验。公有云厂商需在数据中心技术，网络技术，安全技术，分布式存储技术，大数据处理能力方面有丰富的经验，形成了领先的技术能力和平台。

3.2 上线安检服务技术路线及实现

根据上线安检服务需求内容，制定内容检查清单，逐一进行核对和检查，确保系统正常上线。

3.3 多网络带宽服务、CDN服务技术路线及实现

当用户访问天津教委云平台时，浏览器将DNS域名解析请求发至本地DNS，本地DNS如果有缓存结果就直接返回IP，否则解析请求最终会到达CDNDNS服务器，它会根据本地DNS IP返回一个离用户最近的CDN边缘节点的IP给用户。

4 项目部署与实施

项目建设、系统部署和实施的具体时间安排如表1。

5 验收指标

验收的内容包括以下几个部分：

（1）验收内容一般包括软件验收（按功能要求的可执行软件、开发计划文档、 详细设计文档、质量保证计划、设备相应附件、设备运行、网络运行等）；

（2）验收评测工作主要包括：文档分析、方案制定、现场测试、问题单提交、测试报告；

（3）验收测试内容主要包括：功能度、安全可靠性、易用性、可扩充性、兼容性、效率、资源占用率、用户文档；

篇3

图书馆不但为居民提供知识内容，也为科研单位提供数据服务，特别是在大数据时代背景下，图书馆的现代化建设进程更加凸显。因此在大数据环境下如何管理和完善图书馆相关服务内容就成为图书馆建设的重中之重。

一、大数据背景下的图书馆科研数据服务管理

图书馆可以为社会科研领域提供丰富充足且多元化的科研数据内容，因此图书馆必须合理利用大数据技术来优化数据服务内容管理过程。对科研用户数据的采集管理，具体来讲包括以下四点内容。

首先，图书馆应该为科研用户专门建设数据平台，保证其中数据的通用性与可利用性。基于这一点，图书馆在科研用户数据的采集管理方面应该做到开发设计开源软件，例如Dspace、Eprints等等。利用这些软件功能来搭建数据平台，保证数据在平台内实现通用、共享并被再利用，为图书馆管理工作节约成本开支。在平台上，科研用户可以基于平台所提供的快捷搜索引擎来搜寻自己所需要的数据，并将数据上传到平台加以利用。

其次，要强化用户需求引导管理工作，例如主动面向科研人员展示图书馆已有的大数据服务项目及服务内容，以构建科研人员数据服务的针对指向性，方便他们下一次来查阅资料，建立科研数据服务专栏。再者，如此管理也能树立图书馆的精确性定位服务能力，并提高?D书馆对外服务的管理效率。

第三，要强化数据管理工作。图书馆大数据技术下的资料信息数据具有生命周期性，所以对它们的管理一定要首先明确其所处生命周期阶段，然后根据不同阶段来实施不同的管理措施。为此，图书馆应该建立有针对性的数据管理指南服务项目，并利用数据管理工具来对原数据进行数据组织和安全备份，确保数据随时可用。

最后，要实现嵌入式数据服务管理过程。如果图书馆为科研人员提供传统的片段式数据服务，很可能导致服务过程准确度的下降，还有可能出现服务内容重合问题。所以图书馆应该改变数据服务管理模式，将传统的数据服务管理从片段式转变为嵌入式，以保证为用户提供可以持续跟踪的嵌入式数据服务内容，满足用户随时随地的数据应用需求。甚至图书馆也可以和科研用户联手深入到科研项目课题研究过程当中，利用图书馆储备大数据内容来解决问题，提高图书馆与科研人员之间的合作默契程度[1]。

二、大数据背景下的图书馆大数据平台建设管理

大数据背景下图书馆的大数据平台建设管理主要要基于以下3点步骤来展开：

第一步要为图书馆构建数据物理存储平台，基于大数据技术将数据流通分类，这样操作主要是因为图书馆中待处理数据总量与种类繁多，所以如果采用统一标准的存储方案可能会存在一定技术困难。按照用户实际需要而定向匹配的数据存储方案能够为图书馆更快搭建数据物理存储平台，明确管理内容，为图书馆大数据平台快速发展奠定基础。

第二步要强调数据采集平台有效构建，解决传统中图书馆盲目采集数据所造成的资源浪费问题，同时减轻图书馆服务器运行负担。具体来讲，数据采集管理工作要首先基于用户方面所提交的需求性信息进行分类分析，并找到其相对应的数据源，根据数据源来制定数据处理方案；其次要基于相关数据进行有效抽取和提炼；再次要对所采集到数据进行数据变换，将其转换为用户可理解的简易方式，同时明确数据采集平台工作层次，进而大幅度提高图书馆的大数据服务管理效率[2]。

第三步要构建数据组织平台，它也是当前图书馆大数据管理工作中的重要环节。例如针对图书馆的数据编排、维护与更新工作都要依赖于数据组织平台。就目前大数据技术发展形势来看，像非关系型数据库NoSQL、关系数据库RDBMS等都能满足对图书馆信息数据的行列组织，它基本符合图书馆的传统书目排布策略，能保持图书馆数据管理的一致性和针对性。比如说在NoSQL数据库运营模式下，就能对图书馆相应数据进行按列存放管理，缩短用户的数据搜索时间，同时解决服务系统中可能存在的快速响应问题，提高用户需求的系统回馈效率[3]。

篇4

关键词 教育大数据 个性化学习 学习路径

教育部2015年工作要点中提出：将进一步推进《教育信息化十年发展规划》中的“三通两平台”建设与应用，力争实现学校互联网全覆盖[1]。教育信息化的推进以及教育基础设施的建设，为大数据技术在教育领域的应用奠定了良好的基础。

大数据技术正在对社会生产生活产生深刻的影响，过去无法收集和分析的数据被大数据技术赋予了新的可能性，其中关于人们行为和喜好的数据挖掘，使大数据成为了教育变革与创新的重要推动力。传统的教育决策通常建立在个人教学经验和简单的数据分析基础之上，无法提供给每个学生最有效的教学方式。而大数据技术对海量教育数据的留存和深度挖掘，能帮助教师更深入地了解学生知识的掌握情况以及学习偏好，有助于教育机构和教育工作者弥补或改变现行教育中的不足，将推动传统以“教师为中心”的教学方式向以“学生为中心”教学方式的转变，真正做到以人为本、因材施教。

一、教育大数据的概念和特征

教育大数据作为大数据在教育领域中的应用，至今国内外还没有教育机构给出明确且统一的定义。教育大数据可以被理解为所涉及的教育数据规模巨大且种类繁多，以至于传统的处理工具无法进行有效的撷取和处理的教育数据集。教育大数据主要有以下几个特征。

1.海量性

麦肯锡对大数据的定义是指那些规模大到传统的数据库软件工具无法进行采集、存储和分析的数据集[2]。因此，数据量大也是教育大数据的首要特征。随着信息化的发展，大部分学校都采用先进的信息管理系统进行教学管理，教学管理与教学资源的全面整合会产生和记录大量的教学信息。另外，越来越多的学习行为在网络上发生，也导致在线学习平台所生成的教育数据量呈爆发性增长的趋势。

2.多样性

德勤公司专家罗伯特指出：“规模并不是常规数据和大数据之间最主要的区别，大数据的重要属性应该是复杂性和多样性。”[3]传统的教育数据具有明显的结构化特征，但随着教学手段和教学工具的飞速发展，教育数据的品种不断增加，数据结构变得更加复杂，形成了多样且异质的教育大数据，如教学视频、音频、日志、邮件等，这些非结构化的数据背后隐藏着大量的信息，比如学生的学习态度、能力和偏好。大数据时代的教育工作者要学会利用和分析这些不同类型的教育数据，以还原学生学习情况的完整性和真实性。

3.动态性

传统的教育数据更专注于静态记录学生的考试成绩，而教育大数据有能力跟踪和掌握学生的学习动态，比如学生注意力集中时间、回答问题次数等。这些数据是动态且高速变化的，教师不仅可以根据实时的教学数据监测，动态地评价学生的学习成绩和学习效果；还可以根据变化的学习数据随时调整教学方案。斯坦福大学吴恩达教授跟踪学生观看视频讲座的行为发现：如果学生中途点击了关闭或快播键，暗示了讲座内容晦涩难懂或学生不感兴趣，教师可以据此对视频内容进行调整，以期通过改善教学内容来提高学生的理解力和兴趣度[4]。

4.价值性

维克托在《大数据时代》中指出：“大数据时代最重要的是从大数据中挖掘价值。”[5]目前学校所产生的教学数据都是由很多学生行为片段组成且处于分散状态，需要使用大数据技术对这些数据进行整合和利用，通过对这些被锁在“数据孤岛”上的海量数据进行处理，获得具有重大价值的学生行为分析结果，并利用它们为改善学生的成绩提供个性化的服务。教育大数据对学生、家长和教师都具有很高的价值，它可以帮助学生提高学习成绩、帮助家长理解学生的学习行为、帮助教师改进教学方案，以确保每个学生获得有效且高效的定制教育。

5.真实性

教育大数据注重提高数据分析的真实性和可靠性，传统的教育数据由于学校为了排名、教师为了业绩等原因可能被修改或粉饰，这样得到的不真实数据就失去了对学生学习情况判断的准确性。而教育大数据由于基数巨大，不是凭借某一个数据对学生进行评价，而是依靠海量的全息数据对学生进行整体评定，即使某些被修改过的错误信息存在，也不会影响对学生的最终评价结果。

二、基于教育大数据的个性化学习模式构建

个性化的学习模式强调“一个尺寸适合一个人”的教学方式，通过大数据技术来实现个性化教学，使知识的传授能够适应特定的教学环境、学习偏好和学生能力。个性化学习模式由以下几个部分组成。

1.学生学习数据库

个性化学习模式强调“大数据驱动”，由学习数据库记录和存储大量实时、可靠的学生学习行为数据，例如学习路径、日志、讨论、作业等。大数据技术的优势就体现在可以对各种非结构化的数据进行采集和存储，课堂教学、在线学习、辅助教学工具都可以作为数据收集的平台，每次学生的点击、讨论版的互动、博客的进入或任何微小的活动都会被记录下来，生成每生每课的数以万计的学习数据，并纵向传递到分析系统，成为下一步个性化学习分析的重要基础资源。

2.学生基础数据库

学生基础数据库包含了学生的各种基本信息（姓名、年龄、专业、爱好等）、学生的历史学习信息（成绩、先导课程、问卷调查等）。要确保为学习者制定最适合的学习路径，不能仅靠学生的学习行为数据，还要参照历史学习数据，这些数据会综合反映学生的知识储备、学习偏好、努力程度等信息，会形成更加立体的学生学习影像。

3.分析系统

分析系统是对学习数据库中跟踪学生学习轨迹所存储的大量数据进行处理和分析。分析的内容主要包括：学生学习表现、课程与教材选择是否正确、教学方法是否合适等。分析过程首先要对原始学习数据进行归纳和整理，去除无关或难以识别的冗余数据，数据的真实性和时效性是保证最终得出准确分析结论的关键。然后通过大数据方法将数据转化成可以被洞察和操作的模式，获取数据当中潜在的、有效的、规律性的、可以被理解的信息，并形成可视化分析报告。

4.自适应系统

自适应系统主要通过分析系统得出的反馈对学习过程进行自我调整和管理，学生基于数据收集和分析的可视化结论来调整学习路径，比如更换选修课程和学习材料。由于学生的个体情况有很大差异，自适应系统会利用人工智能软件根据学生对学习内容的接受程度，自动对学生的学习行为作出响应，帮助学生调整学习方案。在自适应学习系统中，学习不是被动地接受知识的过程，而是在更正学习过程中发现感兴趣和擅长的知识的过程。自适应系统增加了学生学习的主动性，调节了学生的学习状态和独立思考能力，改变了传统学习的被动局面。

5.个性化干预

个性化的学习干预是通过对学习者基础数据库和系统内学习数据库的数据进行整合，基于分析系统得出的可视化分析结论，结合教师的教学经验，对学习者的学习轨迹进行修订和改善的干预服务。对于学习效果较差的学生要通过互动平台及时给予帮助和干预，其目的在于通过修订教学方案和个性化资源推送来提高学习者的学习效率，并对学习者未来的学习行为进行智能化预测。个性化的教学干预摒弃了传统的“合格-不合格”的评价系统，强调通过数据分析来评估学习者的学习情况并掌握学习者思考和解决问题的方式，以便为其提供必要的引导和帮助，最终得到学习者更全面且精准的评价。

由图1可知，个性化学习模式的流程为：由学生学习数据库收集原始学习轨迹数据传递到分析系统；分析系统通过数据预处理、数据分析功能，利用各种大数据技术生成可视化的学生学习行为分析报告；自适应系统通过数据挖掘和学习分析等工具分析出来的报告，评估学生的学习过程，发现潜在的问题并进行智能干预，引导学生对学习内容进行适应性修正；教师整合基础数据库数据和分析系统得出的结论，结合多年的教学经验，通过干预系统对学生的学习路径进行人为的教学干预，对教学方案进行调整和修订，对学生未来的学习情况进行预测，将传统的同质教育演化成适应每位学生个性化需求的定制教育。

三、基于教育大数据的个性化学习模式面临的挑战

大数据技术运用于教育领域，为传统的“批量生产”式的教育模式带来了巨大变革，将引领教育进入全新的高度个性化的时代。但是，个性化学习模式中所有系统相互作用的前提条件是教学数据提供的准确性和及时性，只有在各系统之间保持快速、及时和准确的信息传递的情况下，大数据分析对教学的作用才能凸现出来。但现在许多学校的教学仍然以传统的面对面课堂教学为主，数据的传递、转换和分析可能出现滞后的情况，会影响最终干预系统分析结果的有效性。因此，大数据技术要在教学领域发挥其应有的作用，还需要学校大力推进教育信息化的建设，提高教学数据处理和分析的能力，才能充分发挥个性化学习模式的作用，真正实现教育的个性化培养。

对学生学习轨迹进行跟踪、记录和挖掘，不可避免地涉及到学生信息的保护问题，尤其在现有个人隐私的法律法规不够健全的情况下，教育大数据领域隐私规则的制定变得迫在眉睫。教育管理者要意识到大数据的使用将涉及到来自道德和法律的双重挑战，学生是教育大数据的创造者和所有者，在对教育数据进行采集和分析的时候，应取得学生和家长的认同和信任，同时制定有关学生隐私保护的法律法规，以保证所有收集到的学生数据都应用于改善教学。

参考文献

[1] 教育信息化十年发展规划（2011～2020年）[EB/OL].[2015-10-20].http：///web/content.php？id=6853.

[2] Big data：“The next frontier for innovation competition and productivity”[EB/OL].[2015-09-08].http：///news/2011/06/BigData.

[3] 陆Z.大数据及其在教育中的应用[J].上海教育科研，2013（9）.

[4] Viktor Mayer-Sch？nberger.Learning With Big Data[M].Create Space Independent Publishing，2014.

篇5

目前，水产品监测是水产品质量安全监管的重要手段，农业部渔业局在国家层面开展了水产品质量安全监督抽查、风险隐患排查、专项抽检等水产品质量安全监测工作。而监测工作的信息化，可保障监测工作的科学性和公正性，并能加强监测结果分析、利用，提高监管工作效率。

本文作者在实际工作中从事水产品质量安全监测数据库管理工作，针对当前水产品质量安全数据库存在的不足，结合水产品质量安全监管工作实际，对现有水产品质量安全监督抽查等数据库进行了重新构架、整合和设计，以期提供数据库的实用性，并满足下一阶段水产品质量监管工作需求。

二、现有数据库简介及不足

现有信息系统涉及水产品质量安全监测相关领域，基本完成了水产品质量安全监测技术支撑信息化初期建设。现有数据库包括“产地水产品质量安全监督抽查生产单位数据库”、“水产苗种质量安全监督抽查生产单位数据库”和“水产品质量安全检测信息管理系统”三个数据库。从内容上看，三个数据库分别集成了产地水产品养殖生产单位信息、水产苗种养殖生产单位信息和产地水产品质量安全监督抽查检测数据三方面内容。

但目前的数据库与行业监管需求相比，目前的系统仍有待完善。横向看，目前的各类工作系统或数据库间没有进一步整合，各类数据间不能互相衔接、有效共享；纵向看，各类数据没有深入挖掘，功能没有深度拓展，尚不能实现水产品质量安全大数据的复杂分析和水产品质量安全预测预警。

（1）用户使用不便利，影响用户的使用积极性（没有信息批量导入导出功能）

（2）数据库开发构架落后，不能满足发展要求（如无接口、无法继续开发信息批量导入导出功能，不能完成数据复杂分析）

（3）数据库分别独立且功能分散，不能完成大数据分析和数据整合（现行几个数据库分别独立，数据不能共享）

三、拟构建信息平台主要内容、功能和定位

拟对现有信息系统进行升级、改造，在现有信息系统基础上，进一步开发软件系统，整合水产品质量安全监测大数据，强化功能应用和信息安全，建立多级共享的网络平台，构建“水产品质量安全监测信息平台”。平台拟由支撑体系管理工作系统、水产品质量安全检测数据管理系统和水产品质检机构基础数据系统等三大系统模块构成。

功能提升主要表现在：一是，整合产地水产品质量安全监督抽查生产单位数据、水产苗种质量安全监督抽查生产单位数据库平台功能，开发监测任务管理工作系统，完成计划制定、任务下达、企业抽取、结果上报等功能，提升支撑体系管理和工作流程的规范、高效和一体化；二是，增加贝类、捕捞水产品、水产投入品数据库建设内容，并集成已有产地水产品质量安全监督抽查、水产苗种质量安全监督抽查等水产品质量安全检测信息数据库，开发水产品质量安全检测数据管理系统，并深度拓展数据功能，建立多层级、多维度的质量安全检测数据采集、共享网络，实现数据复杂分析及水产品质量安全预警功能；三是，对现有水产品质检机构管理功能进行升级，形成质检体系管理模块儿，强化信息通讯功能和对质检体系建设信息的收集能力。上述系统密切结合，互为补充，提高数据分析和预警预报准确性，进一步加强对行业监管的支撑能力。

升级、改造后的信息平台，将能显著提升支撑体系运转效率，高效支撑行业监管，并为养殖生产和政府部门针对性地开展养殖规划和水产品质量安全管理政策措施提供科学依据，对提高我国养殖水产品质量安全科学研究、技术支撑和管理实践具有十分重要的意义。

四、拟开发数据库构架和设想（见以下方案）

水产品质量安全数据管理系统建设方案

本系统用于上报和管理水产品质量安全检测数据、生产企业信息、实验室基础信息，集信息和管理于一体，系统建设突出集成、开放、易用、安全的原则，目的是为水产品质量安全管理、科研和交流等工作提供数据平台和技术支撑。

一、系统架构

系统首页面集成各类数据库、接口以及信息窗口。

（一）集成的数据库

1.产地水产品质量安全监督抽查检测信息数据库

2.产地水产养殖生产企业数据库

3.水产苗种生产企业数据库

4.质检机构管理数据库

（二）数据库接口

涉及暂缓开发的苗种检测信息、贝类检测信息和捕捞产品检测信息等数据库。

（三）信息窗口

包括“通知公告”、“新闻动态”、“政策文件”、“质量标准”、“交流专区”和“下载专区”等内容。

二、主要功能

本系统集成检测数据、生产企业、质检机构相关数据的上报、分析和管理，集信息和交流于一体，系统集成各数据库、接口及信息窗口，主要功能如下：

（一）集成的数据库

1.产地水产品质量安全监督抽查检测信息数据库

本数据库用于上报和管理产地水产品质量安全监督抽查检测信息，目的是服务水产品质量安全科研和管理。实现方便快捷的录入、查询和管理产地水产品质量安全监督抽查检测信息，用数据库实现数据上报、汇总、分析和生产报告等功能。

2.产地水产养殖生产企业数据库

本数据库用于上报和管理全国产地养殖水产品生产企业信息，目的是服务农业部开展产地水产品质量安全监督抽查生产企业随机抽取工作。实现方便快捷的上传、查询和管理全国产地水产养殖生产企业数据，能开展基于复查选择条件的企业记录的随机抽取。

3.水产苗种生产企业数据库

同产地水产品养殖生产企业数据库。

4.质检机构管理数据库

本数据库用于上报和管理质检机构基础信息，目的是服务水产品质量安全检测机构管理。实现方便快捷的上传、查询和管理质检机构基础信息，用数据库实现数据查询和统计等功能。

（二）其他检测信息数据库接口

预留苗种检测信息、贝类检测信息、捕捞产品检测信息等数据库接口，功能与产地水产品质量安全监督抽查检测信息数据库类同，保证后续扩展的数据库兼容性，能实施数据对接。

（三）信息窗口

“通知公告”、“新闻动态”、“质量标准”、“政策文件”、“等部分主要用来及更新有关信息，具有、删除和查询功能。

三、使用对象

各集成数据库的使用者，各质检机构、省、市级行政主管部门、中国水产科学研究院质量与标准研究中心和农业部。

四、建设原则

篇6

关键词：高中信息技术；大数据；教育教学

中图分类号：G434 文献标识码：A 论文编号：1674-2117（2017）06-0102-02

大数据在高中信息技术教学中的应用与优势

1.大数据的应用现状

当前的“大数据”概念对高中信息技术教学的影响还比较小，很多教师在教学过程中还未产生真正意义上的深度融合，一些“大数据”的应用也未能有效地在教育教学中铺展开来，从而制约着当前高中信息技术教学的发展。

2.大数据的应用优势

“大数据”全数据模式下的总体信息处理能力，极大地提高了教育教学中的信息铺展面，并从样本的研究转向为系统化的总体研究。事实上，大数据的创新，将更为直接地剖析信息技术教学中的问题和现象，深化高中信息技g教学。[1]

高中信息技术教学中的大数据

1.教学资源数据

面向“大数据”，信息技术教师教学时能够更加灵活、全面地汲取互联网信息，并通过开放的多样信息库，获取丰富的教学资源数据。同时，教师利用“大数据”能够建立起教育教学过程的数据信息分析，产生更为科学、全面的教育教学过程分析结果，形成自产型教学资源数据。这样，教师在进行高中信息技术教学的过程中，既有了外部信息资源数据进行支援，又有了内部自身的教学信息资源数据作为支撑。这能完善教育教学过程中的教学资源数据需求，产生更加有益于教学质量提高的信息链条。

2.学生信息数据

在教学活动中，教师按照学生自身的学习信息构建学生信息数据，动态地呈现学生自身参与信息技术教学过程中存在的即时性信息，这也是高中信息技术中所能够利用的“大数据”。这一类数据不仅可以反映出学生的学习进度、学习状态、学习问题，还能结合当前教师的教学进度、教学安排、教学内容等，进行科学的个体性调整，及时产生综合全面的个体报告，让教师能够及时有效地掌握学生的信息数据。

大数据对高中信息技术教学的影响

1.利用大数据开展个性化、定制化教学

（1）个性化教学

“大数据”能够构成基于学生信息数据的多维度动态化信息数据库，在这一数据库的基础上，学生能够更加自主地接收到适合自身学习状况的个性化教学方案，弥补当前自身学习的不足。在教学中，教师可以依据“大数据”分析当前学生完成项目需求的具体情况来构建下一步的教学计划，施行针对具体学生完成情况而设定的教学。

（2）定制化教学

“大数据”构建的数据信息库，能够基于当前的综合信息给出较为精准的前瞻性判断，也为定制化教学和教学引导提供了可能。这意味着学生在学习研究过程中的表现，被“大数据”技术进行积极主动的拓展性分析，并能够结合具体的信息处理感应拟定相关的定制化教学方案。这解决了当前高中信息技术教学中固定标准、统一进度、时间有限、内容重复铺设和教学的发展问题。

2.利用大数据实现优质资源共享

（1）构建免费共享的学习资源库

“大数据”一方面降低了资源库建设的成本，另一方面引入互联网、物联网、三网融合等技术，在建设构成学习资源库时，就已经面向开源的数据源，构成了具有很高开放度的信息资源库，并在应用信息、处理信息、反馈信息的过程中，实现学习资源库的建设和拓展。这意味着在未来的信息技术教学中，整个教学过程也将作为学习资源数据库，构成免费共享的学习效果、学习反馈、学习研究模式的学习资源库。[2]

（2）实现多学科交叉的资源共享

“大数据”不只局限于高中信息技术教学中，更能够将信息技术应用发散到多学科交叉的资源共享中。在进行高中信息技术教学的过程中，教师通过“大数据”的信息处理，能够服务于多种综合学科的信息处理问题，如应用于数学统计、几何学图形化处理、历史资料信息索引等的建设，并在完成高中信息技术教学的过程中，利用“大数据”结合多学科的信息资料和数据资料，完成这些多学科交叉的资源共享，实现综合利用开发。

3.利用大数据打造学生成长和终身发展的平台

（1）构建信息技术学习平台

作为接触开放信息技术学习的主要课程，当前高中信息技术教学的主要发展目标就是基于“大数据”构建信息技术学习平台，扩展开源的信息技术学习在线课程内容，通过共享，实现更为全面、强大、综合性高的信息技术学习平台。

（2）展开网络协调合作学习

“大数据”的信息技术应用为学生在线完成网络协调合作学习提供了可能。今后，更为开放、全面、自主性高的学习模式将在开放性的网络教育平台基础上得以实现，学生将可以拥有更多类型、高层次的网络协调合作学习的机会。

4.利用大数据凝练学科核心素养

（1）凝练核心素养

信息技术学科核心信息素养由信息意识、计算思维、数字化学习与创新、信息社会责任四个核心要素组成。学生利用大数据创建的学习平台，可以创造性地解决问题，养成自主学习、合作探索、不断探究的良好学习方式。在此过程中，教师要不断运用“大数据”来校对学生的任务解决能力，实时反映学生的学习效果，激发学生的学习兴趣，提高他们的思维能力。

（2）实现教学评价

开放、全面、综合性高的信息反馈，能够促成师生更为全面、综合地完成对教学活动的评价，通过“大数据”的信息链条，构成更加平衡的教学关系，使教学活动中的知识能力转化和教学目标的实现更为高效。

综上所述，“大数据”在当前的高中信息技术教学中具有应用优势，能够丰富教学信息资源，并且有助于构建全面系统的学生信息数据。“大数据”对高中信息技术教学具有促进个性定制化教学、提高优质资源共享、构建学生成长和终身发展的平台的作用。利用大数据分析可以比较全面地生成学生的信息技术知识与技能、过程与方法、情感态度与价值观等综合表现方面的数据，进一步为教学活动服务。因此，教师应科学地施行对高中信息技术教学中“大数据”的挖掘和使用。

参考文献：

篇7

关键词：大数据；计算机信息安全；企业；防护策略

大数据（bigdata）形成于传统计算机网络技术应用中，并不能将它理解为传统意义中大量数据的集合，而是其中涵盖了更多的数据信息处理技术、传输技术和应用技术。正如国际信息咨询公司Gartner所言“大数据在某些层面已经超越了现有计算机信息技术处理能力范围，它是一种极端信息资源。[1]”正是基于此，社会各个领域行业才应用大数据技术来为计算机信息安全提供防范措施，尤其是企业计算机信息网络，更需要它来构建网络信息防护体系，迎接来自于企业外部不同背景下的不同安全威胁。

1关于企业计算机信息安全防护体系的建设需求

企业计算机系统涉及海量数据和多种关键技术，它是企业正常运营的大脑，为了避免来自于内外因素的干扰，确保企业正常运转，必须为“大脑”建立计算机信息安全防护体系，基于信息安全水平评价目标来确立各项预订指标性能，确保企业计算机系统不会遭遇侵犯威胁，保护重要信息安全。因此企业所希望的安全防护体系建设应该满足以下3项需要。首先，该安全防护体系能够系统的从企业内外部环境、生产及销售业务流程来综合判断和考虑企业计算机信息安全技术、制度及管理相关问题，并同时快速分析出企业在计算机信息管理过程中可能存在的各种安全隐患及危险因素。指出防护体系中所存在的缺陷，并提出相应的防护措施。其次，可以对潜在威胁企业计算机系统的不安定因素进行定性、定量分析，有必要时还要建立全面评价模型来展开分析预测，提出能够确保体系信息安全水平提升的优质方案。第三，可以利用体系评价结果来确定企业信息安全水平与企业规模，同时评价该防护体系能为企业带来多大收益，确保防护体系能与企业所投入发展状况相互吻合。

2大数据环境对企业计算机信息安全建设的影响

大数据环境改变了企业计算机信息安全建设的思路与格局，应该从技术与管理维度两个层面来看这些影响变化。

2.1基于企业计算机信息安全建设的技术维度影响

大数据所蕴含技术丰富，它可以运用分布式并行处理机制来管理企业计算机信息安全。它不仅仅能确保企业信息的可用性与完整性，还能提高信息处理的准确性与传输连续性。因为在大数据背景下，复杂数据类型处理案例比比皆是，必须要避免信息处理过程错误所带来的企业信息资源安全损失，所以应该采取大数据环境技术来展开新的信息处理方式及存储方式，像以Hadoop平台为主的Mapreduce分布式计算就能启动云存储方式，对企业计算机信息进行有效存储、转移和管理，提高其信息安全水平。分布式计算会为企业计算机信息建立大型数据库，或者采用第三方云服务提供商所提供的虚拟平台来管理信息，这种做法可以为企业省下防火墙、数据库、基础性安防技术等等建设环节的大笔成本费用。在信息传递方面，大数据环境主要能够干预企业信息传递，例如为企业计算机系统提供高速不中断的传递功能模块，以确保企业信息传递的完整性与可持续性。在此过程中为了确保企业计算机信息传输的安全可靠，就会基于大数据技术来为企业提供数据加密服务，确保数据传输整个过程都处于安全状态，避免任何信息泄露、被盗取现象的发生。

2.2基于企业计算机信息安全建设的管理维度影响

在大数据环境下，企业计算机信息安全的管理维度影响不容忽视，它体现在人员管理、大数据管理与第三方信息安全等多个方面。在人员管理管理方面，大数据为企业所提供的是由传统集中办公向分散式办公的工作模式转变，它创建了企业自带办公设备BYOD（BringYourOwnDevice），BYOD一方面能有效提高员工积极性，一方面也能为企业购置办公设备节约成本，不过它也能影响到企业计算机的信息安全管理事项，移动设备大幅度降低了企业对计算机系统安全的可控度，可能会难以发现来自于外部黑客及安全漏洞、计算机病毒对系统的入侵，一定程度上增加了信息泄漏的安全隐患。在第三方信息安全管理方面，它可能会对企业信息安全带来巨大影响，因为第三方信息是需要用来进行加工分析的，但它对于企业计算机系统是否能形成保障实际上是难以被企业稳定控制的，所以企业要确切保证第三方信息安全管理的有效性，基于大数据强化企业信息安全水平，利用分权式组织结构来提高企业计算机系统及信息的利用效率，同时也增强大数据之于企业计算机系统的应用实效性。

3基于大数据优化环境下的企业计算机信息安全防护策略

企业计算机信息安全对企业发展至关重要，为其建立安全防护体系首先要明确其信息安全管理是一项动态复杂的系统性工程。企业需要从管理、人员和技术3方面来渗透大数据意识及相关技术理念，为企业计算机系统构筑防线，保护信息安全。

3.1基于管理层面的计算机信息安全防护策略

社会企业其实就是大数据的主要来源，所以企业在对自身计算机信息安全进行保护过程中需要面临可能存在的技术单一、难以满足企业信息安全需求等问题。企业需要基于大数据技术来建立计算机信息安全防护机制，从大数据本身出发，做到对数据的有效收集和合理分析，准确排查安全问题，建立企业计算机信息安全组织机构。本文认为，该计算机信息安全防护策略中应该包含安全运行监管机制、信息安全快速响应机制、信息访问控制机制、信息安全管理机制以及灾难备份机制等等。在面对企业的关键性信息时，应该在计算机系统中设置信息共享圈，尽可能降低外部不相关人员对于某些机密信息的接触可能性，所以在此共享圈中还应该设置信息共享层次安全结构，为信息安全施加“双保险”。另一方面，企业管理层也应该为计算机系统建立信息安全生态体系，一方面为保护管理层信息流通与共享，一方面也希望在大数据环境下实现信息技术的有效交流，为管理层提出企业决策提供有力技术支持。再者，企业应该完善大数据管理制度。首先企业应该明确大数据主要由非结构化和半结构化数据共同组成，所以要明确计算机系统中的所有大数据信息应该通过周密分析与计算才能最终获取，做到对系统中大数据存储、分析、应用与管理等流程的有效规范。举例来说，某些企业在管理存储于云端的第三方信息时，就应该履行与云服务商所签订的第三方协议，在此基础上来为企业自身计算机系统设置单独隔离单元，防止信息泄露现象。另一方面，企业必须实施基于大数据的组织结构扁平化建设，这样也能确保计算机系统信息流转速度无限加快，有效降低企业基层员工与高层管理人员及领导之间的信息交流障碍[2]。

3.2基于人员层面的计算机信息安全防护策略

目前企业人员所应用计算机个人系统已经趋向于移动智能终端化，许多BYOD工作方案纷纷出现。这些工作方案利用智能移动终端连接企业内部网络，可以实现对企业数据库及内部信息的有效访问，这虽然能够提高员工的工作积极性，节约企业购置办公设备成本，但实际上它也间接加大了企业对计算机信息安全的管理难度。具体来说，企业无法跟踪员工的移动终端来监控黑客行踪，无法第一时间发现潜藏病毒对企业计算机系统及内网安全的潜在威胁。因此企业需要针对员工个人来展开大数据背景下的信息流通及共享统计，明确员工在工作进程中信息的实际利用状况。而且企业也应该在基于保护大数据安全的背景下来强化员工信息安全教育，培养他们的信息安全意识，让员工在使用BYOD进行企业内部计算机数据库访问及相关信息共享过程中提前主动做好数据防护工作，辅助企业共同保护内部重要机密信息。

3.3基于安全监管技术层面的计算机信息安全防护策略

在大数据环境中，企业如果仅仅依靠计算机软件来维持信息安全已经无法满足现实安全需求，如果能从安全监管技术层面来提出相应保护方案则要配合大数据相关技术来实施。考虑到企业容易受到高级可持续攻击（AdvancedPersistentThreat）载体的威胁（形成隐藏APT），不易被计算机系统发觉，为企业信息带来不可估量威胁，所以企业应该基于大数据技术来寻找APT在实施网络攻击时所留下的隐藏攻击记录，利用大数据配合计算机系统分析来找到APT攻击源头，从源头遏制它所带来的安全威胁，这种方法在企业已经被证实为可行方案。另外，也可以考虑对企业计算系统中重要信息进行隔离存储，利用较为完整的身份识别来访问企业计算机管理系统。在这里会为每一位员工发放唯一的账号密码，并利用大数据来记录员工在系统中操作的实时动态，监控他们的一切行为。企业要意识到大数据的财富化可能会导致计算机系统大量信息泄露，从而产生内部威胁。所以在大数据背景下，应该为计算机系统建立信息安全模式，利用其智能数据管理来实现系统的安全管理与自我监控，尽可能减少人为操作所带来的不必要失误和信息篡改等安全问题。除此之外，企业也可以考虑建立大数据实时风险模型，对计算机系统中所涉及的所有信息安全事件进行有效管理，协助企业完成预警报告、应急响应以及风险分析，做好对内外部违规、误操作行为的有效审计，提高企业信息安全防护水平[3]。

4总结

现代企业为保护计算机信息数据安全就必须与时俱进，结合大数据环境，利用信息管理、情报、数学模型构建等多种科学理论来付诸实践，分析大数据环境下可能影响到企业信息安全水平的各个因素，最后做出科学合理评价。本文仅仅从较浅角度分析了公司企业在大数据背景下对自身计算机信息安全的相关防护策略，希望为企业安全稳定发展提供有益参考。

参考文献：

[1]尹淋雨.大数据环境下企业信息安全水平综合评价模型研究[D].安徽财经大学,2014:49-51.

[2]雷邦兰,龙张华.基于大数据背景的计算机信息安全及防护研讨[J].网络安全技术与应用,2016(5):56,58.

篇8

关键词：大数据；数据仓库；电费风险管控

现状

为了更好地掌握当前的用电以及电费回收情况，需要相关业务的详细数据，由于目前各业务系统无此专项数据分析功能，只能人工拼凑导出多个系统多个功能的数据明细，需要耗费大量时间进行人工核对处理，工作效率低下，任务繁重，迫切需要基于大数据技术的专项数据监测分析功能。

提升电费回收率需对不同的业务场景进行分析研究，因地制宜，制定更加合理化地专项解决措施，更有效地提升回收率。需要系统提供专项数据分析，作为专项治理的数据依据。

1建设目标

遵循国家电网公司（以下简称国网）典设，借鉴试点经验，充分遵从国网大数据平台和业务场景的研究成果，积极吸取各试点单位的大数据场景实施建设经验。同时，从公司业务部门自身的生产运行、企业的经营管理等实际需求出发，按照需求全面统筹，成熟一个实施一个的思想，逐步实现各个主题场景的落地实施，体现石家庄电力的业务特色和管理创新。

2系统建设方案

基于大数据的电费风险管控平台采用大数据技术及数据集市，与省公司的HIVE数据仓库对接，智能自动化地实现电费数据信息的抽取、清洗、转换、计算及存储，相对于原来人工拼凑并处理数据的非即时性，大幅度提高了工作效率。此平台采用B/S结构进行开发，只要在公司内网的信息终端，都可以使用该系统。

2.1系统技术架构

大数据平台技术架构包含数据整合、数据存储、数据计算、数据分析、平台服务五个层次，技术架构如下图所示。

大数据平台技术组件以集成成熟开源产品为主，并对现有可重用的SG-ERP组件进行提升改造，相关生产应用可适时迁移至大数据平台。在数据整合方面，融合实时消息队列、数据抽取、日志采集、服务接口等技术，实现异构数据的快速接入；在数据存储方面，采用关系数据库、分布式文件系统、分布式列式数据库、内存数据库等存储技术，满足海量数据实时、准实时存储需求；在数据计算方面，提供流计算、批量计量、内存计算等数据处理技术；在数据分析方面，采用开源挖掘工具R语言、Mahout，并构建分布式数据挖掘算法库；同时，完善智能分析决策平台的分析模型设计器，构建统一的分析建模能力和运行引擎。在平台服务方面，提供统一的存储、计算、分析、展现等服务。

2.2系统功能架构

该平台的功能模块包括：整体概况分析、预收电费分析以及欠费电费分析。

2.2.1整体概况分析模块：用于分析电费回收的整体情况，包含发行电费、预收电费以及欠费电费。包含四个子模块：整体概况分析、供电单位分析、行业分析和电压等级分析。

2.2.2预收电费模块：用于预收电费的专项分析，包括预收整体概况、供电单位分布、行业分布，以及预收走势四部分。

2.2.3欠费电费模块：针对欠费电费的专项分析，欠费电费分为陈欠电费和当年欠费。此模块包含：欠费整体概况、欠费分布（行业/供电单位分布）以及欠费走势（整体/行业/供电单位）三部分。

3应用效果

基于大数据的电费风险管控平台首次尝试电费专项场景分析，实现了对现有业务系统海量电费数据的挖掘分析。根据实际的业务情况，对电费数据进行不同主题的深入分析，从供电单位、行业、电压等级等多维度分析展示电费回收情况，并通过图表直观展示可能存在的风险，大大提升了人工处理数据的效率，实现了电费数据分析的智能自动化，使电费回收情况更直接直观地呈现，为电费风险管控提供科学地数据支持，帮助业务人员发现风险管控弱点，从而提升企业整体的经济效益。该平台以数据为驱动，管理为手段，提升企业经营管理健康度和经济效益为目标，将进一步提升电费回收率，提升企业的科学化、自动化监测水平，有效控制公司管理成本，为电费风险管控提供有力支持，为企业的经济效益提升起到直接的作用。推广应用前景广阔，经济效益和社会效益巨大。

基于大数据的电费风险管控平台的投运将产生巨大的经济效益。化被动为主动，穿透数据发现风险管控弱点，制定强化管控措施，及时有效地降低电费回收风险，产生直接的经济效益。

基于大数据的电费风险管控平台的使用使电费管理更加科学、高效、精细化、规范化。运用先进技术手段实现对实际工作的辅助指导。通过改变原有管理模式，实现工作效率的提升，提高专业管理水平，产生了良好的管理效益，达到了预期目的。

篇9

【关键词】大数据；环境保护；云计算；应用；探究

大数据时代，不但各种数据形态发生了巨大的变化，而且现代人们的思维与管理模式也在发生深刻的变化。将大数据应用在环境保护领域，可以有效整合社会各方面资源，对当前出现的环境问题进行多元化协同治理，提高环境治理效益。下面本文简要探讨大数据在环境保护领域中的应用情况。

一、大数据概述

大数据的价值主要依据多种技术协同体现出来的，其中文件系统可以为其提供最底层存储能力服务。为了加强数据管理，通常需要在文件系统上面构建数据库体系，借助索引，对外界提供高效率的数据查询等相关功能，最后利用数据分析技术从数据库里面的大数据提取各种有益知识。

（一）云计算

云计算相当于支撑大数据“这辆汽车”运行的“高速公路”，云计算可以为大数据提供数据存储、管理及分析方面的服务。云计算是一个服务器集群，可以为一切可以上网的显示器服务，属于一对多的服务模式；云计算主要通过互联网进行信息的远程输送，从不确定位置的服务器集群处理用户命令、以及各项数据。云计算的核心原理是用户需要的应用程序，处理数据不需运行，存储在本地个人手机或者电脑等各种终端设备上面，通过互联网数据中心或者大规模服务器集群进行存储。

（二）大数据处理工具

现阶段，Hadoop是最流行的大数据处理平台，它先开始是模仿GFS，MapReduce实现云计算开源平台之一，后来逐渐成为包括数据库、文件系统、数据处理功能模块的体系化生态系统，事实上，Hadoop已经是大数据处理工具。目前研究焦点主要集中在如何改进Hadoop平台的性能，构建索引，实现高效率的查询处理，以及在Hadoop上面建设数据仓库等。

（三）数据分析与挖掘

数据分析与挖掘是云计算最核心的业务，也是整个大数据处理流程的重点内容，这主要是因为大数据的价值在分析过程中产生。从异构数据源提取与集成的数据形成了数据分析的最原始数据，按照不同应用需求从数据中选取一部分进行挖掘分析。

二、大数据在环境保护领域中的应用探究

在将大数据技术、服务应用在现代环境保护与生态文明建设过程中时，可以合理利用大数据解决环境保护工作中的一些棘手问题：

（一）数据公开与数据收集。只有进一步提高环保系统各相关部门的数据公开水平，才有助于实现大数据应用的创新。推动我国大数据的发展，重点在于改变政府理念，推行数据公开，理应由政府牵头带到社会各行各业公开数据，然后收集整理数据，将数据入库，进行数据分析，在将分析结果完整地展现在公众面前，进而让数据这一生产要素可以自由流动，在流动过程中逐渐提高附加值。同时，进行数据收集，借助互联网、传感器网络等先进的技术手段，环保管理单位以及环保志愿者们可以很方便地将收集到的数据输送至数据中心，间接地让公众成为环保部门工作的有力监督者，有助于环保部门加大力度治理违法排污企业[3]。此外，通过社会公众提供多种类型数据，进一步丰富了环境数据，可以为数据公开、数据分析提供最新数据。

（二）空气质量预警预报。充分利用气象数据、空气质量自动监测得到的数据、污染源自动监控得到的数据进行相关性分析，达到空气质量预警预报的目的。同时，通过大数据技术、应用服务分析与环境保护、生态文明建设之间关系，进一步探究进行生态文明建设的内在规律，从宏观角度看，可服务于人类长远的生存、发展。另外，借助大数据技术进行空气质量预警预报，有利于警醒现代人们对环境保护问题的重视，进一步大力普及环境保护方面的知识。且研究理论成果的出现，可以整合整个社会的力量关注环境保护问题，推动重大社会问题的治理，以此促进人类社会的和谐、快速发展[4]。

（三）利用大数据采集技术分析环境污染成因，将各种不同种类的环境指标信息和污染源排放信息相互结合，开展数据分析活动，通过科学的分析合理预测企业排污强度，污染源分布情况及其对周围环境质量的影响，以此为依据制定环境治理方案，并定时监测环境治理效果，不断改进治理方案。大数据作为一个重要的分析、衡量工具，但它并不能衡量所有事物，很多非量化事物需要借助人类独特的思维力把握。但是通过大数据技术可以让人类更加了解世界，对未来有一定的预测性，未来的数据挖掘、分析技术不但是各大环保企业的竞争力根源，还可能是国和国之间竞争的重要部分。将大数据技术应用在环保领域，可有效提高我国环境保护治理水平，为我国核心竞争力的提高提供有力支持。

三、结束语

大数据技术的发展及应用，可以说为人类治理环境问题提供了一条崭新的途径，对于环境保护者而言，既要积极地促进大数据技术在环境保护领域中合理应用，进而在认识自然界客观发展规律方面获得更多自由。同时又要注意避免大数据技术应用过程中潜在的各种风险，从战略高度认识环境保护工作，充分发挥大数据在环境保护领域的作用。

参考文献：

[1]孟小峰.大数据管理：概念、技术与挑战[J].计算机研究与发展，2013，2（01）：63-66.

[2]李国杰.大数据研究：未来科技及经济社会发展的重大战略领域――大数据的研究现状与科学思考[J].中国科学院院刊，2012，7（06）：322-325.

篇10

关键词：信息技术；安全性；高可用性；数据库

0引言

面金融市场的激烈竞争和信息技术的飞速发展，银行的科技体系建设呈现了“数据集中化、业务综合化、管理扁平化、决策科学化”的发展趋势。与业务相关的后台数据库中的业务数据量也在成几何量级增长。由于大型商业银行内部业务模式种类繁多，交易流程复杂，需要根据不同的业务规则和数据特点，选取不同的数据库。目前，在商业银行信息系统体系中，涉及到的数据库主要包括DB2、Oracle、SQL Server，部分系统还用到了MySql等开源数据库。

1DB2数据库

1.1DB2简介

DB2全称为IBM DB2，是美国IBM公司开发的一套关系型数据库管理系统，它主要的运行环境为UNIX、Linux、z/OS，以及Windows服务器。DB2主要应用于大型应用系统，具有较好的可伸缩性，可支持从大型机到单用户环境。DB2提供了高层次的数据利用性、完整性、安全性、可恢复性，以及小规模到大规模应用程序的执行能力，具有与平台无关的基本功能和SQL命令。

1.2 DB2在银行的应用

虽然银行业中后台信息系统数量众多，但其主要工作是进行各种账务交易管理，对于需要进行大量账务处理和计算的银行信息系统普遍采用DB2数据库。银行系统要求高稳定性、高可靠性和高安全性，Unix+DB2的组合对银行的系统高要求满足的较好。IBM提供的主机和数据库的解决方案，在很多银行都有成熟的案例。

对于大型的商业银行，银行系统每天处理的请求可能要上亿次，DB2数据库对海量数据的管理更是十分出色。作为世界上最快的数据库之一，它可以在一天内完成9000多万次文本搜索，且每次的响应时间都小于半秒。银行信息系统中的服务器有很大一部分都是IBM的大型机和小型机，在数据库层面，选择IBM的DB2数据可以更好的发挥服务器和数据库的优势。

2 ORACLE数据库

2.1 ORACLE简介

Oracle是美国Oracle公司提供的以分布式数据库为核心的一组软件产品，是目前最流行的C/S或B/S体系结构的数据库之一。它具有完整的数据管理功能；作为一个关系数据库，它是一个完备关系的产品；作为分布式数据库，它实现了分布式处理功能。系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的适应高吞吐量的数据库解决方案。

2.2 ORACLE在银行的应用

Oracle可以支持Unix、Linux和Windows等主流操作系统，而且做为专业做数据库起家的Oracle，配套开发了许多高可用组件，为大型的应用系统提供了成熟完备的数据库高可用解决方案，如：Oracle RAC、GodenGate、Data Guard等。这些组件在银行的信息系统中使用相当广泛，比如网上银行系统、手机银行和各类台帐管理系统等。

完善灾备系统是银行建设中至关重要的一项工作，Oracle公司提供数据库级别的异地灾备技术，这为银行信息系统的异地多活提供了可行性。并且Oracle在数据库的技术服务支持方面也相当完备，很多银行并没有技术能力很强的数据库维护人员，Oracle可以提供多种层次的数据库维保服务，为银行系统的高效可靠的运行保驾护航。

随着Oracle 12C的，Oracle在云计算和大数据方面的优势也逐渐显现，各大银行都有海量的业务和客户数据，如何利用其进行精准营销已经成为各大银行业务的新诉求。使用Oracle的最新产品，可以对客户数据进行数据挖掘和大数据分析，为银行业务部门提供强有力的支持。

3 SOL SERVER数据库

SQL Server微软公司推出的一种关系型数据库系统。它是一个可扩展的、高性能的、为分布式客户机/服务器计算所设计的数据库管理系统，实现了与WindowsNT的有机结合，提供了基于事务的企业级信息管理系统方案。

SQL Server以其内置的数据复制功能、强大的管理工具、与Internet的紧密集成和开放的系统结构为广大的用户、开发人员和系统集成商提供了一个出众的数据库平台。由于SQL Server只能在Windows平台上运行，没有丝毫的开放性，这就限制了它的应用范围。Windows操作系统由于其自身的限制，每运行一段时间就需要重启，这对需要提供7*24小时不停服务的银行系统带来极大的问题。SQL Server在银行内部系统中应用较少，主要在一些由微软公司提供的应用系统。

4 MYSQL数据库

MySql是一种开放源代码的关系型数据库管理系统，MySql是一个真正的多用户、多线程数据库服务器。MySql虽然是免费的，但同Oracle，DB2等商业数据库一样，具有数据库系统的通用性。

相较于DB2、Oracle和SQL Server数据库，MySql数据库更轻量级，对服务器资源要求低，但又能提供高并发和大事务处理能力。但是MySql官方并不能提供成熟的高可用解决方案，对于银行端来说，更希望使用成熟的高可用产品，而且没有很多的技术实力和精力去做二次开发和改进，所以MySql在银行信息系统中使用的并不多。

现在有一些银行在国家去IOE的号召下，开始尝试在一些新兴的互联网金融产品中引用MySql数据库，配合成熟的第三方高可用组件，也取得了不错的效果。