大数据技术论文范文
时间:2023-04-05 20:56:39
导语:如何才能写好一篇大数据技术论文,这就需要搜集整理更多的资料和文献,欢迎阅读由公务员之家整理的十篇范文,供你借鉴。
篇1
大数据背景下的机器算法
专业
计算机科学与技术
学生姓名
杨宇潇
学号
181719251864
一、 选题的背景、研究现状与意义
为什么大数据分析很重要?大数据分析可帮助组织利用其数据并使用它来识别新的机会。反过来,这将导致更明智的业务移动,更有效的运营,更高的利润和更快乐的客户。
在许多早期的互联网和技术公司的支持下,大数据在2000年代初的数据热潮期间出现。有史以来第一次,软件和硬件功能是消费者产生的大量非结构化信息。搜索引擎,移动设备和工业机械等新技术可提供公司可以处理并持续增长的数据。随着可以收集的天文数据数量的增长,很明显,传统数据技术(例如数据仓库和关系数据库)不适合与大量非结构化数据一起使用。 Apache软件基金会启动了第一个大数据创新项目。最重要的贡献来自Google,Yahoo,Facebook,IBM,Academia等。最常用的引擎是:ApacheHive / Hadoop是复杂数据准备和ETL的旗舰,可以为许多数据存储或分析环境提供信息以进行深入分析。 Apache Spark(由加州大学伯克利分校开发)通常用于大容量计算任务。这些任务通常是批处理ETL和ML工作负载,但与Apache Kafka等技术结合使用。
随着数据呈指数级增长,企业必须不断扩展其基础架构以最大化其数据的经济价值。在大数据的早期(大约2008年),Hadoop被大公司首次认可时,维护有用的生产系统非常昂贵且效率低下。要使用大数据,您还需要适当的人员和软件技能,以及用于处理数据和查询速度的硬件。协调所有内容同时运行是一项艰巨的任务,许多大数据项目都将失败。如今,云计算已成为市场瞬息万变的趋势。因为各种规模的公司都可以通过单击几下立即访问复杂的基础架构和技术。在这里,云提供了强大的基础架构,使企业能够胜过现有系统。
二、 拟研究的主要内容(提纲)和预期目标
随着行业中数据量的爆炸性增长,大数据的概念越来越受到关注。 由于大数据的大,复杂和快速变化的性质,许多用于小数据的传统机器学习算法不再适用于大数据环境中的应用程序问题。 因此,在大数据环境下研究机器学习算法已成为学术界和业界的普遍关注。 本文主要讨论和总结用于处理大数据的机器学习算法的研究现状。 另外,由于并行处理是处理大数据的主要方法,因此我们介绍了一些并行算法,介绍了大数据环境中机器学习研究所面临的问题,最后介绍了机器学习的研究趋势,我们的目标就是研究数据量大的情况下算法和模型的关系,同时也会探讨大部分细分行业数据量不大不小的情况下算法的关系。
三、 拟采用的研究方法(思路、技术路线、可行性分析论证等)
1.视觉分析。大数据分析用户包括大数据分析专业人士和一般用户,但是大数据分析的最基本要求是视觉分析。视觉分析直观地介绍了大数据的特征,并像阅读照片的读者一样容易接受。 2.数据挖掘算法。大数据分析的理论中心是数据挖掘算法。不同的数据挖掘算法依赖于不同的数据类型和格式来更科学地表征数据本身。由于它们被全世界的统计学家所公认,因此各种统计方法(称为真值)可以深入到数据中并挖掘公认的值。另一方面是这些数据挖掘算法可以更快地处理大数据。如果该算法需要花费几年时间才能得出结论,那么大数据的价值是未知的。 3.预测分析。大数据分析的最后一个应用领域是预测分析,发现大数据功能,科学地建立模型以及通过模型吸收新数据以预测未来数据。 4.语义引擎。非结构化数据的多样化为数据分析提出了新的挑战。您需要一套工具来分析和调整数据。语义引擎必须设计有足够的人工智能,以主动从数据中提取信息。 5.数据质量和数据管理。大数据分析是数据质量和数据管理的组成部分。高质量的数据和有效的数据管理确保了分析结果在学术研究和商业应用中的可靠性和价值。大数据分析的基础是前五个方面。当然,如果您更深入地研究大数据分析,则还有更多特征,更深入,更专业的大数据分析方法。
四、 论文(设计)的工作进度安排
2020.03.18-2020.03.20 明确论文内容,进行相关论文资料的查找与翻译。2020.04.04-2020.04.27:撰写开题报告 。
2020.04.28-2020.04.30 :设计实验。
2020.05.01-2020.05.07 :开展实验。
2020.05.08-2020.05.15 :准备中期检查。
2020.05.16-2020.05.23:根据中期检查的问题,进一步完善实验2020.05.24-2020.05.28 :完成论文初稿。
2020.05.29-2020.06.26 :论文修改完善。
五、 参考文献(不少于5篇)
1 . 王伟,王珊,杜小勇,覃雄派,王会举.大数据分析——rdbms与mapreduce的竞争与共生 .计算机光盘软件与应用,2012.被引量:273.
2 . 喻国明. 大数据分析下的中国社会舆情:总体态势与结构性特征——基于百度热搜词(2009—2 012)的舆情模型构建.中国人民大学学报,2013.被引量:9. 3 . 李广建,化柏林.大数据分析与情报分析关系辨析.中国图书馆学报,2014.被引量:16.
4 . 王智,于戈,郭朝鹏,张一川,宋杰.大数据分析的分布式molap技术 .软件学报,2014.被引量:6.
5 . 王德文,孙志伟.电力用户侧大数据分析与并行负荷预测 .中国电机工程学报,2015.被引量:19.
6 . 江秀臣,杜修明,严英杰,盛戈皞,陈玉峰 ,郭志红.基于大数据分析的输变电设备状态数据异常检测方法 .中国电机工程学报,2015.被引量:8.
7 . 喻国明. 呼唤“社会最大公约数”:2012年社会舆情运行态势研究——基于百度热搜词的大 数据分析.编辑之友,2013.被引量:4.
六、指导教师意见
签字: 年 月 日
七、学院院长意见及签字
篇2
大数据时代的到来,计算机信息处理技术也存在着很大风险,其中最突出的问题是计算机病毒以及恶意盗版软件等,给用户使用计算机产生了极大的消极影响。这些还是一些比较基础的问题,随着计算机技术的发展,还出现篡改数据、冒名顶替等问题,影响计算机技术服务质量,计算机信息处理技术受到了前所未有的考验。另外,大数据时代的到来,还出现了许多新型网络技术,针对一些繁琐的问题能够有效解决,提高了人们的工作效率,然而,这也在一定程度上降低了网络的真实性,特别是在网络交流和沟通日益紧密的前提下,导致网络信息真假难分,不仅增加了信息搜索难度,而且致使人们无法快速获得真实信息。因此,提高计算机信息处理技术至关重要。
2大数据时代计算机信息处理技术
2.1信息采集、加工方面
计算机信息处理技术要进行工作,首先,要采集数据信息,计算机技术都是建立在数据采集基础之上的,数据采集主要是针对目标信息源进行实时的信息监督和控制,并将才觉得数据储存在计算机数据库中,为各个软件提供信息支持,确保下一项工作顺利进行;其次,对数据信息进行加工,按照用户的要求,对数据信息进行加工;最后,将加工好的数据信系进行分类,最终传送到用户手中,实现数据采集、加工以及传送目标。
2.2存储方面
计算机存储技术是将采集的信息储存到计算机数据库之中,在用户需要某一项信息过程中,可以通过数据库直接将数据调取出来,计算机以其储存量大、速度快等优势,受到人们越来越多的关注,另外,计算机技术还能够实现长时间储存。
2.3信息安全方面
大数据时代的到来,让人们感受技术带来的便捷的同时,也让人们意识到数据信息安全对人们的重要性。因此,为了能够提高数据信息的安全、可靠性,可以通过以下几个方面进行:首先,建立计算机信息安全体系,加大专业技术人才的培养力度,投入资金,为构建计算机安全体系奠定坚实的基础;其次,加大研究力度,开发信息安全技术产品。传统信息安全技已经无法满足大数据时代数据安全需求,为了能够尽快改善数据安全问题,应加大研究力度,寻求更好的解决方案,有效避免数据信息受到威胁;最后,重视对重要数据的检测,大数据时代的突出特点是数据量大,无法实现对每一个数据的检测。因此,为了提高数据安全系数,应加强对重点数据信息的检测,从而确保数据信息安全。
2.4信息处理技术的发展
计算机硬件具有一定局限性,在一定程度上阻碍了计算机网络的发展,而云计算网络能够突破这一弊端。因此,推广和应用云计算机网络成为未来大数据时代计算机信息处理的主要发展趋势。传统计算机网络是将硬件与网络有机结合,抑制了计算机信息处理技术的发展,将二者分离开,促使云计算主筋形成云计算网络,从而构建大数据信息网络系统,推动我国社会不断发展。
3结论
篇3
大数据时代设计创新主要体现以互联网为平台的网络终端创新,如智能手机、平板电脑、导航产品和电子支付等生活类产品及服务的创新设计,以及与此相关的后台基础设施创新,如云计算、通讯、软件工程等技术领域。知名IT评论家谢文认为,目前网络业创新过程中,对大数据的获取可分为三种战略:前台、和后台为主的模式。苹果、Facebook和亚马逊分别是这三类模式成功的典范。苹果通过设计、销售各种互联网终端产品,通过Ios系统下的Itune网上商店将产品和服务集成来汇集数据,形成自成体系的规范数据标准平台,这种商业模式让苹果获得了巨大成功,表明工业设计有效利用大数据可实现产品和商业的成功。Facebook则抓住目前颇具人气的网络社交需求,依托Web2.0系统平台的构建和运营来获取各种标准化、结构化的用户数据,形成开放、庞大的共享数据流。亚马逊则通过建立强大的网络营销后台获取网络用户的各种需求数据,再结合电商形成开放平台,为用户提供量身定制的各类个性化服务,为电商提供行业所需的大数据。在口碑营销成为王道的电商时代,借助互联网提供的营销数据,掌握消费者的需求,企业能够及时调整设计、生产和制造策略,并通过3D打印快速实现消费者的个性化定制需求。这就需要通过网络获取用户数据,同时用科学方法分析这些数据所体现的用户消费心理、行为,最终转换为有用的设计语言。传统的产品设计、制造是一种线下行为,远离互联网,与消费者之间的沟通和交流存在时间差,获取的消费者数据十分低效。“3D打印”技术的出现让物质产品的设计、生产实现了数据化,传统制造业和互联网行业的高度融合,不但拓展了网络行业的产业边界,也为制造业的定制化服务提供了巨大空间。针对用户的产品定制,借助强大的物联网可实现低成本营销,真正实现个性化设计和按需生产,这让传统制造业进入到大规模、打破时空界限的全新发展阶段。这种借助互联网、物联网形成的新型产业链和商业模式改变了传统制造业,让企业从产业链上游及战略规划阶段就可集成物质化产品设计、制造和流通过程所需的各类数据,这要求制造业企业必须具备互联网思维,要求工业设计必须依靠网络集成各种数据,及时获取消费者需求。
二、大数据时代的工业设计
互联网打造了全新的社会形态和生活方式,人们的工作、生活已离不开网络,通过网络消费者可实现交友,衣、食、住、行各种所需。谢文认为,未来通过网络有望实现三方面创新,个人数据集成、公共服务数据集成及物质生产集成。如收集消费者在网络上的言谈举止和生活中所有活动产生的数据,建立“数据人”模型,为线下的制造业提供人的需求数据;集成线上的公共服务数据为国家、政府和组织提供服务支持;集成物质生产数据实现制造业的数据化生存。对工业设计而言,网络连接消费者、社会和物质产品组成的三维空间,融合各种大数据,可支持制造业的转型与社会进步。这正是新形势下工业设计的发展方向,即通过设计具体的服务产品,为消费者创造感性价值,实现消费者情感上对个性、品位和身份的追求。这些服务化产品在提供高品质服务的同时,以技术推动组织和社会创新,实现人、组织、社会和环境的可持续发展。此时的工业设计从“提供功能,方便使用”的问题解决方案,转向“讲述故事,创造意义”的“造意”阶段,“造意”正成为当下产品设计新的关注点。借助网络获取用户数据,让产品满足基本功能的同时,更多地向消费者讲述故事,引起消费者的回忆和联想,成为当下产品设计成功的关键。
三、结语
篇4
司法会计鉴定书
(文号)
(鉴定专用用章)
(日期)
绪 言
×年×月×日,本院法纪检察科提出委托,要求对A某某案中直接经济损失数额作出司法会计鉴定结论。
A某某,男,×岁,大专文化程度,现任甲公司证券业务部副经理。×年×月×日,其在未对新开户股民B某某账户完成验资的情况下,擅自允许该户全额透支交易近×元,给本单位造成巨大经济损失。
检验收集了与A×#B某某股东账户相联系的甲公司证券业务部×年×月×日和×年×月×日的B某某资金账户及其相关的交割单和委托单、中央登记结算公司A×#B某某股东账户筹码清单等会计资料。
检验采用核对法和分析法,逐一核对交易数量、金额和委托手续,对比委托价与成交价、申报时间与成交时间,计算亏损数额。
所列检材均冠以S字母,统一以两位数编号。
检 验
1.甲公司证券业务部B某某资金账户记录:×年×月×日开户,未存入资金,×年×月×日卖出股票收回资金×元,×年×月×日与×年×月×日之间无记录(见S03)。
2.甲公司证券业务部B某某资金账户×年×月×日清算交割单及其配对交割单记录:先买入后卖出,再买入再卖出;共×股票×股,成交总额×元,卖出×股,成交总额×元,轧差-×元,与当日余额一致。显然,该户未曾存入资金,第一、第二笔买入交易系全额透支。×年×月×日以上资料记录:卖出×股票×股,成交总额×元。至此,×股×股票全部平仓,交易亏损×元,与×年×月×日余额一致(见S01、S02)。
3.甲公司证券业务部B某某资金账户买入×股×股票有委托单,其中,×股委托价与成交价一致,申报时间与成交时间几乎一致;×股委托价与成交价一致,申报时间等于成交时间;×股与×股合填一份委托单,且混填×股和×股卖出;×股委托价与成交价相近,申报时间等于成交时间(见S04至S36、附表)。
4.甲公司证券业务部B某某资金账户卖出×股×股票,仅有×年×月×日表明×股卖出委托的×股和×股两份卖出委托单,但另有×股和×股卖出混填在×股买人委托单上;×股委托价与成交价相近,申报时间与成交时间几乎一致(见S05、S37至附表)。
5.中央登记结算公司A×#B某某股东账户筹码清单显示,该户×年×月×日卖出×股,系乙公司证券业务部强行平仓,无委托单(见S57、附表)。
6.甲公司证券业务部B某某资金账户清算交割单显示,每笔交易数量和成交总额均与配对交割单数量和成交总额合计数一致(见S01至S02、S06至S36、S39至S56)。
论 证
1.按股票交易管理规定,股民开设资金账户需存入一定数量的资金,并只能在此额度内买入股票;委托单限填一次同向交易委托内容,更不能混填反向交易委托内容。履行股票交易管理的行为人理应制止这些不规范的交易行为。
2.按股票交易管理规定,委托人须在事先填妥委托单,管理行为人应对买入委托人的资金状况严格审核,决定是否向交易员申报,避免出现既委托价等于成交价,又申报时间等于成交时间的情况。
3.按最高人民检察院有关罪认定的规定,直接经济损失必须是与管理活动有直接因果关系,且对财产所有权的丧失,行为人显已不具备挽回能力。若严格规范交易行为,上述B某某账户的亏损当可避免。且根据中央登记结算公司A×#B某某股东账户筹码清单,现筹码已全部平仓,管理行为人显已无力挽回损失,所以,×元符合以上的两个条件。
4.按股票交易管理规定,股票业务与自营业务的账户必须分开,因此,不能将在B某某账户非法自营交易所获取的盈利视为弥补该账户亏损的能力。
结 论
因甲公司证券业务部股票交易管理行为人疏于职守,使B某某账户交易行为严重不规范,造成直接经济损失×元(大写)。
鉴定人:
(签 章)
(鉴定资格证书号:×)
复核人:
日期:
第二部分文证审查意见
司法会计文证审查意见书
文号
一、基本情况
x年x月x日,公诉人某某某提出委托,要求对A某某案件中的司法会计鉴定结论文书进行审查。
x鉴定机构提供的鉴定结论称,因甲公司证券业务部股票交易管理行为人疏于职守,使B某某账户交易行为严重不规范,造成直接经济损失×元。
二、审查情况
该鉴定思路清晰、方法得当、检验充分,但论证尚缺火候。需在“所收集检材是否合法”和“所收集检材是否真实有效”两个问题上,补充论证。
篇5
大数据时代科技期刊的传播媒介将是多样化的,传播范围更广,传播速度更快。科技期刊可以通过互联网、物联网、移动智能终端以及社交网络等搭建交流平台,实现纸媒科技期刊和网络学术数据库资源同步以及无时间限制、无地域限制的资源共享。在这个平台上,学者可以更方便地获取各领域的学术资源,随时随地发表个人学术成果,与其他学者进行学术探讨及交换意见等。大数据更易满足用户需求,更好地提升了用户体验:一些国外期刊与facebook和twitter等集成,深化了期刊的服务内涵;也有一些期刊增加了数字技术,例如读者可通过扫描期刊上的二维码观看一场手术视频等。这些全新资源使学术交流更加便捷、更加个性化,同时也推动了学术研究成果的传播。
就大数据时代而言,青年编辑具有一定的优势,主要体现在:
①青年编辑对互联网、物联网、移动智能终端以及社交网络等平台较为熟悉,运用起来更得心应手。
②青年编辑的思维敏捷、思想活跃,好奇心更强,适应新事物、学习新知识的速度更快。正因为青年编辑具有新时代的种种优势,所以更应该不断学习,不断完善自我,从而适应新时代的要求。
大数据时代对于青年编辑而言既是机遇也是挑战。青年编辑要积极探索新技术在收发稿件、编辑加工、稿件校对、图文编排等编辑出版环节中的应用,利用新的技术和手段提高编校效率、拓宽思路。为此,在基本编辑技能和专业知识的基础上应具备下列几方面的素质。青年编辑应该熟练应用一些基本软件:主要的绘图软件Visio、Origin7.0、Chemoffice、AutoCAD;图片效果处理的常用软件Photoshop、Illustrator、Coreldraw;数学公式编辑软件MathType以及排版软件Latex等。青年编辑要了解编辑行业不断更新的新技术:DOI作为数字对象唯一标识符,是云计算背景下最佳的“大数据”样本存储和应用技术;CrossRef推出的CrossMark可使读者了解该篇论文的“前世今生”,包括这篇论文是否更正或修改过,哪篇博客或哪些媒体介绍过该论文,以及该论文被下载的次数等;ORCID使作者能够跨学科、跨机构地将自己的身份连接到研究对象,如数据集、设备和引文等,且该身份是唯一的;Cited-by引文追踪服务可以使出版商和作者了解该论文或期刊的引用情况;FundRef主要用于资助情况(机构、项目名称等)的规范化,也可让资助者了解产出情况。青年编辑应熟练地掌握和应用英语,只有具有一定的英语阅读和英语写作能力,才能迅速地了解并跟踪国际学术发展的走向和国际科技期刊的前沿信息,及时发现并纠正英文摘要和英文题目中出现的错误并检查英文文献的引用是否恰当,才能使科技期刊与国际接轨,提高期刊的影响力。
二、积极面对改革
在我国科技期刊编辑还埋头于日常繁琐的编辑业务时,国外期刊的经营模式和出版方式已经发生了翻天覆地的变化。我国期刊这种规模小、实力弱的发展状态已经无法适应当前的“国际化”趋势,更无法与国际出版集团相抗衡。为此,、教育部、原新闻出版总署等一直在积极推动科技期刊改革。面对不断深化的体制改革,青年编辑的首要任务是转变思想观念,认清科技期刊的改革形势和政策环境,不再闭门造车,从传统的繁琐重复的工作中走出来,努力接受新事物、新思想,提高网络运用能力和计算机运用能力,只有这样才能为改革做好准备。
三、结论
篇6
>> 大数据关键技术 大数据关键技术分析及系统实例分析 浅谈大数据基础理论与关键技术发展 电力信息大数据高速存储及检索关键技术研究 电力大数据可视化系统开发关键技术研究及趋势 投资统计大数据处理关键技术 基于大数据的信息系统关键技术 浅析云环境下的大数据关键技术 面向大数据的Deep Web数据系统关键技术研究 大数据安全和隐私保护技术体系的关键技术研究 移动数据库关键技术及应用探讨 社会网络大数据分析框架及其关键技术 农业云大数据自组织推送关键技术综述 基于大数据的信息系统关键技术研究 云计算环境下的大数据可靠存储关键技术概述 面向大数据的分布式系统设计关键技术研究 大数据时代下软件工程关键技术分析 移动互联网的大数据处理关键技术 电信运营商大数据变现之关键技术 移动通信网络中大数据处理的关键技术 常见问题解答 当前所在位置:l.
[4]Big data[EB/OL]..
[18]丁智,林治.MapRdeuce编程模型、方法及应用综述[J].电脑知识与技术,2014,10(30):70607064.
[19]江舢,金晶,刘鹏展,等.分布式海量数据批处理技术综述[Z].中国科技论文在线,2012.
[20]吴哲夫,肖鹰,张彤.大数据和云计算技术探析[J].互联网天地,2015(4):611.
[21]马红玉,张柳.大数据中的可视化分析技术[J].山东农业大学学报:自然科学版,2014,45(s):5658.
篇7
关键词:大数据;数字图书馆;数据库
中图分类号:G252 文献标识码:A 文章编号:1009-3044(2016)22-0261-04
Abstract: With the development of the Internet, information technology is developing fast, big data, cloud computing, Internet of things, such as vigorous development, the age of the Internet to a new level. In this paper is based on digital library as the background, study of characteristic database in the two projects and related statistical data.
Key words: big data; digital library; the database
从这个“大数据”展上看到了什么?2016年5月25日,中国大数据产业峰会暨中国电子商务创新发展峰会在贵阳开幕。国务院总理出席开幕式并发表致辞。在致辞中说,当今世界,信息化浪潮席卷全球,大数据、云计算、物联网等蓬勃发展,使互联网[1]时代迈上一个新台阶。今天的中国要把握住世界科技革命的历史机遇[1],按照创新、协调、绿色、开放、共享的发展理念,加快创新型国家建设,着力推进结构性改革尤其是供给侧结构性改革,推动信息化与实体经济深度融合发展,不断提升全要素生产率,努力保持经济中高速增长、迈向中高端水平。
表示,要通过简政放权放管结合积极培育发展大数据等信息网络产业。依靠改革推动发展,这方面需要市场主导,政府也大有可为。要打破“信息孤岛”和“数据烟囱”,推动政府信息共享,提升政府效能,让企业和群众办事创业更方便。除涉及国家安全、商业秘密、个人隐私以外的数据,都应向社会开放。充分利用信息化手段完善市场监管,形成线上线下一体化监管格局,实现“人在干、数在转、云在算”。利用大数据等技术为民谋利、解民所忧,促进形成公平普惠、便捷高效的民生服务体系。
我国数字图书馆的建设与发展,需要一大批高水平、高素质的图书馆专业队伍。
中国农业科学院农业信息研究所所长孙坦以“数字图书馆的发展与变革-面向语义信息环境的嵌入式图书馆服务”为题,从基于系统的服务变化、基于馆员的服务变化以及再造数字信息基础设施等方面对数字图书馆的发展与变革进行了详细论述。
浙江图书馆副馆长刘晓清以“数字图书馆建设与技术创新探索”为题,从数字图书馆的理想与现实、浙江数字图书馆建设、资源建设与整合、服务推广、数字图书馆案例的讨论、技术与服务创新探索等方面对数字图书馆的建设与服务作了讲解。提出数字图书馆是一个生态系统,数字图书服务要形成产品,追求用户体验的不断提升
1 大数据中数字图书馆和自建数据库分析
我们以中国知网电子资源为检索平台,以主题=“大数据数字图书馆”搜索,从发表年度,学科,来源数据库这三个方面进行统计,结果如下图、表。
图3和表3是分别对应的,从图表中我们看出,2002年一直到2015年,大数据的数字图书馆方面的文章基础都是在500-600篇左右徘徊,没有太大的发展和突破,图书情报与数字图书馆, 计算机软件及计算机应用这两个学科所占比例达到90%以上,来源数据库主中中国学术期刊网络出版总库占了7473篇,中国优秀硕士学位论文全文数据库占880篇,还有特色期刊占了316篇,还有一些中国重要报纸全文数据库和中国重要会议论文全文数据库有300多篇。
图6和表6是分别对应的,从图表中我们看出,2002年一直到2015年,自建数据库方面的文章基础都是在50-300篇左右,图书情报与数字图书馆, 计算机软件及计算机应用这两个学科所占比例达到95%以上,其他领域相对较少,来源数据库中国学术期刊网络出版总库占了3698篇,中国优秀硕士学位论文,特色期刊,中国重要报纸全文数据库分别只有100多篇.
从图6,表6中,我们可以看出,在大数据时代背景下,数字图书馆在近10年左右,创新和发展得很少, 数字图书馆在图书情报领域,计算机领域应用的比较广泛.
2 特色数据库研究
本文之前研究的课题《基于物联网技术的苗木种质资源管理应用研究》[2],再加上现在正在研究的课题《花卉资源的关联规则算法》为依据,
《基于物联网技术的苗木种质资源管理应用研究》项目中,数据库主要是搜集苗木信息,并设计相关数据库,研究的是苗木种质资源这块内容。
《花卉资源的关联规则算法》项目主要研究的是花卉信息数据中的相关内容。
这两个项目中研究的都是正对某一领域而专门制作的数据库的研究,《基于物联网技术的苗木种质资源管理应用研究》是针对苗木数据库而创建的数据库,《花卉资源的关联规则算法》是针对花卉数据库而创建的数据库,在苗木数据库中可以查询到苗木的形态特征,生长习性,繁殖要点,栽培管理,观赏应用以及其他的相关知识。通过对实物的认识,了解,可以加深课本知识,通过实践来认识书本上的知识,融会贯通。《花卉资源的关联规则算法》通过对花卉信息的收集,通过关联规则算法,找出相关性,通过后台特色数据库的研究,可以加深相关专业对花卉的理解,加大图书馆中花卉方面书籍的流通,从而方便管理,对花卉信息提供一定的决策支持。
3 结束语
“如果能够妥善应用大数据,我们可以拥抱更为美好的未来。”印度国家信息技术学院(NIIT)全球首席执行官帕特瓦尔丹说,大数据就像新的原油一样宝贵,对大数据的利用开辟了一个新兴领域。他说,过去三、四十年,中国发展迅速,这使得数亿人摆脱贫困,中国一直在发展服务业和电商产业,制造业正在迅速现代化,这些产业已经比较成熟,中国现在需要新的增长点。“我很高兴看到中国政府现在开始关注大数据、互联网产业,并把它们打造成经济发展新引擎。”
参考文献:
[1] 王浩, 刘冰, 张琳琳. 大数据时代高校图书馆信息服务模式发展研究[J]. 新世界图书馆, 2016(2).
篇8
一、存在的主要问题
我国在统计学研究生人才培养模式的创新和实践上存在的主要问题表现为:
1.培养目标不清楚。经济统计学和数理统计学在培养目标上,表述不清楚,主要以培养教学和科研的理论人才为主,特别是数理统计学,因为数理统计在统计学提升为一级学科之前为数学下设的一个二级学科,其培养仍然是数学人才,与当今对统计学的要求相差较远。而从学生的就业角度来看,应为应用型的复合型人才为主。就从培养目标来看,学校和学生以及社会对人才的需求上存在着很大的差异。所以如何将这几者统一在一起,发挥培养目标的导向性作用,变得非常重要。大部分没有明确要掌握的统计工具、数据来源问题。
数据来源主要分为四大类:问卷调查、网络数据、数据库、试验设计。针对这四大类数据来源,必须有相应的培养目标。如调查数据,就涉及到问卷设计、数据获取、数据自动提取、数据处理;网络数据如何利用爬虫技术?如何从大数据数据库提取数据?
2.课程体系陈旧、无法适应大数据时代。统计学提升为一级学科后,经济统计学和数理统计学的课程设置都不再适合统计学研究生的培养。而且以前的统计学的课程设置本身也存在着很多问题。比如:(1)课程涉及的领域不能更好地体现统计的应用性。统计学是一门综合性、适应面非常广的应用型的学科。而目前很多统计学研究生培养的课程体系过分注重理论的研究,比如数理统计学就过分注重数学基础类课程的学习,经济统计学只注重经济问题的一些简单理论分析。导致课程设置的范围狭窄,开设的交叉学科和跨学科课程较少,大多数研究生都被束缚在本专业的研究方向上,致使研究生视野不够宽调,科研能力和适应能力受到很大的限制。(2)前沿性知识在研究生专业课程中所占的比重不足。统计学课程内容较为陈旧,研究性、前沿性不够,有些课程内容没有反映出统计学学科领域内的一些最新知识和科研成果,尤其是一些反映统计学学科领域的热点、重点的研究以及未来发展趋势等前沿性的知识,很少能够及时地反映到研究生教育的课程内容中。(3)研究生课程创新性不足。统计学研究生层次差距很大,比如数理统计学的研究生很多本科为数学专业,很多统计学的基础课程没有开设,而有些同学本科为统计学专业,致使硕士生课程与本科生课程拉不开档次,教学内容重复,教学方法与教学形式比较单一,大都采取以讲授为主,讨论为辅的授课方法,部分课程因为没有较严格的课外文献的阅读要求,致使课堂上的讨论较难深入,考试以论文形式,学生通过率很高,课程结束后学生收获不大。
3.实践环节未得到应该的重视和体现。传统的统计学研究生在实践教学环节方面比较欠缺,不重视诸如统计软件、实习实训、实验课程、产学研合作等,缺乏数据环境。
4.考核制度没有真正得到落实。在研究生培养模式中,考核制度起着筛选、分流、淘汰、激励的作用,对研究生的培养质量起到了保障作用,但实际中很难真正落实。一方面,是因为研究氛围不浓造成的,另一方面,部分学生为就业奔波,投放在论文上的精力不够,再加上经费不足,这在一定程度上影响了毕业论文的质量。统计学硕士研究生的培养还需要从整体优化的角度去研究与实践。
二、统计学硕士生人才培养构建
如何构建统计学研究生人才培养的新模式必须回答三个基本问题:为什么要构建新的培养模式?新的培养模式主要有哪些内容?怎样进行构建?必须明确新的人才培养模式目的,在于提高研究生教学质量和专业人才培养质量,从而适应当今社会对统计学高层次人才的需求;必须明确新的人才培养模式的具体培养目标,从而进行具体构建。
首先需明确制定新的人才培养模式的途径和措施,以下主要从新的人才培养模式构建的具体内容、思路和方法方面进行研究与实践探索。
1.培养目标的明确及其导向作用的发挥。随着研究生的不断扩招,培养以教学和科研的理论人才为主的培养目标已经不再适应社会的需求和发展,特别是统计学本身就是应用型的学科。研究生人才成为了推动生产力发展的直接力量,所以应用复合型的人才更多地被社会所需要,所以明确培养目标是研究生教育成功的第一步,而真正发挥科学的培养目标的导向作用是研究生教育成功的关键。
2.统计学研究生课程体系的完善。课程体系是人才培养模式的重要组成部分。完善统计学学科研究生课程体系是统计学研究生人才培养模式的关键。统计学学科研究生培养模式的课程体系建设创新,应在思想方法上真正重视统计学研究生课程体系建设,真正体现课程建设的创新性,不断加快和完善统计学硕士生课程体系的设计、创新、内容修订和评估体系,以适应新兴学科、边缘学科和交叉学科发展对研究生知识结构的要求,并精选课程内容,编写高质量教材和改进课程教学方法,建立合理、完善的课程检査评估体系,为提高研究生课程教学质量提供坚实的保障。
3.强化实践教学环节和统计软件应用能力。开始针对统计学研究生的实验课程体系,强化统计学软件如SAS、R、SPSS等编程与实际问题的实现等,强化与企事业单位的合作,从毕业论文、专业实习等方面加强合作,提升研究生的实际动手能力,让其初步具有在企事业单位从事相关工作的能力。同时需要强化研究生的统计软件的学习和应用,现今数据量越来越大、数据结构越来越复杂,使得要解决实际问题必须熟练掌握统计软件的使用和编程,否则无法很好地完成处理、分析数据的实际需要。
4.构建科学合理的考核制度。现在大多数考核仍为考试驱动型,学生只会考试,没有形成有效知识结构,应用实践能力弱。对于应用性较强的一类课程应该从大作业、专题报告、程序编写、软件应用、讨论、上机操作、考试等多维度进行知识水平测度。构建科学合理的多样化、多元化的考评范式,对学生产生潜移默化的影响。强调课前、课中、课后的相互联系,增强学生自学能力,强化师生互动,把学生从应考能手培养成具有创新意思和实际动手能力的科研好手。同时还要不断完善学术规范,将其纳人考核范围之内,建立健全一套科学、合理、共同遵守的学术规范,对学术不端行为加以监督和惩处,以净化研究生的学术环境。要不断提高学位论文质量并将其作为考核研究生创新能力的一项指标。
三、培养模式构建的具体内容
1.重构统计学硕士课程体系:学位课,基础课,实验课,实践课。学位课注重统计学基础的搭建,基础课拓展学生统计基本方法,实验课培养学生动手能力,实践课的培养让学生适应数据环境。大数据分析需要的基本知识领域:(1)数据的存储、管理:数据库、数据仓库、数据集市、分布式数据库,云存储、云计算、分布式、动态式存储;(2)数据ETL、处理:多源异构、非结构化数据的清洗、转换、综合、优化,文本处理、日志处理、图像、视频处理等,注重数据质量、数据管理等;(3)数据统计分析与挖掘:时序、多源、多元、面板、大数据、非结构化数据的统计、预测、挖掘、开发等;(4)数据可视化i可视化是基本要求,可视化易于接受,直观形象;(5)大数据分析案例:必须引入金融、电信、电商、移动互联、医药、零售、能源等领域的大数据真实案例,丰富认识。
2.合理分配各课程模块的学分和学时,注重实践课程的设置,大部分院校硕士生课程主要以理论为主,强化实践教学及其重要。
3.主动适应大数据,开设大数据相关课程,如大数据平台、计算平台、编程平台、数据平台、可视化平台等。
4.强化实践教学环节,提高前沿性知识课程所占比重。
5.合理开设交叉学科和跨学科课程。
篇9
Abstract The arrival of the era of big data endows the library with new service content and requirements. In the aspect of open data services, libraries need to switch roles, and to provide users with collections catalog, data governance,open access, knowledge discovery, semantic analysis and other services.
Keywords big data;open data;library service;knowledge discovery;information organization
大数据带来的信息风暴正在变革人类的生活、工作和思维[1]。在大数据时代,渗透到各个行业、领域的数据成为了推动社会发展的要素之一,因此有人称大数据时代的数据就是“金矿”。但这种“金矿”的价值挖掘与实现需要借助相应的技术与平台,也需要人类智慧的参与,于是,对大数据资源的高效利用成为了相关业界如IT、企业、科研等普遍关注的问题。以信息组织、信息利用为所长的图书馆,也感受到了大数据时代所带来的变化,在近年来也展开了大量的图书馆视野下的相关理论研究。
大数据带给图书馆的影响与变化主要是数据的变化,即图书馆从面对传统的有序、单一、少量的结构化数据如数据库数据向无序、多元、海量的非结构化数据、半结构化数据方向转移。其中,作为大数据组成部分、集合了理念与实践的开放数据(Open Data)也受到了关注与研究。本文在概述大数据与开放数据的基础上,对开放数据视角下的图书馆角色进行了审视与分析,最后对大数据时代开放数据环境下的图书馆创新服务如数据监管、知识发现等服务进行了列举和概述。
1 大数据与开放数据概述
1.1 大数据
目前,业界对大数据还没有一个明确的定义,但也一般都认为大数据是不可能用常规软件和分析工具进行分析的巨大数据集[2]。此外,大数据既有结构化数据,也有非结构化数据和半结构化数据,涵盖了文本、数字、图像、视频等多种类型,并可跨越多个数据平台,如社交媒体网络、网络日志文件、传感器、智能手机的定位数据、数字化文档及归档的照片和视频等[3]。
1.2 开放数据
互联网与开放获取(Open Access,OA)运动的发展,既使得人们的信息交流更加便捷与方便,也让对开源和开放知识、数据、资源的利用逐渐成为人们获取信息的主要组成部分。由此而产生的自由开放思维也成了人们信息获取的主要思维,总是期待着出现解决不局限于软件、开放格式和数据自由公开与再使用的开放信息,于是一种实现了更广范围的公开与再使用数据即开放数据便应运而生。
对开放数据的定义存在争论,不同的组织、机构也存在不同的理解视角,但对于开放数据的内涵即其是一种理念及实践、数据不受版权与专利等机制限制、可以被任何人自由获取还是都能接受与认可。有学者也曾对开放数据的内涵阐释为:按照用户特定的需求和一定的互联网协议、规则、框架,对Web数据进行存储和组织的活动,而利用的数据来自不同的数据源或是不同的数据类型,最终目标是实现信息在网络空间的开放、共享与重用,以寻求信息数据最大可能的无限获取与重用[4]。
开放数据与一般的数据相比,其最大的特征就是数据集增值方式,即对象数据包含了所有的事实、数据、信息乃至智慧和知识,也不如其它传统数据可以直接获取、利用和分析,依赖于见证者而存在,不是我们接受或不接受的数据或其它,是我们给予、分享和接受的记忆[5]。同时,开放数据还具有开放性增值方式,因而在用户多、普及率高的政府网站及公共信息服务、商业应用等领域应用广泛,目前,英、美、澳等政府和淘宝等商业组织都应用开放数据进行信息公开等服务,以增强与公众、用户之间的交流与互信。
2 基于开放数据视角的图书馆角色审视与定位
在开放数据的具体实践如开放存取运动、开放研究出版、科学家电子实验笔记开放及科学知识的出版与交流等形式中,图书馆都是各个实践形式的主要参与者与推行者,但由于开放数据运动目前在各国的实践主体主要是政府,并且世界主要发达国家如美国、英国、法国等也均承诺政府将把公众的需求放在重要位置,通过征求公众意见逐步开放有价值的数据集,体现了政府在开放数据运动中的绝对推动者、践行者地位。在这种环境下,图书馆必须准确定位自己的角色,发挥自身优势为开放数据的发展提供服务,如基于开放数据的馆藏目录、开放获取等。
Hope Leman认为在开放数据运动中,图书馆员是知识工具箱与支持专家,即实现对概念的知识注释、实验及相关技术研发的知识支持[6]。我国学者刘春丽、徐跃权则认为在开放数据环境中,图书馆可能扮演与研究周期各个阶段的科学产出匹配的知识服务中心和开放数据的管理和保存中心两大角色[7]。
(1)知识服务中心。随着科学研究的周期不同,图书馆在科研过程中所发挥的作用和提供的服务也随之不同,如在科学研究的概念阶段,图书馆可为进行科学理念、研究计划讨论的用户提供开放书目等服务,并将讨论结果等形成新的知识分享数据;在数据分析与出版阶段,图书馆可借助于在开放存取期刊发表、提交到机构知识库中等途径将科学研究的结论、实验数据、科研过程等进行开放获取与共享交流;在同行评审阶段,图书馆可以发挥科研情报中心的作用,基于学术社交网络及开放存取平台,分析科学研究论文与数据的使用与评价活动,提取基于使用与评价的选择性计量指标(Altmetrics),对科学论文和科学数据的科学价值进行评价,进而评估论文与作者在某一个研究领域的学术影响力[7]。
(2)开放数据的管理与保存中心。欧洲研究图书馆协会主席Paul Ayris博士认为在科学研究的开放工作流中,要增加专业图书馆的可见度,要重视科学数据的再利用及科学数据保存的可持续性[8]。笔者以为在以数据密集型为科学研究特征的第四代科研范式下,数据特别是产生于实验、记录了科研过程等重要信息的科学数据是科学研究所重视和再利用的数据对象,图书馆有责任与义务扮演开放数据管理与中心的角色,以为科学家等用户群体提供开放数据的检索、分析、保存等服务。基于开放数据的连续利用视角,图书馆还需进行诸如开放数据的关联与、标示与引用等服务。
3 大数据时代的图书馆开放数据服务
大数据带给社会以数据驱动的社会创新与发展动力,因此如美国总统科学技术顾问委员会给总统和国会的报告所说“联邦政府的每一个机构和部门,都要制定一个应对大数据的战略”[9]一样,包括政府在内的社会各个机构如美国政府、欧盟等都制定了应对大数据的战略对策。2010年11月,欧盟通信委员会向欧洲议会提交了“开放数据: 创新、增长和透明治理的引擎”报告[10],首次将开放数据与大数据关联到了一起,并以开放数据为核心,对大数据时代的挑战进行了战略部署。但将大数据概念应用到开放数据上,则首先意味着数据的规模和类型有了变化,产生于社交媒体、智能终端、传感器上的海量非结构化数据、半结构化数据都是开放数据的范畴;其次,意味着数据的应用发生了变化,即数据不再是单一领域的数据,而是覆盖了用户的所有需求领域,并可直接获取和应用。
大数据赋予开放数据的新要求也意味着大数据时代的图书馆开放数据服务将被赋予新的要求,笔者认为,大数据时代的图书馆开放数据服务,主要有:
(1)多领域数据源的整合与开放服务。从目前的开放数据运动发展来看,主要实践有开放政府数据、开放存取学术期刊与机构知识库,距大数据时代所要求的多类型、多领域发展程度要求尚远。图书馆由于有着涵盖了所有领域的丰富馆藏资源,是大数据时代数据开放与整合的最佳实践者。因此,图书馆可整合多方资源,如科技、人文、气象、政务等诸多领域的报告、实验数据等资源,进行数据的整合与开放,让公众通过图书馆的一站式检索服务平台来获取所需的数据。
(2)基于知识联盟的数据开放与共享服务。由于大数据时代的开放数据是整合了不同系统、政府和部门之间的数据集,这就需要建立一个数据共享和互操作的框架,如新泽西州运输部利用采集到的数据(在汽车制造商的管辖下)能够发现诸如拥堵和交通流等问题,而这些功能通常是由当地或全国的政府交通运输部门负责[11]。图书馆可借鉴这些成功的案例进行构建或参与到由政府、企业、社会机构组成的知识联盟,利用协作分析技术对数据和系统进行无缝隙整合。
(3)基于一站式服务平台的知识发现服务。数据“开放”的核心是为了用户更高效的发现和利用,以缩小信息所有者和用户的信息不对称距离。EDS、PRIMO、SUMMON等一站式知识发现平台的应用为图书馆的开放数据知识发现服务提供了方便,图书馆可应用这些平台对用户提供知识咨询等服务。
(4)数据的开发、创建、共享与转换服务。此类服务在图书馆界已有着成功的实践,如开源站点biblios.net采用了类似维基模式向图书馆界提供开放MARC数据的开发、创建、共享、转换服务,目前以3000万余条数据成为为全球最大的免费图书馆编目数据平台[12],德国国家图书馆[13]、大英图书馆[14]也宣布对外提供开放数据服务。
(5)数据监管服务。开放数据的检索、价值挖掘与应用实现,必须经过一定的排列、存档与管理过程,而这些数据有可能是来自于有数据组织经验和能力的政府、企业、公益组织等,也可能是来自于只提供数据而没有数据组织或没有组织意愿的公众、机构。图书馆可发挥自身的信息组织、信息分类特长,对这些数据进行修改、合并、标引、分析与索引,即提供数据监管服务,使数据集合之后获取最大收益。
篇10
大会热忱欢迎从事信息安全领域管理、科研、教学、生产、应用和服务的组织机构和个人踊跃投稿。所投稿件经过专家组评审后,录取论文将在《信息网络安全》(2015年第9期)杂志正刊上刊登,并收录中国知网论文库。《信息网络安全》将赠送国家图书馆等单位作为藏书收藏,并向录取论文作者发放稿费,专委会还将向优秀论文作者颁发奖金和获奖证书。
一、会议主题
2015年是网络强国战略的起步年。网络强国离不开自主可控的安全技术支持,只有实现网络和信息安全的前沿技术和科技水平的赶超,才能实现关键核心技术的真正自主可控,才能实现从战略层面、实施层面全局而振的长策。当前,信息网络应用飞速发展,技术创新的步伐越来越快,云计算、大数据、移动网络、物联网、智能化、三网融合等一系列信息化应用新概念、新技术、新应用给信息安全行业提出新的挑战。同时,国际上网络安全技术事件和政治博弈越来越激烈和复杂,“工业4.0”时代对网络安全的冲击来势汹涌。我们需要全民树立建设网络强国的新理念,并切实提升国家第五空间的战略地位和执行力。本次会议的主题为“科技是建设网络强国的基础”。
二、征文内容
1. 关于提升国家第五空间的战略地位和执行力的研究
2. 云计算与云安全
3. 大数据及其应用中的安全
4. 移动网络及其信息安全
5. 物联网安全
6. 智能化应用安全
7. 网络监测与监管技术
8. 面对新形势的等级保护管理与技术研究
9. 信息安全应急响应体系
10. 可信计算
11. 网络可信体系建设研究
12. 工业控制系统及基础设施的网络与信息安全
13. 网络与信息系统的内容安全
14. 预防和打击计算机犯罪
15. 网络与信息安全法制建设的研究
16. 重大安全事件的分析报告与对策建议
17. 我国网络安全产业发展的研究成果与诉求
18. 其他有关网络安全和信息化的学术成果
凡属于网络安全和信息安全领域的各类学术论文、研究报告和成果介绍均可投稿。
三、征文要求
1. 论文要求主题明确、论据充分、联系实际、反映信息安全最新研究成果,未曾发表,篇幅控制在5000字左右。
2. 提倡学术民主。鼓励新观点、新概念、新成果、新发现的发表和争鸣。
3. 提倡端正学风、反对抄袭,将对投稿的文章进行相似性比对检查。
4. 文责自负。单位和人员投稿应先由所在单位进行保密审查,通过后方可投稿。
5. 作者须按计算机安全专业委员会秘书处统一发出的论文模版格式排版并如实填写投稿表,在截止日期前提交电子版的论文与投稿表。
6、论文模版和投稿表请到计算机安全专业委员会网站下载,网址是:.cn。
联系人:田芳,郝文江
电话:010-88513291,88513292
征文上传Email 地址: