气象监测解决方案范文

导语：如何才能写好一篇气象监测解决方案，这就需要搜集整理更多的资料和文献，欢迎阅读由公务员之家整理的十篇范文，供你借鉴。

篇1

关键词：自动气象站；通信网络；管理；维护

中图分类号：TP文献标识码：A文章编号：1007-9599 (2011) 16-0000-01

Automatic Weather Station Communications Network Management and Maintenance

Zhao Weidong,Zhang Yan

(Dalian 91550 units,Dalian116023,China)

Abstract:This is an article based on the needs of the working practice,this article analyses the current automatic weather stations communication network management and maintenance technology,and mainly introduces the present situation of the strengthen automatic weather stations around the environment management,and tell us daily to ensure automatic weather stations normal work,how to establish and improve the communication network system and timely monitoring and maintenance stations communication network,and how to reduce adverse factors outside of the influence of communication stations,establish and improve the management and maintenance system solutions and specific application.

Keywords:Automatic weather stations;Communication network;Management;Maintenance

自动气象站是一种在没有人操作的情况下，依然能够自动的对气象采取定时观测、发报或记录的设置在地面上的气象观测站。它在节省人力以及对技术落后的偏远地区的气象观测起到了极其重要的作用。所以，如何管理和维护自动气象站的通信网络让它能够进行正常的日常工作以及更好的为人们提供准确的气象数据是我们必须尽快解决的问题。自动气象站通信网络的管理和维护，不仅是为了保证气象站正常工作，而且能够帮助管理及维修人员更加详细的了解自动气象站。由此，相关人员应引起足够重视。

一、自动气象站通信网络的管理和维护现状

（一）通信网络易被破坏，不稳定因素多

我们知道自动气象站被放置的地方往往是供电网络和通讯网络发达的地区，自动气象站的强大功能必须建立在正常工作的前提下。而目前影响工作的因素很多，一方面，通信网络只有在通讯网络和供电网络正常的前提下才能发挥作用；另一方面，极易收到外界不稳定因素的破坏，如电缆被老鼠或其他动物咬断或者在雷雨天气雷电对通信网络的影响也非常巨大。对此等情况，相关技术人员应采取措施。

（二）依靠计算机，易受病毒攻击

如今的生活中，计算机所占的地位是举足轻重，在各行各业中都能看到计算机的广泛应用以及强大功能。自动气象站通信网络同样离不开计算机，自动气象站既是无人操控，那么必然是依靠电子设备或计算机来负责观测以及资料传输工作，其重要地位可见一斑。我们知道，计算机各项功能极其强大，当然离不开正常工作的前提。计算机的缺点是极易受到病毒攻击而导致计算机瘫痪，不仅影响正常工作，其间所储存数据资料也容易因病毒影响而丢失或者乱码。所以，如何管理和维护计算机也是气象站通信网络管理和维护的重要部分。

（三）自动气象站需要频繁维护

不同于有人操作和管理的气象站，自动气象站由于“自动”这一功能，理想意义上应该是全自动，节约人力和资源的气象站。但事实上，为保持自动气象站里的传感器的敏感性，一些不稳定因素必须被经常排除，例如灰尘或是细小杂物会堵塞雨量传感器的漏斗，导致传感器故障。这些情况仅靠定期的清理是无法解决突发状况的，必须依靠频繁的清理及维护。

二、自动气象站通信网络的管理与维护问题的解决方案及具体应用

（一）加强自动气象站日常周围环境的管理，确保自动气象站正常工作

加强自动气象站周围环境的日常管理，确保自动气象站能够安全稳定的正常工作。为防止老鼠或其他动物咬断或是以其他方式破环电缆，是传感器无法将数据传送到采集器上，必须保证观测场内的较大空隙以及各类管口的修堵及定期查看，气象站里的设备会被强烈电流损坏，无法采集乃至数据缺失，严重影响工作。为此，预防雷击也是一个重要工作，必须保证每一样金属设备都严格接地，另外，气象站周围也必须做好避雷措施如在适当位置安置避雷针等举措。同时，为保证通讯网络的通畅，各台计算机以及网线之间和供电系统都必须安装防雷器，防止雷电的侵袭。

（二）建立更加完善和强大的通信网络系统

自动气象站的通信都是依靠计算机来完成的，它主要包括两个大的部分：一是自动气象站的局域计算机和省局计算机的通信网络，二是负责采集数据的采集器和计算机的串口的通信。两部分通信都是通过电缆电线和相关设备连接组成的。计算机既然作为气象站工作的核心，自然必须严格防止网络病毒的侵袭，气象站应购买安装正版杀毒软件，且定期杀毒和升级杀毒软件。自动气象站管理人员也应了解学习基本的故障维修方法，以便简单常见故障出现时能第一时间排除。

（三）努力降低外界不利因素对气象站通信的影响，建立完善的管理及维护体制

自动气象站能够应用于气象，农业，工业等行业中，离不开它具有的各类设备。自动气象站所包含有温湿传感器，气压传感器等已经采集资料的采集器等设备，这些设备的使用要求是非常严格的。基本上所以设备都必须做到定期清理灰尘杂物等工作，才能保证设备的正常运行。努力降低这些外界不利因素对自动气象站通信的影响，定期维护与检修，建立完善的管理及维护体制，保证通信网络的畅通。

三、总结

总之，当前自动气象站通信网络的管理和维护存在诸多问题，对于自动气象站管理者和维修人员来说都需要不断的了解及认真研究问题出现的原因和解决方案。这些问题的解决更需要的是气象站通信网络的了解和研究，指定科学的管理方案，及时更新检测和维修设备，此外相关管理维护人员也必须给予重视，仔细研究如何更好的管理及维护自动气象站，让它能更好的为我们提供准确的气象资料以及其他行业的各项数据。

参考文献：

篇2

关键词：气象条件、农业生产、气象影响农业

1各类气象条件下对于农业的影响

对农业产生直接影响的气象条件主要包括大风、连阴雨、低温冷冻、干旱、洪涝、冰雹六种。

1.1大风

当风力超过8级，风速超过17m/s的时候，都被称为大风。在我国出现大风的情况主要有三种：雷雨带来的大风、台风以及北方冷空气南下引起的大风。这三种大风中，第三种是最常见的。大风的危害较大，最常见的就是会摧毁树木、房屋、农作物、通信设备等，严重的话还可能引发风沙走石，这对于农作物的摧残是十分严重的。

1.2低温冷冻

低温冷冻对农业生产的影响也是非常大的。主要是由于冷空气以及寒潮的入侵，导致气温连续下降，使农作物的生长造成危害，最终的结果就是减产。

1.3连阴雨

连续下雨时间超过5天，累积的降水量超过30mm的天气现象就是连阴雨。连阴雨的天气情况下，因为雨水太多，空气里的湿度较大，同时光照减少，就会影响到农作物的生长，另外对于成熟的农作物的收割也会有很大的影响。连阴雨的天气状况对大豆、棉花、花生以及蔬菜的影响是最大的，会影响这些农作物的产量。如果在播种期间遇上连阴雨，需要推迟播种的时间，减少不良天气对农作物的影响。

1.4干旱

干旱是一种灾害性气象情况，是指在一定的比较长的时间段里，由于降水不足以及土壤蒸发导致的土地缺少水分，另外江河湖泊的水位大幅度的下降甚至出现干涸的现象，干旱不仅会对农作物产生影响，而且还会影响到人们的日常生活。相对来说，干旱是气象灾害中对农作业影响较大的一种，会导致农作物严重减产甚至零产量。因为干旱会使农业生产缺少基本用水，同时人和家畜用水也会出现严重问题，损失非常严重。

1.5洪涝

洪涝是指持续不断降雨，大雨以及暴雨等天气，使地势较低的地区出现积水甚至淹没的情况。在我国，洪涝一般主要发生在夏天，每年的降水量不等，但洪涝灾害发生频率较大。洪涝自然也会影响到农作物的生长，会令农作物出现较大的减产，严重影响到农业生产。洪涝也是对农作物影响最大的气象灾害中的一种，同时，也会对人们的日常生活甚至生命安全带来影响。

1.6冰雹

冰雹的危害也是非常大的，冰雹主要来源于对流强盛的积雨云。一般来说，冰雹和雷电以及狂风、暴雨一起降临的。冰雹有大有小，小的冰雹米粒大小，所造成的灾害并不会太严重，甚至不注意的话，可能都感觉不到正在下冰雹。但如果冰雹比较大的话，就会对农作物产生较大的影响，甚至可能会导致颗粒无收。

2农业气象灾害的发生规律

2.1具有较强的季节性

由于全球气候的变化，我国近年发生气象灾害的频率较以前要来得更高一些。通过对全国范围内发生的气象灾害情况进行的统计研究表明，农业气象灾害的发生具有非常明显的季节性。所以相关部门可以根据这类特点对农业气象灾害开展研究。

2.2具有较强的局部性

在我国的部分地区，气象灾害的发生往往不是单独的，而是几种灾害一起发生，特别是在一些特定的时间和区域里。比如在我国的一些地区每年都会出现冰雹和霜冻，这种发生气象灾害的规律很明确地指明气象灾害的发生具有比较强的局部性。

2.3具有较强的区域性

通过对近年气象资料的对比发现，降水量较多的地区，其发生洪涝灾害的概率也就越大。这些地区一般地势都比较低，而且河网众多。而像台风这类的气象灾害则多发于沿海地区，内陆发生的比较少。

3减少气象灾害对农业生产的影响策略

3.1提高准确性、针对性和及时性

创建综合性的专业的农业气象监测站，监测的目标主要包括田地、自然环境、交通出行、林果业等方面，展开全天24h的不间断监测，提高综合的监测能力和准确性。根据农业生产的实际要求，建立新型的农业气象服务体系，重视气象情况播放的时效性，把短时间播报和固定的滚动播动进行结合。开发气象服务新领域，充分利用网络，搭建现代化、交互式的动态气象服务管理体系，帮助人们随时方便快捷的掌握气象信息。建设高效地服务制度，加强基层的合作，确保气象信息精准、按时的传达到农民那里，以引导农民进行科学种植。

3.2提高防御能力

农民朋友对于防御灾害的能力比较弱，主要是对气象知识的认知不够，这就要求基层政府多下功夫，介绍关于气象灾害的基本知识以及解决方案和预防措施，引导正确的、科学的防御灾害。政府还应该建立起相应的气象科普机制，积极的、多形式地开展气象宣传，普及与气象相关的知识，把宣传做到每家每户。

3.3建立完善的灾害防御机制

有关气象部门一定要强化针对自然灾害防御机制的研究力度，强化自然灾害防御管理体系的搭建强度，对于常见的农业自然灾害，要强化评估、预警机制、气象预报和数据监测的力度，充分运用现代化的科学技术，持续地发展健全自然灾害防御的信息化系统，提高自然灾害防御能力，实行季节性的自然灾害气象预报，强化自然灾害的核查强度，强化农村地区的雷电预警机制。针对自然灾害防御设施要实行定期的检修，保障设施正常的运行。

3.4掌握气象规律，调整农业布局

相关部门的工作人员需要足够了解环境的变化对于气象的影响，掌握气象变化的规律，适时调整农业布局，达到农业生产和气象条件相互利用的可持续发展，从而实现现代农业高产高质的经济目标。

3.5建立农业灾害保险与补贴机制

建立适合我国实际情况的自然灾害农业保险体系，由政府组织和商业保险参与，将补贴和扶持相结合的适合我国国情的农业保险体系，可降低自然灾害给农业生产带来的损失，提高农民积极性。

篇3

2008年6月20日，随着北京奥运会的日渐临近，公众对于奥运期间气象状况的关注度也是与日俱增――根据不久前出版的《第二奥运会及第十三届残奥会气象服务手册》，奥运会期间出现降雨的概率为37%，平均3天就会出现一次降雨过程。如何充分利用雨季带来的大量雨水资源，在保证奥运期间场馆和景观用水的同时，实现环保节水？在奥运全球合作伙伴美国GE公司全体员工看来，应用世界级水处理技术的“鸟巢”将为国内各类大型基础设施起到积极的示范作用，进而彰显北京奥运‘绿色’与‘科技’理念的完美结合。

国家体育场雨洪利用项目总设计师，中国建筑设计研究院建筑节能与新能源工程中心副总工程师刘鹏表示：“‘鸟巢’背后有一个规模庞大的世界级雨洪综合利用系统在24小时不间断运转，可以将赛场及周边区域的雨水收集、净化后，提供给场馆使用。率先采用领先环保科技的‘鸟巢’既凸显出北京市政府积极贯彻实施‘绿色奥运’理念的种种努力，也展示了北京奥运所秉承的追求‘人与自然协调发展’的生态文明观。”

“鸟巢”雨洪综合利用工程的面积相当于六个足球场，整个系统的雨水收集面积达22公顷，年回收利用总量约6.7万立方米，设计日净产水量为2,000立方米。遍布于场馆及周边绿地的收集引流系统可以将雨水汇集至6座地下蓄水池中，其最大储水能力高达12,000立方米。据有关部门评估，北京年平均降水量为630毫米，城区每年的雨水利用潜力达到1亿立方米。由此估算，“鸟巢”蓄水池每年可以填满16次。经净化处理后的“雨水”可用于场馆绿化、赛场用水、空调冷却、道路和汽车清洗，以及洗手间冲洗等，且水质远高于国内中水回用标准。

“鸟巢”周边草木成荫――百余株常绿乔木、数千株落叶乔木和灌木、近8万平方米的草坪时常需要灌溉维护。在北京这样一个人均水资源占有量不足300立方米的水资源稀缺的城市，既要为这些绿色植物“解渴”，实现和谐生态，又要兼顾水资源节约，这使奥运主会场的设计者们一度面临着前所未有的挑战，而雨洪综合利用工程则从根本上解决了这一难题。系统配备了中控机房，借助先进的计算机系统来监测和控制雨水收集、处理及供水的各个环节――通过对雨水资源的有效收集、净化和回用，该系统每年节约的水资源足以注满一座9米高的足球场，因而可确保“鸟巢”70%的用水来自于回用水，其中23%则由雨洪综合利用工程提供。

回收后的水资源能否实现真正的“高效回用”，其关键在于净化。“鸟巢”雨洪综合利用工程的核心净化技术应用了奥运全球合作伙伴美国GE公司的解决方案――纳滤膜技术。简言之，系统收集的雨水将经过砂滤、超滤、纳滤三重净化步骤，方能投入回用――砂滤可去除水中的悬浮物、胶体等污染物；超滤则以小孔径膜技术滤去水中的细菌和大分子物质；纳滤则是用纳滤膜科技对双重净化过的水做进一步处理。作为膜技术在中国大型公共建筑领域的首个应用案例，“鸟巢”雨洪综合利用工程无疑为国内城市未来的水资源回收利用工作提供了鉴益。

GE消费及工业产品集团大中华区总裁兼首席执行官、北京2008奥林匹克业务总裁金飞翔（Jim Fisher）表示：“有机会深入参与北京奥运场馆建设，助力绿色奥运、科技奥运――GE对此深感荣幸。GE希望把领先的环保技术和产品引入中国，在推进‘绿色创想’的同时，助力奥运主办城市实现可持续发展目标，为中国‘循环经济’和‘节约型社会’的建设贡献力量。”

GE水处理及工艺过程处理集团大中华区总裁周威方指出：“‘鸟巢’雨洪综合利用系统所采用的膜技术凝聚了当前全球水处理科技领域的至高成就，代表着未来的发展趋势。随着该技术的广泛应用，产量和本地化成分的不断提升，相关技术和产品的成本优势也将逐步显现。绿色奥运仅仅是我们实现雨水回用的一个起点。从这个意义上说，绿色奥运为绿色中国树立了一个典范，也给出了一个标杆。”

链接

GE公司

GE梦想启动未来――GE是一家多元化的科技、媒体和金融服务公司，致力于解决世界上最棘手的一些问题。GE的产品和服务范围广阔，从飞机发动机、发电设备、水处理和安防技术，到医疗成像、商务和消费者融资、媒体以及高新材料，客户遍及全球100多个国家，拥有30多万员工。迄今为止，GE所有的工业集团都已在中国开展业务。GE在中国拥有超过12,000名员工，总投资超过15亿美元。如需更多资料，请访问省略/cn 和 省略。

篇4

SENSUS系统是什么？

SENSUS是沃尔沃汽车三大科技创新子品牌之一，代表了沃尔沃面向未来汽车智能化互联的创新方向，以随车管家（Volvo on Call）和智能在线（SENSUS Connect）两项功能为核心，包含移动互联（Connect）、服务（Service）、影音娱乐（Entertain）、导航（Navi）、便捷控制（Control）在内的全方位车载互联解决方案。沃尔沃“以人为尊”的品牌理念让SENSUS不仅具备充满科技感的外观，更拥有人性关怀的温暖内核：它的设计如同自身感官的自然延展，真正做到让生活更简单、舒适。

2015款沃尔沃S60L新增了SENSUS系统的34项功能，将为用户打造更加高效、智能及尊贵的驾驶体验。基于云网络技术的服务平台，在与未来互联技术和应用的对接上产生无限可能，让汽车真正成为互联世界的重要部分。SENSUS完美演绎了以云服务技术架构为代表的未来汽车车载互联的行业趋势。

随车管家=全能助手

沃尔沃随车管家，是一项车载智能多功能服务系统，它以驾驶者为中心，与手持移动设备同步，提供安全、安防、车辆情况检查等22项车辆管理功能，同时还能够为驾驶者的出行提供导航、生活服务预订等人性化服务内容。借助随车管家，沃尔沃车主能够更加便捷地掌握车辆动态，让出行变得更加轻松、愉快。

2015款S60L所搭载的随车管家同时身兼警察（安全、安防）、医生（救援保障）、保姆（自检、诊断）和秘书（信息服务）多项职责，进一步优化了S60L车主的用车和出行体验。其中，一键SOS的紧急求救功能，使车主能够在车辆发生事故时，自动向随车管家服务中心发送信号，告知车辆位置以及事故信息，服务中心则可报警并引导救援人员第一时间到达现场。此项功能终身免费，进一步凸显沃尔沃汽车对于安全的重视和保障。

随车管家还能够为车主提供防盗警报、卫星定位及车辆锁定等一系列安防功能，确保车辆安全。通过智能手机的APP客户端，车主还能随时随地用手机和自己的车辆进行对话。比如远程启动发动机，预冷、预热调节车舱温度；锁车或解锁车辆等。

针对中国用户需求，2015款S60L所搭载随车管家还提供三年免费的7天24小时I-Call服务，即车主可在车内要求后台服务人员以语音形式提供包括目的地查询，以及股票、天气、酒店和机票预订等服务，并远程输入到车内。

智能在线――语音控制的在线互联体验

沃尔沃智能在线，是基于目前最为先进的车联网云技术为用户提供12项安全可靠的互联及信息交互服务，带来便捷、易用、智能的全方位轻松惬意的车内互联体验。在2014年Telematics Update底特律大会上，沃尔沃智能在线荣膺“全球OEM信息娱乐解决方案奖”（Global OEM Infotainment Solutions Award）。智能在线基于云技术的服务平台能够在未来持续更新和分享车载应用，让行车生活变得更加愉快并富有乐趣。

2015款S60L全系标配的智能在线功能支持语音控制，只需用户发出语音指令即可完成声控导航、声控电话和声控收音机三大功能。驾驶员双手无需离开方向盘即可进行操作，实现更简便人车互动的同时也保证了行车安全。

值得一提的是，针对中国市场，沃尔沃智能在线不仅提供了百度、豆瓣、蜻蜓等符合中国用户使用习惯的应用软件，天气预报中还增加中央气象局和环境监测局实时的AQI空气质量指数和PM 2.5监测功能，为用户的健康出行保驾护航。

世界级云技术服务

沃尔沃汽车是少数通过云网络技术提供应用程序与服务的汽车厂商之一。为沃尔沃提供云服务的是全球最大的移动系统供应商爱立信公司和欧洲著名车载信息方案供应商WirelessCar。爱立信不仅提供端到端全面通信解决方案，同时也是全球移动通信标准化的领导企业。为沃尔沃Sensus系统，爱立信与WirelessCar量身定制了两个云端，向中国用户提供了全球一致的车载互联体验。

篇5

随着数字多媒体技术、高容量硬盘存储技术、视音频智能识别技术的成熟，以语音和图像识别为基础的广播电视监播系统已成为广播电视监播的发展方向。传统广播电视监播系统主要是人工监播和硬盘录像，存在监播成本高，效率低等特点。为了对天气预报节目及广告进行监播，掌握各档节目播出的时间，分析统计各广告播出情况，更好地服务广大广告客户，福建省气象影视中心紧随新技术的发展，建立了适应气象影视经营发展的智能监播系统。

二、气象影视节目监播的重要性

气象影视事业经过三十多年的发展，已经在全国的省、地甚至县的各级气象部门得到普遍的开展。各地大多建立了相应的气象影视制作和经营部门，小仅进行天气预报节目的制作，还开展了气象影视广告的经营，俨然成为一个个小电视台。

福建省气象影视中心自开展气象影视节目制作以来，便伴随着气象影视广告的市场开发和经营，并且在1991年特别成立了福建省新气象广告公司专门负责广告的经营。目前，广告公司承担了福建电视台八个频道、十八档节目、二十四个播出时次的“天气预报”节目广告的市场经营开发，涉及对数十家广告企业与客户的服务。

为了及时了解气象节目的播出情况，满足客户对广告播出情况的监督，必须对各个频道节目的播出时间和播出内容进行监播和采集。一方而，经过对采集到的节目视频的分析，确定各档节目播出时间的准时性，及时向各电视频道反馈节目播出时间的偏差并协商纠正。同时，审查各广告播出的编排和播出情况，及时向客户提供广告播出视频和监播报告。另一方而，通过保存节目和广告播出的完整视频及播出资料，以备与电视台及广告客户出现争议时提供必要的依据。多年实践证明，进行气象影视节目播出的监播是气象影视经营顺利发展的重要保障。

三、福建气象影视监播系统的发展

福建省气象影视中心使用的节目监播系统已经历了三代的技术模式。第一代是二十世纪初购置的多通道硬盘录像机。该系统采用全时段录制、全人工检索的技术模式。全时段录制需占用大量的硬盘空间，硬盘存储录制视频的时间跨度少，无法进行长时间的检索查询。同时，存在检索工作繁琐，费时费力、效率低下，设备故障频出，并们-.们小能客观记录监播结果等诸多缺陷。但是，基于当时的技术发展和资金投入能力，系统还是较好地应付了对节目和广告的监播需要，并为中心以后的节目监播技术发展积累了经验。

(二)引进了网络硬盘录像机进行节目录制和广告监播。该系统可采用全时段录制和定时录制的方式。使用定时录制方式可大大减少硬盘占用空间，增加节目视频的录制和保存长度，方便节目和广告的检索和查询。但是，采用定时录制也会出现因电视台节目播出时间临时调整而录制小上的现象。虽然该系统也提供网络检索功能，可无需在硬盘录像机上进行操作即可进行检索，但功能较为简单，仅提供一般的检索、查看、下载功能，无法进行有效数据统计分析。

(二)随着图像处理技术与模式识别技术的快速发展，基于电视内容，依靠u而特征(人体特征和物体特征)来进行u而识别的技术得以实现。系统能在高速CPU技术的支持下，对视频u而的关键部分进行建模，并与原有模板库进行比对，从而精确识别电视的内容。

利用集监看、视音频/TS流收录于一身的多格式网络监测收录系统，依靠专业开发的收录软件及网络传输技术，实现了对RF/ASI接u,cuss接u,sDI接u,aEs接u和IP网络中点到多点的高效数据传送，有效节约网络带宽，降低网络负载，大大提高数据传输的效率。智能高效的系统设计可降低设备的造价，提高系统的工作效率和使用成本，可适应气象影视制作和播出的实际需求。经过充分的调研和分析，结介气象影视节目和广告监播的要求，通过与设备提供商的紧密介作，制定了气象影视智能监播系统的解决方案。

四、气象影视节目监播的基本要求

(一)根据福建电视天气预报节目在多个频道播出的实际情况，系统必须能够同时对多个电视频道的节目和广告进行同步监测和采集;

(二)电视天气预报节目的广告形式多样，包括平播广告、城市开窗广告、侧屏广告、角标广告等形式。除平播广告外，其它的广告形式都没有广告配音，也小是全屏广告(开窗或侧屏)。监播系统必须对小同形式的目标广告进行u而自动识别。

(三)监播系统记录的内容需要包括:播出节目和广告的名称、开始时间、结束时间、前节目、后节目、前广告、后广告、本组广告的数量，本条广告在本组所处的序号等。对目标节目和广告进行自动检索和列表统计、打印。系统支持节目和广告样本的跨频道、跨媒体识别，节目和广告样本能够适介于所有的广播电视频道。

(四)系统采用文件方式对视音频数据进行处理，能够自接对兼容的数据文件进行处理，充分保证了系统的可靠性，确保数据小会丢失。

(五)系统提供标准接日的播放插件，视频文件可以使用微软MediaPlayer接进行播放。并且提供转码工具，转换成DVD、VCD、WMV、RM等多种视频格式。

(六)支持多终端网络管理。在使用部门建立广告播出管理平台，实现广告播出的网络传输和交播手续的无纸化，及广告播出管理的互动和监督。

(七)系统可建立气象节目和广告政策的网络平台，方便广告客户的监看，实现自动提供播出广告的长度、时间、频次，以作为落实广告播出介同的依据。

五、监播系统的技术方案

主要技术特点

1.整个系统满足最多16路模拟电视信号24小时稳定运行实现监测录制，实现MPEG2\H.264压缩录制(压缩码流从SOOKb/ps一SMb/ps可调);

2.支持对信号的区域识别比对，通过文件的方式实现对实时信号的比对，当信号出现时即时录制。实现视频的预录制功能，可在5秒一60秒之间人工设置预录制时间;

3.采用FIFO(先进先出)原则管理系统存储，整个系统完全满足对所有频道的全时录制，录制视音频信号有1个月以上的存储量，并可根据需要扩充存储硬盘阵列，增加录制视音频信号的存储时间;

4.可实时叠加自定义的LOGO，时间，标志，频道信息等资料;

5.实现对录制素材的剪辑，介成，检索，统计，查询，浏览，回放等功能;

6.提供流媒体的接u,可在每个客户端实现TS流的整流录制和单PS流、单TS流录制功能。

7.系统具有可扩展性，系统的输入日可任意增加，可扩充至CVBS\HDSDI\SDSDI\ASI\AES等接u，只需要增力ii编转码模块即可，系统具有扩展和在线升级能力。

六、结语

气象影视节目监播系统的建设是完善气象影视服务的基础性工程。新一代天气预报节目智能监播系统根据模板库建立的节目片头和广告样本实现智能监播，对各个频道视频流进行比对，将需要的节目和广告视频录制下来，减少了硬盘占用空间，增加节目的存储时间长度。同时，通过网络连接可在各个客户端实现查询检索转码下载，打印统计分析报告等功能。经过统计媒介广告播出情况，对广告的客户类型、产品类别进行统计分析，有效挖掘潜在广告投放客户行业。

篇6

【关键词】日志分析 ELK 智能化运维

1 引言

大数据时代，随着存储与计算集群规模的不断扩大，气象部门业务系统的集群环境也已普遍。然而现在的机群系统不仅限于解决性能、可靠、可扩展性等层面上，更重要的是具有易操作性和内部数据共享性等。运维及开发人员通过日志信息不但可以知道系统运行状况、检查运行过程中的错误及排查原因，还可以知道服务器的负荷，性能安全性，从而及时采取措施纠正错误。

大规模集群系统中日志被分散的储存不同的设备上。传统方法通过使用命令工具如cat、tail、sed、awk、grep等等进行过滤输出后分析的方法由于效率较低与不再适用，明显增加了运维工作量。当务之急的工作就是要使用集中化的日志管理平台，将所有服务器上的日志收集汇总进行监控、分析。优秀的系统运维平台既能实现数据平台各组件的集中式管理、方便系统运维人员日常监测、提升运维效率，又能反馈系统运行状态给系统开发人员。

2 ELK简介

ELK是由ElasticSearch、Logstash、Kibana组成的开源日志处理平台解决方案。ELK能把这些日志集中管理，并提供全文检索、统计分析功能，不仅可以提高诊断的效率，同时可以起到实时系统监测、网络安全、事件管理和发现bug等功能。

2.1 ElasticSearch简介

ElasticSearch是一个基于Lucene的全文搜索引擎。基于RESTful web接口，提供了一个分布式多用户能力的全文搜索引擎。用Java开发的Apache许可条款下的开放源码。在云计算应用中，能够达到实时搜索，稳定，可靠，快速，且安装使用方便。

2.2 Logstash简介

Logstash由JRuby语言编写的日志采集解析工具，基于消息（message-based）的简单架构。Logstash由input、filter和output三部分组成，input负责从数据源提取数据，filter负责解析、处理数据，output负责输出数据，每部分都有提供丰富的插件。不同于分离的端（agent）或主机端（server），Logstash可配置单一的端（agent）与其它开源软件结合，以实现不同的功能。

2.3 Kibana简介

Kibana也是一个开源的分析可视化平台，它具有汇总、分析和搜索重要数据日志并提供友好的web界面的功能。他可以为Logstash和ElasticSearch提供的日志分析的 Web 界面，具有较好的展示效果，可以自定义多种表格、柱状图、饼状图、折线图，对存储在ElasticSearch中的数据进行深入挖掘分析与可视化。

3 日志分析系统

3.1 日志分析系统框架

基于ELK的日志分析系统的体系结构总体分为日志采集、日志预处理和日志分析三部分，如图1所示。

虽然单纯的ELK架构方式容易搭建，但是由于没有消息队列缓冲，存在数据丢失隐患，故本文设计的日志分析平_引入了消息队列机制。多个独立的Logstash agent（shipper）部署在CIMISS系统（26台服务器）各个日志生成host上，负责收集不同来源的日志，直接将日志输出到Redis队列（list）中；Logstash（Indexe）负责从Redis中取出数据，对数据进行格式化和相关预处理后，输出到ElasticSearch集群中存储；最后由Kibana呈现给用户做统计、分析。

3.2 ELK环境部署

3.2.1 基础环境准备

ELK日志分析平台采用两台安有Centos6.4系统的虚拟机作为集群，一台作为master节点，另一台为slave节点，master收集到日志后，会随机把一部分数据碎片到salve上；同时，master和slave又都会各自做副本，并把副本放到对方机器上，这样就保证了数据不会丢失。如果master宕机了，那么客户端在日志采集配置中将ElasticSearch主机指向改为slave，就可以保证ELK日志的正常采集和web展示。

3.2.2 ElasticSearch安装及配置

由于ElasticSearch和Logstash都是依赖于java环境运行，且对java版本要求较高，首先在两台ElasticSearch客户端逐台安装jdk8。然后安装ElasticSearch5.0.1，集群名设置为ElasticSearch，每台服务器的主机名为默认主机名，完成配置文件修改工作并登陆Web页面测试安装是否成功。最后安装head插件，它是一个用浏览器跟ES集互的插件，可以查看集群状态、集群的doc内容、执行搜索和普通的Rest请求等。

3.2.3 Logstash安装及配置

Logstash的安装较为简单，首先检查CIMISS系统中各日志生成服务器的java版本是否能够支持Logstash，如果版本较低的话创建新用户，安装高版本的JDK，同时配置环境变量。然后在日志生成服务器和客户端安装Logstash5.0.1，并编写简单的输入输出信息测试Logstash是否能够正确输出。测试完成创建一个配置文件，使用 input 、filter和 output 定义收集日志时的输入和输出的相关配置，启动Logstash时指定使用该配置文件。

3.2.4 Kibana及插件安装配置

解压安装Kibana后修改配置文件，由于Kibana需要一直运行在前台，因此选择使用screen启动Kibana。为了保证日志分析平台的安全性，在Kibana和ElasticSearch中安装x-pack插件。此时Logstash的配置文件中应将x-pack的访问权限配置到output。使用浏览器访问Kibana，在Discover中添加Logstash发送给ElasticSearch的index名，并在Query bar中输入日志中可能引起系统异常的字段，搜索结果会随着时间的推移显示在页面顶部的方直图中，如图2所示。同时可以保存关注的搜索结果，并在Visualize中创建柱状图，在Dashboard中监控。

4 结论

大数据时代的运维管理有着重大的意义，好的日志处理平台事半功倍的提升开发人员和运维人员的效率。本文提出了基于ELK实时进行大日志数据搜索的软件集成方案。采集CIMISS系统各设备上的操作日志、系统运行日志、进程输出日志、以及维护记录日志，发现和捕获海量日志中的异常行为和违规行为，通过分析日志快速定位系统异常，为保障气象部门系统系统安全提供支持。

参考文献

[1]https：//elastic.co/

[2]吕增辉，陶振凯，唐静.基于的对象持久化的实现[J].吉林师范大学学报（自然科学版），2009，30（01）：90-91.

[3][美]拉斐尔・酷奇，等.深入理解ElasticSearch[M].北京：机械工业出版社，2016.

篇7

这些现象其实都在说明一个问题：如果你对这些现象感到惊讶，那么你落伍了；如果你对这些现象感到兴奋，那么你看完本文一定大有收获。不过在展开之前，我们首先知道什么是大数据。

根据研究机构Gartner的定义，大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。从数据的类别上看，“大数据”指的是无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

通俗地讲，大数据具有4V特点：Volume（数据量大）、Velocity（实时性强）、Variety（种类多样）、Veracity（真实性）。更为重要的是，大数据还具有Value（价值）的特点。我们选取几个最具代表性的故事来说明大数据。

第1、草船借箭：大数据让你“神机妙算”

情节概览：草船借箭，想必读过书的人都知道这一历史典故。它发生在三国时期，由于周瑜长期以来“羡慕嫉妒”诸葛亮的才干，故意刁难并要求诸葛亮在十天内赶造十万支箭。然而，诸葛亮却表示不需要十天的时间，并以下军令状的勇气和自信，承诺在三天内就能提供这十万支箭。后来，当然如诸葛亮所料，轻轻松松地利用“草船”“借”到了曹军的十万多支箭。

总结分析：“草船借箭”体现的是三国时代背景下，诸葛亮的足智多谋。但换在现在来看，“草船借箭”能够付诸实施，很大程度上得益于孔明对气象的准确观察和预测，这种观察预测和当今的天气预报本质上是一回事，只不过孔明加入了对当时所处形势的预判。

“草船借箭”和大数据有什么关系呢？对天象的观察是基于一种对风、云、温度、湿度、光照和所处节气的综合分析。这些数据来源于多元化的“非结构”类型，并且数据量较大，只不过这些数据输入到的不是电脑，而是人脑并最终通过计算分析得出结论。需要注意的是，单纯的概率统计和数据分析，失去众多非结构类型数据支撑的分析、结论都不是“大数据”。

当然，“草船借箭”只能算是大数据的雏形，并不能和当今真正意义上的“大数据”相比，但笔者希望通过这种人尽皆知的历史典故，揭开对“大数据”的更直观、更深刻认识。

第2、智慧城市：智能交通视频监控

情节概览：每次出门，是否总担心路上遇到交通拥堵？每次行车，是否总害怕前方遇上交通事故？这些问题，恐怕当今社会每个人都曾遭遇过。通过现有的IT技术在大数据时代背景下，完全可以打造一座智慧之城。

笔者曾在南京深刻感受到智慧城市视频监控系统给整个城市带来的变革。基于强大的云平台运行智慧交通云系统、云视频监控和智能分析应用，实时采集和处理南京1000个摄像头、每天数百TB的海量交通数据，并对整个南京140万机动车规模的交通数据进行实时查询和分析。

除此之外，云计算平台还可以跟踪车辆的行车记录、统计分析交通拥堵路段。以往需要人工参与并监控的交通拥堵和车祸等信息，现在完全可以交由该平台进行处理，主动分析摄像头搜集的各个路段信息，并分析视频、主动报警、主动通知用户。

总结分析：智慧城市，很大程度上就蕴含了交通作为城市动脉的数据流。通过视频监控，采集各个道路视频摄像头信息，并对比历史记录和实时车流、人流进行分析，可以计算和预测该路段当前、未来的交通情况，也可以动态调整交通状况并实时预警。其数据量之大、结构类型之多、实时性之高，足以体现大数据在智慧城市的应用前景和价值所在。

第3、生态中国：让大数据、云计算监测预警环保

情节概览：中国是一个人口大国，同时也是一个能源大国。其中，山西省更是以盛产煤炭资源而著称的能源大省。在过去的现代化建设中，在开采矿产和煤炭资源过程中，出现了很多破坏生态环境的做法。

然而，得益于物联网技术和IT技术的突破性发展，近年来，在开采矿产资源过程中破坏生态植被、出现生产事故的几率大大减少，相反还出现了可以实时监测并提前告警的智能化解决方案。

笔者去煤炭大省山西太原了解了这一发展动态。目前该省物联网、安全生产和节能环保、能源物流等项目都被整合到―个物联网云平台上，并通过“云端”的方式不断推进。具体来说，“云”负责承载业务并通过资源池化为用户（包括政府、公益部门和企业部门等等）提供接入服务，由嵌入式电路及其之上的智能终端设备组成的“端”，负责采集并实时监测全省各个煤矿（包括瓦斯含量、温度、湿度等数据），从而打造出智能化、自动后的“数字矿山”。除了煤矿物联网之外，还可通过公关物联网、环保物联网等服务平台，对地下管网（“地眼工程”）、污水处理、城市道路提供服务。

总结分析：坦白说，物联网并不是大数据，但物联网本身具有大数据特征，而且在发展的过程中也需要应对大数据这种挑战。对于传感器数据量已经达到PB级别、且结构化和半结构化数据日益增长的物联网平台来说，需要和企业一样共同面对大数据带来的挑战，挖掘大数据中所潜藏的巨大价值。

物联网，尤其是基于类似山西省的这种煤炭、环保、公益物联网平台，在遇上大数据的时候，更多的需要考虑甚至重新部署设计，以获得更为灵活高效的实时监控和预警，并帮助各类企业和环保等公益事业部门做出更科学合理的决策分析。可以预见，生态中国、美丽中国，需要物联网，更需要大数据解决方案。

第4、云平台：个性化自主学习

情节概览：教育是一个国家和社会最具灵魂性的领域。对于教育而言，关系到每个人的切身利益，而且伴随着每个人的成长旅程。教育可以改变人的命运，同样，教育方式和教育理念也可以改变人的一生。不同于以往的“赶鸭上架”式教育模式，借助信息技术在二十一世纪的教育模式将发生根本性转变。这些转变中，以“个性化学习”模式最具变革性。比如在重庆石堰镇中心学校，采用了一种“一对一数字化学习”的模式推动传统教育的变革。

具体做法是，通过引进英特尔“一对一数字化学习”项目，前期先在实验班开展实施，给每一个学生都派发个人学习终端（小电脑），并在一对一数字化教学环境下，加强互动教学与整合信息技术的培养，将传统的学习以教师为中心转变为以学生为中心的自主、交互式教学。如何实现个性化学习呢？让学生融入到快乐自主学习的状态，培养知识探究的求学精神，最后还会通过课程标准和学习评价系统，对每个学生在不同科目上的学习进度、兴趣爱好、知识关联上的不同，针对性地做出教学指导和建议。目前，该学校已经全面开展了这种个性化数字学习模式。

总结分析：“一对一数字化学习”并不一定是最理想的个性化学习模式，但却是目前最具实践性并帮助取得教育信息化改革突破的最好方式。个性化学习，会通过学生在自己的学习平台上的多媒体学习资料、学习进展、互动（包括书面和音视频）、自主学习（利用平台主动学习相关领域科学知识），帮助学生完善知识结构并加快学生对自身兴趣爱好的挖掘和特长的培养。

对学习评价体系，也会根据每个学生的这些行为特征和学习内容，对考核和科目设置进行评价，并最终帮助培养学生早日成为创新人才。虽然单个学生的各种数据（结构、非结构）量并不一定很大，但从整个教学模式的转变，尤其是在教育信息化改革的背景下，这种学习方式也体现出了基于大数据的个性化学习发展方向。

可以预见，未来个性化学习终端，将会更多的融入学习资源云平台，根据每个学生的不同兴趣爱好和特长，推送相关领域的前沿技术、资讯、资源乃至未来职业发展方向等等，并贯穿每个人终身学习的全过程，也就是个人云平台中贯穿自己终身教育的应用。

第5、网络求职：“上位”变得更加简单

情节概览：求职，是每个学子走向社会的必经之路，也是实现个人价值最为常见的方式之一。在这里，我们讲的并不是大数据时代下涌现出的大数据相关岗位，也不是介绍大数据促进rr就业机会，而是如何通过大数据让“对”的人才更好、更快地在“对”的岗位“上位”。

网络求职，是广大求职者找工作的一种重要途径。从开始之初的简历制作、投放技巧到面试技巧等等，其实说的都是一个问题，以更好的技巧来找到更好的岗位。如果说传统的网络求职更多的是投机取巧的话，那么大数据时代下的网络求职则是智能分析。当然，这种智能化既有利于招聘者也有利于求职者。

网络上的每一秒钟，都有^在发电子邮件、在线交易、观看视频、内容检索等等。而网络求职更多的就是内容检索。1秒钟背后的上万亿URL，要求高效的数据检索和算法。互联网搜索经历了数据、信息到知识、智慧搜索的发展过程。目前的搜索引擎正处在从信息搜索向知识搜索发展的阶段。

近年来，在搜索领域出现了一种基于语义的分析搜索技术，这种技术在招聘求职行业拥有广泛的用途。通常来说，招聘流程包括三大过程：异构数据转化成同构信息、筛选并提炼信息、信息高效存储和推送。由于文化背景、语言背景、教育背景等不同而造成的表达方式不同，会导致人才简历、招聘启示、用户行为在表现方式上的不同。通过语义分析技术将它们转化成可以对比、关联、筛选的同构信息，并将合适的人才信息与合适的岗位信息进行匹配。

总结分析：单纯看求职者简历，数据量再大也不属于大数据；仅凭招聘启示，再复杂多样的表达方式也同样不属于大数据。如何更智能、更高效、更准确地为人才和雇主搭建起桥梁，才是大数据应用的精髓所在。

一方面，企业主需要有更多渠道来寻找更具有成长价值的人才，而在网络这个平台上，由于海量求职信息的充斥，使得企业主寻找合适人才的时间成本和资金成本都很高。广大猎头在市场上得以快速发展就是最好证明。另一方面，应聘者需要更准确地寻找到自己适合的成长平台。通过网络途径，将自己的教育背景、从业经历、技能特长等固化到个人属性之中，并以此对海量数据信息进行筛选分析，找到称心如意的岗位。

语义搜索能理解工作和技能的特征，识别同一个词在不同语境中不同的语义。一方面把简历和职位信息映射到语义网络中去，另一方面把用户搜索和用户行为也映射进去，最终通过语义网络实现精准搜索和匹配，将招聘者或求职者从搜索和分析工作中解脱出来，让二者的匹配能达到最优。

第6、信用卡：消费者的管家和助理

情节概览：信用卡不同于储蓄卡，它鼓励透支消费并按照协议进行偿还，如此反复并建立起现代消费的良性循环，实现商家、银行和消费者三者都获益。

信用卡的发展，乃至于整个银行业的发展，都与计算机技术、通讯技术的发展息息相关不可分割。比如信用卡安全码就是根据户主的信用卡卡号以及一套复杂算法计算得出，以此区别信用卡的真伪。

相比电子商务，银行业尤其是信用卡领域接触大数据来得还是晚一些，但信用卡的发行和使用，其实也都与大数据息息相关。一方面，银行在确保安全可靠的情况下，会给那些优质客户提供高级别信用卡（比如极具身份地位象征的“黑卡”）；另一方面，他们还会根据信用卡持有人的消费记录对其进行精准营销、级别调整等等。

有没有想过，信用卡能在卡主无意识的情况下暴露出其行踪？甚至能根据卡主的使用情况大体了解一个人的兴趣爱好、工作居住情况、人际关系和业余时间安排等等。因为信用卡是在刷卡消费，而储蓄卡仅仅是通过取款消费。因此信用卡更能直观、准确、全面地反映出卡主的个人特征。

比如，当持普通信用卡的用户所持信用卡是没有附加航空意外险和航空里程积分的产品，但是当该持卡人使用该卡购买了机票，作为发卡银行就会主动向该客户推荐带有航空意外险和航空里程积分的航空公司联名信用卡。同样，用户还会经常收到频繁消费或者关注度高的产品促销信息，这些信息的背后其实也都潜藏着大数据的应用，通过用户无数的交易行为、还款记录、消费地点等，对其进行分门别类，并对日后的额度提升、用户升级、商业贷款提供依据。

总结分析：数据将是未来银行的核心竞争力之一，在“大数据时代”，银行所面临的竞争不仅仅来自于同行业内部，外部的挑战也非常严峻。虽然银行对于传统的结构化数据的挖掘和分析在所有行业中都处于领先水平，但银行传统的数据库信息量并不丰富也不完整（仅仅拥有客户基本身份属性，没有客户的个性属性），缺乏对用户性格特征、兴趣爱好、消费习惯、行业和家庭状况等等信息的收集和了解。

此外，信息技术的发展，使得用户的资金交易信息越来越多地来自网银浏览、服务通话、ATM录像监控等等非结构化数据。银行缺乏对这些数据的分析和整合，进一步凸显在信用卡环境下大数据应用的紧迫感。因此，新时代下的信用卡更突出了大数据的应用价值。

第7、天文探测：了解宇宙的金钥匙

情节概览：我们时不时的会从新闻中看到各种天文奇观、星系、星团、行星的报道，而且不仅能给出大致的形态、结构、距离等属性信息，甚至还可以给出天文奇观上演的准确时间以及星体年限等信息。

比如登上美国NASA重点观察名单的代号为4179的“图塔蒂斯”行星。当时NASA形容这款行星为“形状似花生，又似哑铃，直径约5公里，每3.98年就会经过地球一次。”2004年，该小行星曾与地球“近距离接触”，两者距离最近时仅为150万公里。更为重要的是，人们还能精确预测其飞临近地点的准确时间。

我们国家的嫦娥二号卫星是距地球约700万公里远的深空成功飞越的行星，并对其进行了高清晰成像。

我们经常看到的天文奇观预测报告，其实很多都来自于NASA背后的海量数据收集、管理、分析。从1959年以来，NASA JSC（约翰逊航天中心）已收集400多万静态图像，总达950万英尺的16毫米胶卷，85000卷录像磁带，以及总时长81616小时的视频模拟及数码档案。通过开发10（在线影像）应用平台，对影像文件名与所有相关元数据连接，并对其进行存档、管理以备科研之需。

总结分析：天文学是最先经历信息爆炸的科学领域之一，其数据量之大、类型之复杂，恐怕不是一般的行业领域所能比拟的。

首先在观测方面，普通的人眼是不行的，需要通过天文望远镜来实时监测，并对天文物体的距离、运动轨迹进行跟踪拍照，这些生成的图片数据单个都有上GB的规模（高清原始图像）；通过这些观测收集的数据，还需要对其进行处理和备份，并通过高性能计算平台，对其挖掘。筛选挖掘出有价值的数据信息，分析获得所要开展科研的情报。

第8、风力发电：科学选址精确测定远程监测

情节概览：为什么在大城市里面看不到风能发电机？为什么风力发电机都齐整有序的排列？早期的风力发电场更多是选择在风力大、地势平坦、常年盛行的地理位置，而如今，人们更多的会通过科学计算来准确选择风力发电机的选址和间距。

一家丹麦风力公司Vestas，通过使用超级计算机以及大数据模型解决方案，精确定位其风力发电机，以达到最大发电量，并减少能源成本。从全球天气系统中收集的数据，与公司现有发电机的数据结合，存储于风库中。

现在，该公司的风库存储有2.8PB数据，这些数据涵盖地面至300英尺高空的气温、气压、空气湿度、空气沉淀物、风向、风速以及公司的历史数据记录。另外，该公司还增加全球森林砍伐追踪图、卫星图像、地理数据以及月相与潮汐数据。

总结分析：风速及风向的变化对风力发电机的发电量有着较大的影响。通常，塔架越高，风速越大，气流越平稳，发电量越大。因此风力发电机的

第9、预防犯罪：让小偷自投罗网

情节概览：《黑猫警长》大家都很熟悉，它讲述的是“黑猫警长”如何精明能干、对坏人穷追不舍、跌宕起伏的故事情节。拿到大数据时代背景下的话，虽然它也能体现“黑猫警长”的尽职尽责、聪明能干，但更多的会归结到一个问题：为何还是如此的被动、低效？疾病可以预防，难道犯罪不能预防么？

答案是肯定的。美国密歇根大学研究人员就设计出一种利用“超级计算机以及大量数据”来帮助警方定位那些最易受到不法份子侵扰片区的方法。具体做法是，研究人员通过大量的多类型数据（从人口统计数据到犯罪数据到各区域所出售酒的种类、治安状况、流动人口数据等等），创建一张波士顿犯罪高发地区热点图。同时，还将相邻片区等各种因素加入到数据模型中，并根据历史犯罪记录和地点统计并不断修正所得出的预测数据。

IBM也通过大数据技术和整合预防犯罪和数选址应慎重考虑，每一次安装都不同，而且要考虑塔筒高、电池组的距离、当地规划要求以及建筑和树木这些障碍物等因素。这些因素的背后，考验的是施工方对这些数据（包括数值数据和图像、遥感、检测等数据）的分析能力，并帮助决策生成科学合理的方案。可以预见，风能包括未来的潮汐能等清洁能源的应用，都将引入更多的大数据技术和解决方案，帮助人类更加科学合理的利用这些可再生能源。据智能软件资源，为执法部门、国防、国家安全和私营机构提供智能和调查服务。当然，这种服务也可以被用来提供数字营销、运营管理等服务。

总结分析：美国中情局曾经利用过云计算和大数据技术找到，也属于此类话题。其实，对于犯罪分子而言，往往事先都有犯罪动机（所谓的“激情犯罪”另当别论），也就是刑法上的所说的“行为人为追求某种结果的发生而故意采取某类行为”的主观故意。

而在大数据时代下的个人，其生活状况、消费习惯、家庭背景、社会经历、身份特征等等，都将成为数据集的人格化，可以通过这些数据来区分任何一个人。作为执法部门，考虑到整个社会的利益，需要也有必要对某些潜在的特定高危人群进行布控（尤其在犯罪高发地区）。在经过对数据的收集、传输、存储、分析等一系列过程之后，最终将为执法部门提高执法效率，变被动为主动，由教育劝解变犯罪预防。

第10、天气预报：天公的心我最懂

情节概览：2012年7月21日北京遭遇特大暴雨，在一天之内，平均降雨量达164毫米，这是北京市61年以来最大规模暴雨。此次暴雨因来势凶猛给广大市民生活带来巨大影响。其实，摊上这种事儿，最主要的还是需要气象部门及时、准确地做出预警，并协同其他运营部门，将这种预警信息第一时间下发给北京市民（包括在京旅行的人士）。也正是如此，那场暴雨不仅暴露出了管理工作上的漏洞，也引起了业内人士关于一场“大数据”的探讨。

在美国NOAA（国家海洋暨大气总署）其实早就在使用大数据业务。每天通过卫星、船只、飞机、浮标、传感器等收集超过35亿份观察数据。收集完毕后，NOAA会汇总大气数据，海洋数据，以及地质数据，进行直接测定，绘制出复杂的高保真预测模型，将其提供给NWS（国家气象局）做出气象预报的参考数据。目前，NOAA每年新增管理的数据量就高达30PB（1PB=1024TB）。由NWS生成最终分析结果，呈现在日常的天气预报和预警报道上。

篇8

【关键词】Flex RIA 气象预报预警系统

一、引言

在防汛调度与决策中，气象情报预报的作用越来越受到重视。多年来，水情和防汛部门一直与气象部门密切合作，充分应用所能得到的气象情报预报资料为水情预报和防洪调度提供信息[1]。近年来，为提高山洪地质灾害气象监测和预报预警能力，气象部门已经逐步开展山洪地质灾害精细化气象预报服务业务。因此建立防汛精细化气象预报预警业务系统有非常重要的意义。

近年来WebGIS中在气象领域有了一定的研究和实践累了不少成功案例。但这些平台大都基于页面服务器模型，在界面设计、交互操作、响应速度等诸多方面都不能令人满意，且基本都只能为用户提供空间数据浏览、查询等功能，不能在系统上进行预报产品制作及订正，也不能将地形条件及山洪暴发的临界雨量指标体系进行融入，严重影响了预报质量。

RIA丰富互联网应用程序是一种将桌面应用程序的交互用户体验与传统Web应用部署灵活性结合起来的网络应用程序。是一种全新的Web应用解决方案。在现有的几种RIA客户端开发技术中，以Adobe公司的flex较为成熟，因此，系统建设选择flex技术作为客户端显示手段[2]。

二、总体框架

根据业务要求及系统的技术开发路线，系统总体框架由数据层、服务层、表现层组成。

数据层：本层存储系统所需要的所有数据，包括气象业务数据及系统所需要的地理信息数据、社会经济和人口等数据。

服务层：本层包含运行在不同服务器上，为系统正常运转提供服务的各种后台服务。包括GIS服务，气象数据转换服务、WebService服务和Web服务。GIS服务提供矢量地图服务、属性查询等功能；气象数据转换服务将各种不同类型的气象数据转换成GIS服务能识别的标准地理信息格式。WebService服务提供数据查询服务，Web服务提供网站浏览及页面交互服务。

表现层：基于浏览器或Flash播放器的一个富客户端为用户呈现一个丰富的、具有高交互性的可视化界面，一图文一体化的方式显示空间和属性信息，同时也为用户提供地图交互、信息查询、地图分析的交互接口[3]。

三、主要功能

（一）地理信息显示

系统提供高精度的国家基础地理信息数据，包括省界、市界、县界、乡镇点、地质灾害点、公路、河流、铁路及DEM等数据。用户还可以选择是否加载网络上已经共享的各种高清地图服务。本系统展现了丰富的地理信息，为防汛预警提供必要的数据支持。

（二）气象业务数据显示

可叠加显示七要素、两要素观测站的降水及温度信息、实时雷达回波数据、FY2云图数据、闪电定位数据。各类信息均以专题图的形式显示。在后期还将陆续添加各类数值预报产品的显示，如WRF、T639等。

（三）降水落区绘制

可以根据相关数值预报产品及实时雷达、云图数据绘制不同时效的雨量落区，并可进行修改。雨量落区颜色根据现行中央气象台规定的色标制定。

（四）灾害点山洪预警

根据预报员上传的雨量落区数据，后台服务器计算出相关灾害点所属的面雨量预报数据，利用GIS的空间分析功能，和临界雨量指标数据进行判断，分析出灾害点是否有山洪风险。

四、关键技术

（一）数据转换

预报员平时使用最多的数据为MICAPS格式，这些格式不能被通用的GIS所识别，GIS中空间数据是按矢量模型和栅格模型进行组织和管理的，矢量数据又细分为点、线、面3种类型，同类型的矢量数据可以形成矢量图层；MICAPS数据中，不同种类的信息可以存储在一个图层中，如封闭线、普通线、点符号、线符号、文本等。而在常用的GIS软件中是不允许将不同类型的矢量数据在同一层中表达。因此GIS应用于气象领域，首要解决问题的就是气象资料的数据转换问题[2]。

系统的数据转换程序基于Visual Studio 2010进行开发，GIS组件使用的是ArcGIS Engine 10.0，程序将雷达回波、卫星云图数据转换成TIFF格式，将闪电定位数据转换为shapefile格式进行显示。

（二）雨量落区绘制

ArcGIS 10.0之前没有提供Feature services，不能对矢量进行在线编辑。系统交互能力受到严重制约。Feature services出现后，客户端可以执行查询以得到要素或执行编辑。由于雨量落区预报时效比较多，后台要准备多个空白落区模板，并在执行相关的空间分析操作后及时删除数据，以应对下一次绘制。

（三）通过GP获取预警信息

GP服务是Geoprocessing服务的简称，Geoprocessing包含了一系列地理数据处理的功能，像做缓冲区分析、叠加分析、以及对栅格数据制作阴影图等等。首先要在后台根据业务需要建立模型并测试好，将GP在ArcGIS Server上，通过客户端调用的GP便可以得到结果。预警信息的获取主要是通过某地的面雨量值与当地山洪暴发的临界雨量进行比较，如果超过则弹出预警信息，如果没有达到则不作处理。

五、结语

基于Flex的防汛预报预警系统克服了原有WebGIS中存在的响应速度慢，无交互功能等缺陷，能够呈现更加丰富、体验性更强的用户界面，为WebGIS应用提供了一种崭新的表现机制[3]。该平台投入业务化运行后，给预报员及其他决策人员提供了非常直观的浏览数据方式及有价值的山洪预警信息，提高了气象部门的防灾减灾能力。

参考文献：

[1]杨杨.防汛工作中气象信息的收集和应用.水文.1991，03.54-56.

篇9

六成以上中国网民访问生活服务类网站，互联网成网民获取生活服务内容的重要媒介

艾瑞咨询iUserTracker监测数据显示，2010年上半年，除个别月份，中国生活服务类网站月度访问人数整体呈稳步增长态势；6月的月度访问人数达到2.4亿，占中国互联网服务整体用户的66.0%，创下2010年新高。

艾瑞咨询分析，互联网不仅为网民提供了QQ、MSN等沟通工具，网游、视频等娱乐内容，同时也已成为网民获取生活、消费、气象等生活服务内容的重要媒介。预计，随着中国互联网网民规模的增长，生活服务类网站的访问量将不断攀升。

健康类服务访问用户最高，生活资讯类、饮食类其次；未来各项生活服务内容逐渐丰富

艾瑞咨询iUserTracker监测数据显示，2010年6月中国各类生活服务类网站中，月度覆盖用户最高的是健康类，2010年4-6月均在亿人以上。其次是生活资讯类，二季度单月访问人数均在9000万以上；相比而言，饮食类、消费资讯类、摄影类的月度访问人数规模略低。

艾瑞咨询分析，随着互联网普及程度的加深，围绕居民衣、食、住、行、用各方面需求的互联网服务内容将不断丰富。以饮食为例。消费者多从饭桶、大众点评网等处获取消费场所信息，目前，主推本地生活服务的团购网站也成为网民知晓商家、获取餐券的重要途径。艾瑞咨询预计，未来互联网领域，围绕生活服务的创新将不断涌现。

相关链接

篇10

摘要：到报监测是气象水文数据传输、处理等的重要环节，其实时性是关键设计目标。通过分析文件目录扫描方法和消息通知机制的应用特点，结合气象水文资料传输、处理规程及应用模式，重点阐述了结合实时性和可靠性要求的到报监测方法，并给出一种重构性强、应用灵活的到报监测模块的设计方案。

关键词：气象水文资料到报监测；实时性；FileSystemWatcher；目录扫描；软件设计

中图分类号：P4文献标识码：A

1引言

到报监测旨在获取最新到达的资料信息，既是资料传输业务监控管理的主要内容，也是资料处理应用系统的重要组成部分。气象水文资料应用实时性要求高，及时响应资料到达状态，提高到报监测的实时性，是资料实时处理的前提。

有别于计算机数据库系统，气象水文资料在生成、处理和转储等应用过程中，多以磁盘文件的形式存储，效存储在计算机系统中的一般文件，其特点主要表现为种类多，到报量、到报时间粒度、数据大小差异性大，数据文件按照类别存储在不同的目录，文件名称中多含有与时间或者类别相关的信息；其信息服务应用特点是时效性强、更新快，操作系统多样，数据访问复杂等。因此气象水文资料到报监测的实时性设计难度大。

常规获取资料到报的方法是进行两次目录扫描，对比前后扫描结果，提取资料更新信息。该方法对于目录内文件较多时，获取的周期就会过长，且频繁的扫描影响系统效率。另一种方法是基于Windows消息机制的文件系统监视，实时响应资料更新，但是该机制由于缓存溢出等多种原因而时常失效。

本文结合目录扫描方法和消息通知机制，利用气象水文资料及其使用要求的特点，通过优化变更信息获取方法，设计了基于队列管理的多任务到报监测方法，能够有效提高相关应用的实时性和可靠性，并采用面向接口的软件设计思想，给出了易于维护的软件设计[2]。

2监测方法

2.1定时轮询

定时轮询方法是按照一定时间间隔扫描整个被监视目录及其子目录中的文件，记录每个文件的属性（例如：文件最后修改时间、HASH值、CRC校验码等），比较前后两次扫描获得的信息，筛选出变化的资料，是一种可靠的方法。

但是，这种方法的缺点也很明显：首先，扫描一遍目录需要花费一段时间，如果目录中文件或子目录数量过多、目录层次过深，扫描花费的时间可能会更长，对于实时性要求高的应用来说，是不允许的；其次，频繁的文件扫描需要对文件进行操作，如果这时恰好也有其它程序对该文件进行操作，就会产生资源占用冲突；第三，由于文件越大，计算其HASH或者CRC值的时间就越长，也会影响信息获取的实时性。

2.2实时通知

Windows系统是一个消息（message）驱动的操作系统，即系统维护一个或多个消息队列，所有产生的消息都会被放入到消息队列中。系统根据消息的接收句柄而将该消息发送给拥有该句柄程序的消息循环。

实时通知是利用Windows操作系统内核提供的文件系统监视（File System Watcher）消息机制。应用程序通过建立一个被监视文件或者目录的句柄，将其注册到操作系统文监视消息通知中，就可以收到来自操作系统的文件或者目录的变更通知。由于消息是由Windows操作系统内核发出的，可以近似认为是与文件系统的更新是同步的，也就可以说，采用这种模式获得的文件更新事件，是在文件或目录发生改变的瞬间获得的，可以认为是实时的。

在具体实现方面，Windows操作系统对目录和文件的监控提供了两个消息驱动的API函数[5]：FindFirstChangeNotification和ReadDirectoryChangesW。调用它们就可以获取Windows为文件系统记录的消息队列。在.NET Framework 2.0以上的版本中，提供了FileSystemWatcher类侦听文件系统更改通知，在目录或文件发生更改时引发事件，是对上述API进行的封装，简化了文件监控方法的实现。

尽管实时通知已经很好地保证了Windows操作系统中文件监测的实时性，利用FileSystemWatcher类实现也较为简单，但是，实际应用中却有如下问题：

1）一次文件变化，可能引发多个消息，从而造成多次重复操作。例如：在一次资料内容变化时，除了内容变化之外，还有文件其他属性（例如：文件最后修改日期、文件大小）也变化了；

2）文件系统监视通过向Windows系统注册来接收来自系统的文件或者目录的变更消息，一旦发生操作失误，注册就会断开，造成文件系统监视永久失效。这种情况主要发生在：一次变化的文件数量过多，或者文件的名字过长、目录层次过深，而造成缓冲溢出；对于存储在远程共享目录、网络驱动器目录的资料进行访问时，由于网络链路连通性故障，而造成监视目标访问失败；

3）文件系统监视无法获取应用系统运行之前的信息，即已经发生过的资料变更。

3方案设计

实时通知方法虽然实时性好，却不是一个可靠的到报监测方法。相反，定时轮询每次都需要进行一次完整的文件扫描和对比，效率低、实时性差，但是却不会产生上述实时通知失效的问题，是一种可靠的文件监测方式。

综上所述，将两种文件监测方法结合起来使用，扬长避短，不失一个较为完美的解决方案。

3.1总体设计

图1描述了到报监测模块主要类设计，也说明了到报监测在整个应用系统中的位置及其关系。到报监测属于应用系统的一部分，向其客户类（Client）提供资料更新信息以及操作接口（IDo）。

FileTimer类和FileWatcher类分别实现了定时轮询、实时通知功能；FileObject类是资料到报信息的容器，是队列类（Queue）管理的对象；Task类提供了包括定时轮询和实时通知两种方法的指定资料监测任务，并向客户系统提供相应的操作接口（IDo）；TaskMgr类负责任务（Task）创建及其管理；客户（Client）只要实例化TaskMgr类，创建资料到报监测任务（Task）实例，就可以实现资料到报实时信息获取。这种设计上的优势表现为：

1）操作（FileTimer、FileWatcher）和数据（FileObject）分离，实现了数据独立管理和资源共享；

2）一个目录的到报监测抽象为任务（Task），实例化Task对象即建立了一个目录监测；

3）操作接口（IDo）设计，使得到报监测和具体资料操作相分离，从而实现不同资料的多种操作，符合“针对接口编程，而不是针对实现编程”[1]的思想；

如图2，以定时轮询为例，fileTimer对象监测到资料到报时，通知task创建（New）新fileObject对象，进行入队（Push），queue将fileObject对象通知给task，执行资料操作（Do）。

设计中大量采用对象组合，通过获得其它对象的引用而在运行时刻动态定义，充分封装而使单个任务集中在一个类中。这种设计在实现上存在较少的依赖关系，使得系统易于扩展和维护[6]。

3.2定时轮询

定时轮询按照一定时间间隔进行全目录扫描，其扫描效率和时间间隔有密切的关系。当时间间隔过大时，实时性差；时间间隔过小时，由于频繁的扫描，势必影响整个应用系统的运行效率。设定合理的扫描间隔是优化扫描效率的主要手段。此外，也可以利用特定通配符和限定文件时间，从而缩小扫描范围。

如图3，FileTimer类设计体现了扫描优化：

1）资料到报时次是有一定规律的，通过分析和归纳，可以总结出到报时间间隔。扫描间隔（interval）控制定时器（timer）扫描频率，可以参考资料到报频次设置其值；

2）文件年龄（age）是指文件最后修改时间与当前时间差，仅对符合文件年龄的资料进行对比，可以加速扫描速度；

3）气象水文资料文件通常按照某种规范命名[3]。以地面天气观测报为例，每小时6次报文，命名规则为“TTDDHHmm.abj”，其中：

TT代表资料类型，例如：SN地面报、UN探空报、GX格点报等；

DD代表编报日期，01-31编码；

HH代表编报时间（UTC），按小时计，00-23编码；

mm代表编报时间（UTC），按分钟计，编码值为00、10、20、30、40、50；

abj代表国家气象中心代号后三位。

类成员wildcard表示需要扫描的资料文件通配符，可以归纳出地面天气观测报文件wildcard值为“？？DDHHmm.abj”。扫描时，只需要将其中时间符号替换为实际值。

将上述到报时次和文件命名规则结合起来，可以进一步优化，例如：如果每小时进行地面天气观测报扫描，则wildcard值为“？？DDHH？？.abj”；每分钟进行扫描，则为“？？DDHHmm.abj”。如图4，task对象创建FileTimer类对象，调用Start方法启动任务，并调用Update执行一次目标全扫描，这样就可以收集到应用系统运行之前的资料信息；当定时器执行（OnTimer）时，开始进行扫描（Update），查找到资料时，通知（Notify）task进行资料条件符合性检查（age、wildcard），对符合条件的变更信息入队（Push）。图5实时通知类3.3实时通知

如图5所示，成员fileSystemWatcher（以下称监视器）是FileSystemWatcher类对象。正如前面所述，监视器本身是很脆弱的，其自身的有效性需要建立定时器（timer）对其进行定期检查（Check），也可以响应缓冲溢出的错误消息（OnError），并在失效时自动恢复（Reset）。监视器也支持文件过滤，wildcard值也可以参考定时轮询设置。

如图6，任务实例（task）创建实时通知（FileWatcher）对象，启动（Start）实时通知实例后，由定时器定期检查监视器有效性；当收到来自监视器的资料变更消息（OnChanged）时，通知task进行资料条件符合性检查，对符合条件的变更信息入队（Push）。

3.4队列管理

当应用系统收到资料变更消息时，还不能立刻执行操作，这是因为监视器在发现被监视目录变化时，即向注册应用发出消息，而此时有可能数据还未准备完毕，特别是大文件复制时，立即进行资料操作，势必造成资源占用冲突；此外，考虑到资料文件操作失败的可能，也需要再次执行。因此，采用了缓冲队列存储资料变更和操作失败的资料信息。

由于到报监测只是为了获取资料信息，而不是为了获取其内容，因此，采用文件最后修改时间（Last Written Time）作为区别文件版本的标识，而非进行复杂的HASH、CRC值计算。

如图7，FileObject类抽象了资料变更信息，以资料全路径名称（fullpathname）和最后修改时间（time）为标识，通过Contain判断唯一性；时间跨度（span）记录下次可用性测试时间；生命周期（lifes）记录变更文件入队次数，超过最高次数（MaxLife），文件将被丢弃，不再检查。

如图8，task收到监视器资料变更通知（OnNotify），首先构造（New）一个FileObject对象，检查是否队列中已经存在（Contain），若不存在则进行入队（Push）。

如图9，队列管理快速查找每个fileObject对象的span值小于当前时间值，并测试可访问性，将符合条件的对象通知（Notify）给task，进行具体资料操作（Do）。

该操作也存在一个问题，如果队列过长，会延误操作的时间，造成实时性的降低，因此，方案设计的队列并非严格意义上的先入后出队列。入队时span值累加一个很小的时间差，出队条件是span值小于当前时间。

如图10，出队的fileObject由于不可访问或者执行错误时，可以重新入队。通过复制创建新FileObject类对象，其span值在被复制对象span值的基础上累加了一个时长，并将递增被复制对象的lifes值赋给新对象的lifes值。如果新对象的lifes值大于最大生命周期值（MaxLife），则不会建立新对象，并释放被复制对象，返回空值（null）。

缓冲队列设计的优势在于：当资料不可访问，或者资料处理操作失败时，可以重新入队等待操作；其次，通过Contain方法检查队列中是否已经存在FileObject类对象，可以防止因同一资料到报信息多次触发。3.5任务管理

应用系统通常同时处理多种气象水文资料，由于资料按类别分别存储在各自的目录中，因此，需要独立进行各自的到报监测，即采用多线程的多任务处理。

如图11，任务管理类（TaskMgr）包含了一个任务类（Task）的集合：一种资料的到报监测对应一个task，TaskMgr是Task的容器。Task类中聚合了FileTimer类、FileWatcher类和Queue类，提供了启动任务（Start）、停止任务（Stop）等基本的任务操作，也可以立即启动扫描（Update）。当队列中有符合条件的FileObject类对象时，执行资料文件的相应操作（Do）；同时，操作中的错误可以通知（Notify）给任务。

4总结

综合上述可知，从资料到报开始到资料应用的时间值大小与队列长度和span值有关：当队列越长时，遍历花费的时间越长。通常情况下，气象水文资料按时次定量到报，设计上完全符合实时性要求；极端情况时，资料一次到达过多、资料处理错误过多而造成的重新入队，以及用户启动一次全目录扫描时，通过使用资料通配符（wildcard），控制采集资料年龄（age）可以降低入队资料信息的数量。

本文所述的到报监测方法在气象水文资料传输、资料实时解报和资料传输状态监控等多个系统中得到了应用，发挥了巨大作用。实践证明，资料到报监测及时、可靠性高，特别是易于维护的体系结构设计，便于理解和扩展，更是系统快速重构和应用的基础。

参考文献

[1]Erich Gamma， Richard Helm， Ralph Johnson， John Vlissides[美]，设计模式：可复用面向对象软件的基础. 李英军等（译）[M].北京：机械工业出版社，2000年9月

[2]Joshua Kerievsky[美]. 重构与模式，杨光 刘基诚（译）[M].北京：人民邮电出版社，2006年12月

[3]总参气象水文空间天气总站信息中心[S].常用气象水文资料手册，2012年12月

[4]王世忠 译.C语言与Unix系统编程，（美）胡佛 著[M].北京：清华大学出版社，2011年7月