日前，在甘肃省召开的“互联网大数据分析平台研讨会”赚足了读者的眼球。从传统人工记载到数据智能识别，到底是怎样的一种数据库技术能够成为政企行业的新谋士？该平台的运行状况如何？在互联网和大数据时代用大数据平台分析社情民意的数据有哪些优势？为何选择和柏睿数据联手？它的优势在哪？……带着这些问题问题，我们一同走进“研讨会”，听听专家们是如何解读的。
据了解，甘肃省社情民意互联网大数据分析平台是应用国际标准的流数据库技术，结合人工智能、机器深度学习，对互联网数据全面进行抓取，防止信息遗漏，建立起符合政府需求的自有专业知识库。
“为了关注网上舆情，探索对重点事件和突发事件的跟踪和预警，甘肃省统计局自主研发的社情民意互联网大数据分析平台，平台已经稳定运行了五个月。”肃省民调中心主任令军民如是说。
“我”的初体验——“震撼”
一、如何评价甘肃省社情民意舆情监测平台成功运行的状况？
甘肃省统计局党组成员、副局长蒋致平在研讨会致辞中指出：平台自今年年初上线五个月以来，对涉及互联网甘肃社情民意方面进行数据的全面抓取，为全省的网络信息进行实时深度搜索和挖掘，对突发公共事件的媒体报道和公众舆论信息进行实时的汇聚和统计分析，并自动生成社情民意监测每日简报、周报、月报、专报等多种汇报模式，及时呈现给相关政府决策部门。他还指出，下一步，甘肃民调中心将以这次研讨会为契机，加强平台升级晚上。着力针对旅游、环保、教育、医疗卫生、交通、住房、扶贫、食品安全8个行业进行分类抓取，形成专报；统计甘肃省内所有上市企业，分析其对本省经济发展影响；针对八大行业建设人才专家储备库；移动端展示，建设专用微信公众号；促进本平台更加精准化、专业化的为省委、省政府和社会民众，提供强有力的决策支持和引导。
国家统计局民调中心副主任王海峰在会上表示：甘肃省社情民意舆情监测平台的成功运行情况，我想用两个字来形容“震撼”。社情民意经过十多年的发展，一步步走到今天，随着技术的演进，大数据在社情民意调查中的应用不仅是起步，而且越来越广泛。我们已经开始将大数据技术逐渐运用在各个专业，从不同的方向进行多层次的应用。随着与大数据技术的结合，社情民意调查由过去的服务型已经开始向智库型发展；服务的质量和频次也随着技术的应用在不断的提升。
选择柏睿，意欲为何？
二、为什么社情民意舆情监测能够迅速成功运用最先进的数据库技术？
国家统计局民调中心副主任王海峰在研讨会上强调：“2013年，国家统计局在武汉会议时布置的“五位一体”社情民意调查方案的基础上，如贵州率先进行了大数据方面的应用探索，也是经过这么多年不断积累经验、不断完善技术、不断完善我们的调查体系、指标体系等等已经渐趋成熟。大数据应用过程中，民调的同志可能遇到困惑，我们似乎习惯于传统的统计调查方式，数字技术在民调过程中的应用与过去相比已经有进步了，但技术演进的速度绝对超乎我们的想象，大数据之后紧接着来临的是智能化时代。我们除了传统的社情民意调查方法之外，大数据应用使我们研究和调查的成果越来越丰富，从国家统计局民调中心来讲已经进行了五年的探索，在全国大数据也是走在前列。例如四川省社情民意调查中心利用我们多年积累的安全感调查的历史数据，利用大数据技术进行了挖掘，结果让我们感到眼前一亮，原因在于我们过去传统的统计分析是两维角度，只是一个因果分析，但大数据的应用使得我们从因果分析走向或实现相关分析。分析的成果反过来促使原有调查方案和调查体系的不断的完善。挖掘的结果，影响四川省安全感排第一的因素是交通事故。在过去方案和问卷设计时大体上是被忽略了，分析的结果肯定就不会存在交通事故这么一个安全感的因素，大数据的挖掘和分析弥补了我们原有的调查方案。经过将近两年时间与四川民调中心的通力合作，像安全感大数据挖掘在一步步成熟。
针对该问题，记者特别采访了威讯柏睿数据副总裁刘杨国，他强调在互联网和大数据时代用大数据平台分析社情民意的数据的两大优势：1实时响应。我们可以让省委省政府的需求实时获得响应和回复。2.数据抓取、分析和预警全部自动化。这极大的缩短报告产出时间，减少人力投入，现在我们的周报月报都是自动生成的，日报每天自动生成一份，发给指定的人员。人工智能的使用让整个平台更加智能化，抓取的维度更加精准化。
三、在大数据时代需要更专业的解决方案，但什么才是更专业的解决方案？
刘杨国：我们通过四条法则来评价这个解决方案是否更专业：
1.及时性。在舆情发生一小时内就对数据进行预警。
2.完整性。对于微博、微信公众号、各大论坛、APP、新闻、贴吧和各种各样的论坛，抓取所有的可见媒体才能保证不遗漏数据。
3.数据要有针对性。针对不同的舆情需要采取不同的方案。比如：有些舆情虽然发生了，但是在短时间内没有得到任何的传播就可以不进行处理。有些舆情虽然在现阶段还没有得到传播，但是由于它的发布者有着众多粉丝关注，就要对这条舆情做一个后续跟踪；对某些舆情它已经进行了发酵，就要对它进行反应，针对普通民众的关注点对它进行应对措施。
4.数据可追溯性。需要知道这条新闻的来源是什么，通过谁来传播，要找到它的KOL，即意见领袖。
四、该方案技术创新点在哪？
柏睿数据副总裁刘杨国就系统中有关键七大技术创新点进行阐述：
一、运用多种人工智能技术；二、人工智能进行全网的弹性数据抓取；三、根据客户自由指定的信息提取方式，把所有的非结构化的数据变成我们指定的结构化设置。比如我们提取用户名、阅读数、粉丝数、评论内容等；四、设立模拟系统，自动模拟我们的网站的登录，鼠标点击、输入验证码，模拟手机登录游览器；五、在APP大量盛行的时代，我们现在有一个APP破解内容，可以有效地抓取APP移动的数据。我们有专业的四层逻辑语义分析能力；六、应用的创新技术，利用物理层、应用层和逻辑层三重安全保障。例如物理层设有防火墙和服务器的机制，包括应用层的网络访问限制，还有逻辑层的多重备份，包括镜像和副本来确保整个数据的安全可靠；七、大数据可视化的应用。 柏睿数据是一家专注于大数据的实时分析处理的大数据产品和服务、整体解决方案的提供商，是流数据库国际标准制定者，具有完全拥有自主知识产权的核心技术，可以进行全内存、高并发、实时保证数据的抓取和存储达到多重备份，并且实时调用分析，确保抓取更具全面性和及时性。?
对此，甘肃省工信委王海峰副主任在会上强调：“第一、省统计局自主研发的社情民意大数据分析平台运用柏睿数据国际标准的自有知识产权流数据库技术结合人工智能对海量、动态实时的大数据进行分析，实现了对一些热点、重点、突发事件的实时发现、同步跟踪和及时预警。第二、整合利用云计算、大数据、人工智能技术，来提升政府治理和便民服务方面的水平，是一件符合技术发展潮流和非常有意义的事情。第三、平台实现了对全省网络媒体舆情信息的全网抓取，并对重点事件进行跟踪、分析和预警，可以有效提升政府应对重大事件、自然灾害、网络舆情等多方面的能力，所以这些平台是对传统渠道的完善和弥补。第四、平台的建设的出发点在于贴近民生，了解民意，最终服务民意。通过对平台数据的抓取、分析，自动生成不同类别的舆情简报，可以为政府决策提供科学的、真实的、全面的民意参考。第五、平台具有较强的可扩展性。在二期介绍中还将增加不少新领域和内容，覆盖面会更广，发挥的作用会更大。同时对全省上市公司进行实时分析为工业和信息化管理部门提供重要的参考价值。”
国家信息中心大数据部刘厉兵处长在会议上做如下阐述：“甘肃省作为西部地区，很有远见和魄力来启动大数据舆情分析项目非常让人震动，国家发改委也是从2015年4月才启动了国家发改委大数据互联网分析中心，这也是在我们信息中心下面设置的。此次听取甘肃省社情民意网联网大数据分析平台，我深感此系统的卓越性，在很多方面也是算国内非常有特色和有领先的。大数据分析体量非常大，已经不是几万个而是几十万、几百万以上的体量级，不仅仅要到数据抓取及时，而且分析也要及时。甘肃省这套系统实现了报告自动的生成，这一进步相当震撼，通过大数据的分析把更多老百姓的真实意见表达呈现出来，及时交给各级党委和政府、包括相关部门做决策参考。这些优点是中央、各部门、乃至地方都能运用的方式，甘肃省这个项目真的是很有胆识，它肯定会为甘肃省的党委政府和相关部门决策提供一些很好的支撑。”
大数据时代已然来临——未来已来。
国家信息中心工信部信息软件司原司长陈伟认为：国家统计局王海峰副主任在会上用“震撼”两个字来形容甘肃省社情民意互联网大数据分析平台，我认为是比较恰当地表达了他的真实感受和客观评价。工信部的数据：我国互联网网民数达到7.2亿，按我国人口总数可以看出这个比例。移动电话用户数达到13.8亿，其中4G用户一定是宽带和智能化的达到了9.3亿，这个数据一出来就可以看到，为什么互联网大数据分析管用？因为绝大多数的社会成员都已经应用网络来进行自己的许多活动，网络已经能够比较准确地、真实地、全面地反映人们的现实生活状态。
这次来甘肃看到，该省的互联网舆情分析平台，实际是柏睿数据公司开发的流数据库技术的一个典型应用。甘肃省统计局以其独到的视角，超前的决策，看重这个拥有自主核心技术的创新型发展中公司的技术，做出了这样一个大平台，确实独具慧眼。从技术维度和创新应用的维度可以看到，该项技术是原创的、先进的。它先进在什么地方？全内存，这是它的第一个概念。oracle也试图做出这样的技术，但他们恐怕需要等到10年以后了，因为他们技术的DNA不对，做的是结构化的处理。 海量就不用说了，oracle处理量单一数据库1P，再往上走就难了，这也是DNA决定的。实时性和高并发方面，柏睿数据的并发能够为深交所做300个并发，oracle只能做30个并发，而且是最近半年从20增长到30，一个节点叫一个并发，节点背后是每秒60万次点击的交易，所以可以算到它的量，所以叫做全内存海量及时高并发，是这个数据库技术的最重要特征，因此它能够把数据的处理从批处理变成流处理方式，也就是随来随到随处理，就像水流一样的处理方式，这是它实现实时性的一个关键技术点。
