基于微博的突发公共事件舆情监测大数据平台设计与实现——以新冠肺炎疫情为例

这是一篇关于微博,舆情监测,大数据平台,数据指标体系,舆情热度模型的论文, 主要内容为近年来,国内外突发公共事件频发,我国网民通过网络社交媒体表达意见的现象日益普遍,客观上对政府部门及其工作人员公正执法、依法施政起到积极监督作用。但若对负面舆情不加约束甚至放纵其野蛮生长,则与舆论监督的初衷相悖,同时也极易造成网络舆情危机——既带偏节奏加大社会治理成本,又为不法分子与敌对势力煽动民情民意提供可乘之机。因此,从技术上有效加强对相关网络舆情数据筛查、监测、规范和应对就不仅必要而且急需。本研究基于舆情的属性与地理空间信息,将大数据技术与网络舆情分析方法相结合,以微博数据为对象,提出了实时和离线微博舆情数据采集与存储策略及分析模型,基于现代信息技术进行大数据平台架构设计与选型,实现能处置突发公共事件的舆情监测大数据平台。解决了现有网络舆情监测系统对海量舆情数据采集、存储与分析能力及不同地理空间网络舆情实时监测与离线挖掘能力的欠缺问题,同时减少数据空间异质性对舆情热度分析的影响。初步试验表明,该系统可满足省、地两级行政区实时与离线舆情监测的需要,助力政府提高舆情应对的技术层次和治理水平。本研究工作内容和成果如下:(1)制定数据采集与存储策略。一是设计实时与离线数据的不同采集策略,采用Scrapy爬虫框架实现数据爬取,一定程度上解决了微博数据爬取信息不完善、时效性差的问题;二是参考地理维度和时间粒度,设计了符合微博数据特征的数据指标体系,定义了数据仓库数据分层模型,并采用Kafka、My SQL与Hive实现实时数据仓库与离线数据仓库的构建,以满足省、地两级行政区实时与离线数据存储与查询需求。(2)建立微博舆情分析模型。针对各地区群众在微博平台发布舆情数据的意愿不同问题,本文提出了改进热量公式舆情热度模型,根据各地区博文发布数量计算地理属性权值,减少数据在各地区之间的空间异质性影响。同时采用朴素贝叶斯情感模型与Bisecting K-Means热点话题模型,共同构成微博舆情分析模型。(3)实现舆情监测大数据平台。在需求分析基础上,进行系统逻辑架构与技术架构的设计,分别使用Spark、HDFS等多种开发技术完成数据采集、数据存储、数据分析、数据服务与数据可视化模块的技术选型与功能开发,并通过容器化管理技术完成各功能模块的镜像部署。最后以新冠肺炎疫情作为应用案例,验证大数据监测平台的可行性和实用性。

基于主题爬虫的网络舆情系统研究和实现

这是一篇关于舆情,网络舆情,主题爬虫,舆情监测,事件分析的论文, 主要内容为网络舆情发酵时间短、传播速度快、传播范围广。网络舆情发生后,由于有关部门未及时发现舆情,错过处置的最佳时机,造成网络舆情发酵扩散,形成网络舆情风暴,引起群众的质疑和不满,严重影响政府的公信力和整体形象。为此,地方政府需要采用先进的互联网搜索技术,对新闻媒体、网站、客户端、博客、微博、微信公众号、论坛、贴吧等进行全天候监测,第一时间发现涉及本地舆情信息,进行数据分析和研判预警,编撰舆情分析报告,协助配合有关单位第一时间回应,实现有效引导、科学处置网络舆情。因此,本文研究设计了网络舆情系统。本文详细分析了舆情、网络舆情的概念、采集的来源、特征和负面影响,详细界定了地方政府采集的网络舆情种类、关键词,明确了地方政府采集的网络舆情内容。本文对网络舆情系统的实现过程、使用的关键技术作了简要分析,详细研究了通用爬虫和主题爬虫的结构。本文认为,研发基于主题爬虫的网络舆情系统才能采集到地方政府所关注的网络舆情,才能降低非舆情信息的干扰,满足当前地方政府对网络舆情管理的需求。本文结合从事的网络舆情处置工作,研究了网络舆情系统的设计与实现。通过参与网络舆情系统开发部署,结合项目立项、设计、实施全过程的资料与文档,完成了网络舆情系统的需求分析、系统功能设计、系统功能实现和系统测试等环节,最终完成系统的部署。网络舆情系统实现了网络舆情采集、舆情监测、预警推送、舆情处置和舆情预警等功能。该系统的成功运行,提升了本区网络舆情监测、分析、处置、统计的工作效率,可以为其他地方政府开发类似的网络舆情系统提供启发和借鉴。

基于主题爬虫的食物营养科普信息监测系统研究

这是一篇关于食物营养,主题爬虫,数据分析,舆情监测的论文, 主要内容为现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于公众对于此类信息的认知匮乏,导致此类网络舆情也逐渐传播,对社会产生不良影响。因此对于食物营养科普信息的进一步监测管理十分重要,根据食物营养科普信息需要进行监测这一需求,本文设计并实现了基于主题爬虫的食物营养科普信息监测系统,开展食物营养科普信息监测,实现正确引导、科学处置,保障公众的营养健康安全。在对网络舆情分析系统主要技术研究的基础上,针对此类信息的实际需求,本文开展了以下几方面的工作:1.针对食物营养科普信息传播的广泛性以及缺少监管性等特点来进行需求分析,根据功能性和非功能性需求分析的结果,设计出了本系统详细的架构体系。按照层次化来进行构建,主要分为三层,分别为食物营养科普信息数据采集层,核心服务层(包含食物营养数据预处理以及相关算法实现),功能展示层(展示食物营养科普信息数据分析结果,包括舆情动态,舆情属性等功能)。根据系统架构的设计完成了食物营养科普信息的数据采集,核心服务,功能展示等模块的设计,并完成了相应的食物营养科普信息数据库设计,包括爬取信息表、数据来源信息表等数据库表。2.对于食物营养科普信息监测系统主要功能的实现,需要进行相关技术与算法的研究与实现,主要包括:数据采集技术,文本聚类、文本分类、情感分析等算法。首先需要获取食物营养科普信息领域数据,用主题爬虫来获取,主题爬虫的数据来源是舆情高发的网站,本系统主要是:微博,微信公众号,百度贴吧,而食物营养科普主题的关键词的选取主要是通过营养学词典部分,保健食品功能,贴近于此领域的词汇(如:水果,农业等)来确定。数据获取完毕之后,需要对食物营养科普信息进行预处理包括分词处理,停用词处理等操作,然后进行算法的对比实验,通过精确率,召回率,F1值三大指标来进行衡量算法的优劣。实现话题跟踪与检测功能时,需要使用的是文本聚类和文本分类算法,文本聚类使用的算法有LDA主题模型,K-MEANS,DBSCN,通过指标的比较,DBSCN比较准确;文本分类使用的算法有SVM,KNN,Bayes,通过指标的比较,朴素贝叶斯更加准确。由此看出,把DBSCN与朴素贝叶斯应用到系统中。在实现食物营养科普信息舆情属性功能时,需要进行文本情感分析,使用的算法有LSTM,CNN,RNN,通过指标的比较,CNN较为准确,把CNN算法应用到系统当中。3.根据食物营养科普信息的需求分析,完成了系统的功能模块设计以及适用于本系统的算法选取实验,并以此为基础完成并实现了基于主题爬虫的食物营养科普信息监测系统,实现的主要功能包含:可视化展示、信息管理、系统管理、报表统计等。本系统选择B/S系统架构,前台使用Layui框架构建,后台使用Spring boot框架,以Java、Python作为开发语言,Java实现系统的开发,而系统中的主题爬虫以及算法设计是为Python。MySQL为系统数据库,数据库与网站本体部署在同一台物理服务器上。完成系统开发后需进行系统测试,测试结果显示此系统能够满足设计阶段确定的功能性需求和性能需求,可以进行基本的食物营养科普信息监测与分析。该系统已在农业农村部食物与营养发展研究所得到应用。实践表明,该系统可以满足使用人员对于食物营养科普信息监测与分析需求,能够及时了解食物营养相关科普动态。

地市级电网企业网络舆情监测系统的设计与实现

这是一篇关于供电公司,舆情监测,网络爬虫,J2EE技术,Web服务的论文, 主要内容为随着我国电力系统信息化水平的不断提高,各地供电公司的业务基本上已经实现了网络化和数字化,公共互联网已经成为供电公司业务管理和决策分析的重要指导和参考。为了提高供电公司在决策过程中的科学性和供电公司在社会中的形象地位,网络舆情的采集、监测和分析对于供电公司的日常经营管理有着重要的意义。在此背景下各地供电公司都提出了网络舆情监测和分析系统平台的研发任务,拟通过信息化的技术手段来对网络中的舆情数据进行自动采集和整理,提高供电公司的日常决策工作的科学性和正确性。本文对南充供电公司组织研发的网络舆情监测系统的设计与实现工作进行了深入考察与分析,该系统采用J2EE开发平台中的Java Web开发技术和网络爬虫技术等实现。在研究工作中,本文首先对网络舆情监测以及相关技术的研究现状进行考察分析,提出论文的研究任务和内容。其次,对系统研发中涉及到的理论与技术基础进行考察研究,包括了数据挖掘技术、Web页面净化技术、中文分词技术以及Web爬虫技术等方面。第三,对系统的需求分析工作进行考察,包括了系统的开发背景、实现模板、功能需求和其他非功能需求等方面。第四,在系统需求分析工作的基础上,对系统的设计与实现工作进行考察研究,包括了系统的整体设计、功能模块设计、数据库设计、系统功能模块开发实现等方面,在整体设计中包括了系统的网络结构设计、功能层次设计和功能结构设计等,在系统的数据库设计中包括了数据库的逻辑设计和物理表结构设计。第五,对系统的测试工作进行分析考察,包括了系统测试环境、功能部署方式、测试内容设置、测试方法、测试结果等方面。本文研究的供电公司网络舆情监测系统能够自动实现对互联网中的相关Web页面进行自动采集、净化和存储,并以舆情数据库的方式对舆情净化的结果进行分类处理,供电公司内部工作人员能够使用这些舆情数据信息进行相关业务决策的指导和参考,对于供电公司的日常业务管理决策科学性与可靠性的提升有着重要的促进作用和意义。

基于主题爬虫的食物营养科普信息监测系统研究

这是一篇关于食物营养,主题爬虫,数据分析,舆情监测的论文, 主要内容为现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于公众对于此类信息的认知匮乏,导致此类网络舆情也逐渐传播,对社会产生不良影响。因此对于食物营养科普信息的进一步监测管理十分重要,根据食物营养科普信息需要进行监测这一需求,本文设计并实现了基于主题爬虫的食物营养科普信息监测系统,开展食物营养科普信息监测,实现正确引导、科学处置,保障公众的营养健康安全。在对网络舆情分析系统主要技术研究的基础上,针对此类信息的实际需求,本文开展了以下几方面的工作:1.针对食物营养科普信息传播的广泛性以及缺少监管性等特点来进行需求分析,根据功能性和非功能性需求分析的结果,设计出了本系统详细的架构体系。按照层次化来进行构建,主要分为三层,分别为食物营养科普信息数据采集层,核心服务层(包含食物营养数据预处理以及相关算法实现),功能展示层(展示食物营养科普信息数据分析结果,包括舆情动态,舆情属性等功能)。根据系统架构的设计完成了食物营养科普信息的数据采集,核心服务,功能展示等模块的设计,并完成了相应的食物营养科普信息数据库设计,包括爬取信息表、数据来源信息表等数据库表。2.对于食物营养科普信息监测系统主要功能的实现,需要进行相关技术与算法的研究与实现,主要包括:数据采集技术,文本聚类、文本分类、情感分析等算法。首先需要获取食物营养科普信息领域数据,用主题爬虫来获取,主题爬虫的数据来源是舆情高发的网站,本系统主要是:微博,微信公众号,百度贴吧,而食物营养科普主题的关键词的选取主要是通过营养学词典部分,保健食品功能,贴近于此领域的词汇(如:水果,农业等)来确定。数据获取完毕之后,需要对食物营养科普信息进行预处理包括分词处理,停用词处理等操作,然后进行算法的对比实验,通过精确率,召回率,F1值三大指标来进行衡量算法的优劣。实现话题跟踪与检测功能时,需要使用的是文本聚类和文本分类算法,文本聚类使用的算法有LDA主题模型,K-MEANS,DBSCN,通过指标的比较,DBSCN比较准确;文本分类使用的算法有SVM,KNN,Bayes,通过指标的比较,朴素贝叶斯更加准确。由此看出,把DBSCN与朴素贝叶斯应用到系统中。在实现食物营养科普信息舆情属性功能时,需要进行文本情感分析,使用的算法有LSTM,CNN,RNN,通过指标的比较,CNN较为准确,把CNN算法应用到系统当中。3.根据食物营养科普信息的需求分析,完成了系统的功能模块设计以及适用于本系统的算法选取实验,并以此为基础完成并实现了基于主题爬虫的食物营养科普信息监测系统,实现的主要功能包含:可视化展示、信息管理、系统管理、报表统计等。本系统选择B/S系统架构,前台使用Layui框架构建,后台使用Spring boot框架,以Java、Python作为开发语言,Java实现系统的开发,而系统中的主题爬虫以及算法设计是为Python。MySQL为系统数据库,数据库与网站本体部署在同一台物理服务器上。完成系统开发后需进行系统测试,测试结果显示此系统能够满足设计阶段确定的功能性需求和性能需求,可以进行基本的食物营养科普信息监测与分析。该系统已在农业农村部食物与营养发展研究所得到应用。实践表明,该系统可以满足使用人员对于食物营养科普信息监测与分析需求,能够及时了解食物营养相关科普动态。

基于主题爬虫的食物营养科普信息监测系统研究

这是一篇关于食物营养,主题爬虫,数据分析,舆情监测的论文, 主要内容为现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于公众对于此类信息的认知匮乏,导致此类网络舆情也逐渐传播,对社会产生不良影响。因此对于食物营养科普信息的进一步监测管理十分重要,根据食物营养科普信息需要进行监测这一需求,本文设计并实现了基于主题爬虫的食物营养科普信息监测系统,开展食物营养科普信息监测,实现正确引导、科学处置,保障公众的营养健康安全。在对网络舆情分析系统主要技术研究的基础上,针对此类信息的实际需求,本文开展了以下几方面的工作:1.针对食物营养科普信息传播的广泛性以及缺少监管性等特点来进行需求分析,根据功能性和非功能性需求分析的结果,设计出了本系统详细的架构体系。按照层次化来进行构建,主要分为三层,分别为食物营养科普信息数据采集层,核心服务层(包含食物营养数据预处理以及相关算法实现),功能展示层(展示食物营养科普信息数据分析结果,包括舆情动态,舆情属性等功能)。根据系统架构的设计完成了食物营养科普信息的数据采集,核心服务,功能展示等模块的设计,并完成了相应的食物营养科普信息数据库设计,包括爬取信息表、数据来源信息表等数据库表。2.对于食物营养科普信息监测系统主要功能的实现,需要进行相关技术与算法的研究与实现,主要包括:数据采集技术,文本聚类、文本分类、情感分析等算法。首先需要获取食物营养科普信息领域数据,用主题爬虫来获取,主题爬虫的数据来源是舆情高发的网站,本系统主要是:微博,微信公众号,百度贴吧,而食物营养科普主题的关键词的选取主要是通过营养学词典部分,保健食品功能,贴近于此领域的词汇(如:水果,农业等)来确定。数据获取完毕之后,需要对食物营养科普信息进行预处理包括分词处理,停用词处理等操作,然后进行算法的对比实验,通过精确率,召回率,F1值三大指标来进行衡量算法的优劣。实现话题跟踪与检测功能时,需要使用的是文本聚类和文本分类算法,文本聚类使用的算法有LDA主题模型,K-MEANS,DBSCN,通过指标的比较,DBSCN比较准确;文本分类使用的算法有SVM,KNN,Bayes,通过指标的比较,朴素贝叶斯更加准确。由此看出,把DBSCN与朴素贝叶斯应用到系统中。在实现食物营养科普信息舆情属性功能时,需要进行文本情感分析,使用的算法有LSTM,CNN,RNN,通过指标的比较,CNN较为准确,把CNN算法应用到系统当中。3.根据食物营养科普信息的需求分析,完成了系统的功能模块设计以及适用于本系统的算法选取实验,并以此为基础完成并实现了基于主题爬虫的食物营养科普信息监测系统,实现的主要功能包含:可视化展示、信息管理、系统管理、报表统计等。本系统选择B/S系统架构,前台使用Layui框架构建,后台使用Spring boot框架,以Java、Python作为开发语言,Java实现系统的开发,而系统中的主题爬虫以及算法设计是为Python。MySQL为系统数据库,数据库与网站本体部署在同一台物理服务器上。完成系统开发后需进行系统测试,测试结果显示此系统能够满足设计阶段确定的功能性需求和性能需求,可以进行基本的食物营养科普信息监测与分析。该系统已在农业农村部食物与营养发展研究所得到应用。实践表明,该系统可以满足使用人员对于食物营养科普信息监测与分析需求,能够及时了解食物营养相关科普动态。

基于主题爬虫的食物营养科普信息监测系统研究

这是一篇关于食物营养,主题爬虫,数据分析,舆情监测的论文, 主要内容为现阶段,公众对于食品营养缺乏应有重视,营养宣传教育必不可少。近几年政府对于食品营养科普这方面关注也越来越多,而且随着互联网技术的快速发展和广泛应用,食物营养的科普信息在网络媒体上的宣传形式变的很多,但是质量参差不齐。由于公众对于此类信息的认知匮乏,导致此类网络舆情也逐渐传播,对社会产生不良影响。因此对于食物营养科普信息的进一步监测管理十分重要,根据食物营养科普信息需要进行监测这一需求,本文设计并实现了基于主题爬虫的食物营养科普信息监测系统,开展食物营养科普信息监测,实现正确引导、科学处置,保障公众的营养健康安全。在对网络舆情分析系统主要技术研究的基础上,针对此类信息的实际需求,本文开展了以下几方面的工作:1.针对食物营养科普信息传播的广泛性以及缺少监管性等特点来进行需求分析,根据功能性和非功能性需求分析的结果,设计出了本系统详细的架构体系。按照层次化来进行构建,主要分为三层,分别为食物营养科普信息数据采集层,核心服务层(包含食物营养数据预处理以及相关算法实现),功能展示层(展示食物营养科普信息数据分析结果,包括舆情动态,舆情属性等功能)。根据系统架构的设计完成了食物营养科普信息的数据采集,核心服务,功能展示等模块的设计,并完成了相应的食物营养科普信息数据库设计,包括爬取信息表、数据来源信息表等数据库表。2.对于食物营养科普信息监测系统主要功能的实现,需要进行相关技术与算法的研究与实现,主要包括:数据采集技术,文本聚类、文本分类、情感分析等算法。首先需要获取食物营养科普信息领域数据,用主题爬虫来获取,主题爬虫的数据来源是舆情高发的网站,本系统主要是:微博,微信公众号,百度贴吧,而食物营养科普主题的关键词的选取主要是通过营养学词典部分,保健食品功能,贴近于此领域的词汇(如:水果,农业等)来确定。数据获取完毕之后,需要对食物营养科普信息进行预处理包括分词处理,停用词处理等操作,然后进行算法的对比实验,通过精确率,召回率,F1值三大指标来进行衡量算法的优劣。实现话题跟踪与检测功能时,需要使用的是文本聚类和文本分类算法,文本聚类使用的算法有LDA主题模型,K-MEANS,DBSCN,通过指标的比较,DBSCN比较准确;文本分类使用的算法有SVM,KNN,Bayes,通过指标的比较,朴素贝叶斯更加准确。由此看出,把DBSCN与朴素贝叶斯应用到系统中。在实现食物营养科普信息舆情属性功能时,需要进行文本情感分析,使用的算法有LSTM,CNN,RNN,通过指标的比较,CNN较为准确,把CNN算法应用到系统当中。3.根据食物营养科普信息的需求分析,完成了系统的功能模块设计以及适用于本系统的算法选取实验,并以此为基础完成并实现了基于主题爬虫的食物营养科普信息监测系统,实现的主要功能包含:可视化展示、信息管理、系统管理、报表统计等。本系统选择B/S系统架构,前台使用Layui框架构建,后台使用Spring boot框架,以Java、Python作为开发语言,Java实现系统的开发,而系统中的主题爬虫以及算法设计是为Python。MySQL为系统数据库,数据库与网站本体部署在同一台物理服务器上。完成系统开发后需进行系统测试,测试结果显示此系统能够满足设计阶段确定的功能性需求和性能需求,可以进行基本的食物营养科普信息监测与分析。该系统已在农业农村部食物与营养发展研究所得到应用。实践表明,该系统可以满足使用人员对于食物营养科普信息监测与分析需求,能够及时了解食物营养相关科普动态。