高校新闻资讯整合展示系统的设计与实现

这是一篇关于高校新闻,网络爬虫,语义搜索,资讯整合的论文, 主要内容为国家政策、政府文件、兄弟院校的做法以及主流媒体的文章和评估评价结果等都是高校比较重视的信息,是高校监测社会环境、把握全局工作和制定科学决策的重要依据。但是这些内容来源驳杂,收集整理过程需要耗费大量的时间成本和人力成本。同时对市面上的高校新闻资讯系统进行调研后发现,它们收集的都是招生报考政策、就业信息和校园动态等资讯,缺少专门聚焦上述高校相关新闻资讯的系统。针对上述问题,设计并实现了一个高校新闻资讯整合展示系统来辅助高校快速获取自己需要的新闻内容,并引入了语义搜索的相关算法帮助其进一步精准定位信息。主要研究内容如下:首先深入研究了系统的设计与实现过程中需要用到的技术,主要有用来实现爬虫的Scrapy框架、用来实现语义搜索的相关算法和用来实现系统前后端的Vue跟Spring Boot框架。接下来先站在系统管理员的角度上分析了系统应该具有后台管理功能,然后站在系统普通用户的角度上分析了系统需要具有热闻推送、新闻分类展示、专题搜索以及新闻下载等功能,再从技术人员的角度出发分析了系统的非功能需求。然后针对前面提出的需求先设计了系统的总体架构,再结合流程图和时序图给出了系统各个功能模块和数据库的详细设计。最后根据系统设计具体实现了各个功能模块,并且对系统的各个功能模块和性能进行了测试。高校新闻资讯整合展示系统利用爬虫技术收集了57个网站的新闻内容,通过定时爬虫每日新增200条左右的新闻数据。系统按照来源网站的不同对新闻进行分类整理,并结合语义搜索的相关算法进一步帮助高校精准定位所需的信息,解决了在收集整理这些来源驳杂的内容过程中需要耗费大量时间成本与人力成本的问题,实现了高校只用通过一个系统就能够快速获取各种与高校相关的新闻资讯的目的。

基于网络爬虫的电能质量评估及节能分析系统的开发

这是一篇关于电能质量评估,网络爬虫,系统开发,SSA-LSTM负荷预测的论文, 主要内容为随着数据时代的到来,大量监测设备接入电网,电力数据呈爆发式增长。海量的数据为企业决策分析提供了基础,但如何处理数据使之转换成直观有效的信息成为了需要解决的问题。系统综合能源分析平台(以下简称原平台)采集某企业的电力数据,将电流、电压、功率等进行可视化呈现,但仅有基础数据缺乏进一步分析,因此需对平台进行功能强化,挖掘其数据价值,帮助企业管理者了解用电情况,安排生产计划,优化用电行为,降低用电成本,从而实现节能降耗。本文以为企业提供节能管理参考为目标对原平台进行功能强化,实现电能质量评估及节能分析系统的开发。主要研究内容如下:(1)研究了电能质量和负荷预测与节能降损的相关性,分析了在节能管理中电能质量评估和负荷预测的必要性。结合企业生产实际,明确系统的开发思路与具体功能,并进一步确定了系统开发环境,如Python、Java Script、My SQL等。(2)利用网络爬虫技术,爬取系统综合能源分析平台的电压、频率、谐波、三相不平衡、功率、功率因数、电量等基础数据,并存入数据库中,为电能质量评估及节能分析系统的开发提供数据基础。针对Cookie失效的问题,通过selenium模拟用户登录自动更新Cookie。程序运行结果证明该爬虫程序可准确抓取目标数据,达到预期效果。(3)建立了一种SSA-LSTM短期电力负荷预测模型。长短期记忆神经网络(Long Short-Term Memory,LSTM)在挖掘数据隐含的映射关系方面具有优势,但存在参数选择困难、收敛速度慢等缺陷。因此引入麻雀搜索算法(Sparrow Search Algorithm,SSA),对LSTM中的学习率、迭代次数、两个隐含层的神经元个数这4个关键参数进行寻优。仿真结果表明SSA-LSTM模型预测精度较高,适用于双峰型负荷曲线,可有效辅助企业调整生产计划,实现节能降耗。(4)提出了一种基于主客观组合赋权法的改进TOPSIS电能质量综合评估方法。综合考虑电能质量、供电质量与用户体验构建较为全面的评估指标体系,由于指标之间差异性与关联性共存,将主观赋权——层次分析法(Analytic Hierarchy Process,AHP)与客观赋权——熵权法(Entropy Weight Method,EWM)、改进的标准间冲突性相关性法(Improved Criteria Importance Though Intercrieria Correlation,ICRITIC)进行最优组合,确定电能质量指标的组合权重值。由此建立加权TOPSIS电能质量综合评估模型,实现了电能质量的多指标定量综合评估并通过算例分析验证了其可行性。(5)采用前后端分离的B/S架构,开发电能质量评估及节能分析系统。设计了负荷预测、电能质量评估、对比分析、预警管理、节能分析5大功能模块,并通过MVVM设计模式下的Vue框架实现系统的开发。最后,以某企业为例对网络爬虫技术、数据分析算法模型以及系统功能进行测试与实际应用分析。通过本系统可掌握企业各监测点不同时期的电压偏差、三相电压不平衡度、电压谐波总畸变率、频率偏差、功率因数、电能质量综合等级、负荷预测值、能耗对比情况,对于电能质量不合格以及能耗波动过大的时刻发出预警,并从技术与管理两个角度提出相应的节能措施,实现生成节能分析报告,进行班组节能绩效考核和节能成效检验的功能。实际应用表明,电能质量评估及节能分析系统可为企业的节能管理提供有效参考,减少资源浪费,提升经济效益,具有较好的工程实践性与推广性。

基于PU学习算法的网购虚假评论识别应用

这是一篇关于虚假评论,分类器,半监督学习,PU学习算法,网络爬虫的论文, 主要内容为电子商务的日益发展,改变了人们的日常消费习惯,网上购物成为消费主要途径。在线评论作为消费者购物的一个重要依据,成为商家和买家关注的焦点。好评率高的商家店铺更容易获得消费者的青睐。为提升店铺好评率,部分商家利用虚假评论误导消费者来获取利益。监管部门对于虚假评论店铺也制定了惩罚措施,并对虚假评论进行识别,但是商家进行虚假评论的方式更加隐蔽,很难利用人工方法识别海量评论信息。为快速准确地识别虚假评论,本文试图建立一套虚假评论识别体系,包括:数据源获取、文本数据清洗、训练集标注、模型选择与模型应用。首先通过专家指导和机器学习标注相结合构建训练数据集,降低真实评论错误标注的比例,从而提高训练数据的预测能力。其次使用半监督学习的方法,利用少量标记样本,减少标记样本的工作量,利用PU学习算法与朴素贝叶斯、支持向量机、fast Text、GBDT、XGBoost、Light GBM不同分类器进行训练,选取最优分类器与PU学习算法结合。最后对预测结果进行可视化分析,对比虚假评论和真实评论之间的差异。PU学习算法是一种半监督学习,通过将所有正样本和未标记样本进行随机组合来创建训练集。简化了数据标注的流程并提高了分类精度。PU学习算法尤其适用于正例的数量有限并且拥有大量未标记的数据情况,该算法在虚假评论识别领域得到广泛应用。作为应用,利用网络爬虫技术采集电商平台的商品评论实例数据。通过专家指导和机器学习方法部分标注真实评论数据,利用PU学习算法进行分类。实例结果表明:本文方法具有良好的虚假评论识别的性能,这为消费者和监管部门提供了新的方法,具有实际应用价值。

基于网络爬虫的蔬菜价格信息监测分析系统的设计与实现

这是一篇关于网络爬虫,蔬菜价格,MongoDB,datav的论文, 主要内容为我国是人口大国,改革开放促进了我国城镇化,城市居民增加,对农产品尤其是蔬菜的需求量大,蔬菜的生产与供给是政府工作的重点。如今网络上蔬菜信息浩如烟海且具有很强的时效性,相同的蔬菜在不同的区域价格差距又比较大,如何在庞大的农业数据中提取到有利于农业生产、销售有利的信息非常重要,这就需要有精确的蔬菜价格信息进行对比,从而有助于政府对农产品市场的蔬菜价格进行调控;同时农民可以根据实时的农产品价格对农产品进行选择性的栽种,避免造成损失。现有的农业垂直搜索引擎更侧重于农产品的交易信息,虽然提供了便捷的交易平台,但却不便于农业生产者分析行情,也不能给农业生产者的种植提供参考。因此,有必要设计一个针对蔬菜价格信息的监测分析系统以方便农业生产者更快速、准确、及时的了解到不同蔬菜的价格趋势,以便于更合理的种植。本论文设计基于网络爬虫的蔬菜价格信息监测分析系统包括三个部分,即蔬菜价格信息采集、蔬菜价格信息存储和蔬菜价格信息分析。首先使用C#语言编写基于.net框架的网络爬虫对蔬菜价格信息数据进行爬取,采用正则表达式将数据进行分类,然后将爬取到的数据存储到MongoDB数据库中,在MongoDB中建立数据导入、数据导出、索引等操作,然后导出想要监测的蔬菜价格相关信息。最后利用阿里云的datav可视化工具对存储的数据进行可视化分析,实现监测蔬菜价格的变化趋势、各地蔬菜的销售情况、影响蔬菜价格的因素等,达到为农民提供合理的生产决策,给蔬菜批发商提供蔬菜配送路线等目的。本系统操作简单、功能完善,实现了对蔬菜价格的实时监测,为农民和蔬菜批发商提供价格数据参考,对促进我国农业信息化发展和建立蔬菜价格监测系统具有重要作用。

基于hadoop的生猪行业网络舆情监控分析系统的设计与实现

这是一篇关于网络舆情,Hadoop平台,监控分析,网络爬虫,农业大数据的论文, 主要内容为中国是猪肉消费大国,同时也是养猪业大国。在我国当前农业信息化发展的进程中,生猪养殖业的舆情信息呈几何级数增长,达到PB甚至EB级别。对于政府机构以及国内的生猪养殖户来说,网络相关舆情的传播,特别是负面新闻,甚至假新闻的集群效应,造成社会盲动、引发错误思潮、腐蚀政治关系,给地方政府造成了信任危机,严重影响政府部门的有效运行。而国内生猪养殖业舆情的错踪复杂,舆情挖掘分析等技术相对落后,使得相关机构难以准确快速捕捉到舆情信息,从而错失最佳引导时机。因此,建立一个应用于生猪行业的网络舆情信息监控分析系统就显得尤为重要。本文的工作重心和创新点主要包括以下几个方面:(1)在遵守Robots协议的基础上,基于Java语言,设计了自动化网络爬虫系统。对农业网站以及猪行业相关的垂直型信息平台数据进行基本采集、去重、归一化处理、增量采集、存储等步骤。并根据不同站点特点,设置相对应的反爬策略。针对动态网页利用Chrome网络插件进行抓包,分析JS文件,找出服务端请求接口。同时利用Redis这种非结构化数据库设计IP代理池,解决服务器禁用IP地址的问题。(2)采用B/S架构模式去设计系统,系统后端架构基于Spring Boot 2.2.4搭建,系统前端架构基于Boot Strap搭建。结合Spring Security完成了系统的用户认证(Authentication)与用户授权(Authorization),并利用MVC模式进行了开发。分别设计并开发了舆情监控系统的四大核心模块:1)舆情采集子系统2)舆情分析子系统3)舆情服务子系统4)舆情用户管理子系统,并用百度的开源前端插件Echarts进行舆情各项信息的前端展示。(3)利用Hadoop的Map Reduce并行计算框架,实现了舆情分析子系统中热点词热度值以及地域分析算法。本文着重阐述了系统中热点词热度值算法以及地域分析算法的设计及实现过程,并简要描述了算法的实现效果。(4)论文最后展示了舆情监控系统的开发环境及上线效果图。同时为了验证系统的高可用,高性能性,根据软件工程学测试方法,对系统各模块进行功能与系统性能的测试。根据系统运行后的实际效果表明:舆情监控系统不仅能够实时爬取网站信息,而且还可以根据自定义的设置进行增量爬取,补充生猪相关行业大数据库,及时发现当前舆情热点词,热度值。通过对舆情信息设置关键词预警,从而可以实时通过手机短信,邮箱来发送预警通知,并能根据用户自定义时间段生成舆情分析报告。通过本文实现的生猪行业舆情监控系统,使相关舆情工作者能够在互联网海量的数据中,及时发现负面舆情,快速定位,制定有效的决策,从而引导舆情的走向,净化网络环境,使行业健康、可持续发展具有重大的意义。

地市级电网企业网络舆情监测系统的设计与实现

这是一篇关于供电公司,舆情监测,网络爬虫,J2EE技术,Web服务的论文, 主要内容为随着我国电力系统信息化水平的不断提高,各地供电公司的业务基本上已经实现了网络化和数字化,公共互联网已经成为供电公司业务管理和决策分析的重要指导和参考。为了提高供电公司在决策过程中的科学性和供电公司在社会中的形象地位,网络舆情的采集、监测和分析对于供电公司的日常经营管理有着重要的意义。在此背景下各地供电公司都提出了网络舆情监测和分析系统平台的研发任务,拟通过信息化的技术手段来对网络中的舆情数据进行自动采集和整理,提高供电公司的日常决策工作的科学性和正确性。本文对南充供电公司组织研发的网络舆情监测系统的设计与实现工作进行了深入考察与分析,该系统采用J2EE开发平台中的Java Web开发技术和网络爬虫技术等实现。在研究工作中,本文首先对网络舆情监测以及相关技术的研究现状进行考察分析,提出论文的研究任务和内容。其次,对系统研发中涉及到的理论与技术基础进行考察研究,包括了数据挖掘技术、Web页面净化技术、中文分词技术以及Web爬虫技术等方面。第三,对系统的需求分析工作进行考察,包括了系统的开发背景、实现模板、功能需求和其他非功能需求等方面。第四,在系统需求分析工作的基础上,对系统的设计与实现工作进行考察研究,包括了系统的整体设计、功能模块设计、数据库设计、系统功能模块开发实现等方面,在整体设计中包括了系统的网络结构设计、功能层次设计和功能结构设计等,在系统的数据库设计中包括了数据库的逻辑设计和物理表结构设计。第五,对系统的测试工作进行分析考察,包括了系统测试环境、功能部署方式、测试内容设置、测试方法、测试结果等方面。本文研究的供电公司网络舆情监测系统能够自动实现对互联网中的相关Web页面进行自动采集、净化和存储,并以舆情数据库的方式对舆情净化的结果进行分类处理,供电公司内部工作人员能够使用这些舆情数据信息进行相关业务决策的指导和参考,对于供电公司的日常业务管理决策科学性与可靠性的提升有着重要的促进作用和意义。

基于网络爬虫的电能质量评估及节能分析系统的开发

这是一篇关于电能质量评估,网络爬虫,系统开发,SSA-LSTM负荷预测的论文, 主要内容为随着数据时代的到来,大量监测设备接入电网,电力数据呈爆发式增长。海量的数据为企业决策分析提供了基础,但如何处理数据使之转换成直观有效的信息成为了需要解决的问题。系统综合能源分析平台(以下简称原平台)采集某企业的电力数据,将电流、电压、功率等进行可视化呈现,但仅有基础数据缺乏进一步分析,因此需对平台进行功能强化,挖掘其数据价值,帮助企业管理者了解用电情况,安排生产计划,优化用电行为,降低用电成本,从而实现节能降耗。本文以为企业提供节能管理参考为目标对原平台进行功能强化,实现电能质量评估及节能分析系统的开发。主要研究内容如下:(1)研究了电能质量和负荷预测与节能降损的相关性,分析了在节能管理中电能质量评估和负荷预测的必要性。结合企业生产实际,明确系统的开发思路与具体功能,并进一步确定了系统开发环境,如Python、Java Script、My SQL等。(2)利用网络爬虫技术,爬取系统综合能源分析平台的电压、频率、谐波、三相不平衡、功率、功率因数、电量等基础数据,并存入数据库中,为电能质量评估及节能分析系统的开发提供数据基础。针对Cookie失效的问题,通过selenium模拟用户登录自动更新Cookie。程序运行结果证明该爬虫程序可准确抓取目标数据,达到预期效果。(3)建立了一种SSA-LSTM短期电力负荷预测模型。长短期记忆神经网络(Long Short-Term Memory,LSTM)在挖掘数据隐含的映射关系方面具有优势,但存在参数选择困难、收敛速度慢等缺陷。因此引入麻雀搜索算法(Sparrow Search Algorithm,SSA),对LSTM中的学习率、迭代次数、两个隐含层的神经元个数这4个关键参数进行寻优。仿真结果表明SSA-LSTM模型预测精度较高,适用于双峰型负荷曲线,可有效辅助企业调整生产计划,实现节能降耗。(4)提出了一种基于主客观组合赋权法的改进TOPSIS电能质量综合评估方法。综合考虑电能质量、供电质量与用户体验构建较为全面的评估指标体系,由于指标之间差异性与关联性共存,将主观赋权——层次分析法(Analytic Hierarchy Process,AHP)与客观赋权——熵权法(Entropy Weight Method,EWM)、改进的标准间冲突性相关性法(Improved Criteria Importance Though Intercrieria Correlation,ICRITIC)进行最优组合,确定电能质量指标的组合权重值。由此建立加权TOPSIS电能质量综合评估模型,实现了电能质量的多指标定量综合评估并通过算例分析验证了其可行性。(5)采用前后端分离的B/S架构,开发电能质量评估及节能分析系统。设计了负荷预测、电能质量评估、对比分析、预警管理、节能分析5大功能模块,并通过MVVM设计模式下的Vue框架实现系统的开发。最后,以某企业为例对网络爬虫技术、数据分析算法模型以及系统功能进行测试与实际应用分析。通过本系统可掌握企业各监测点不同时期的电压偏差、三相电压不平衡度、电压谐波总畸变率、频率偏差、功率因数、电能质量综合等级、负荷预测值、能耗对比情况,对于电能质量不合格以及能耗波动过大的时刻发出预警,并从技术与管理两个角度提出相应的节能措施,实现生成节能分析报告,进行班组节能绩效考核和节能成效检验的功能。实际应用表明,电能质量评估及节能分析系统可为企业的节能管理提供有效参考,减少资源浪费,提升经济效益,具有较好的工程实践性与推广性。