基于.Net的装备管理系统的设计和实现
这是一篇关于流数据,大对象,缓冲机制,设计,实现,性能的论文, 主要内容为本论文调查分析了地调局的办公自动化需求，结合现代开发管理系统的先进技术，以VS.NET为开发平台，设计和实现了一个装备管理信息系统，达到提高办公效率，方便办公操作，简化办公流程的目的。 本装备管理信息系统建立了合理的物理数据库模型，采用先进、成熟的软件开发方法及系统设计模式，开发了基于网络技术的、功能完善的装备管理系统，满足了设备的信息化管理需求。 本装备管理信息系统由B／S和C／S两种模式组成，利用了C／S模式的交互性强的特点和B／S模式的易升级维护，适用网上发布信息等特点。 该系统B／S部分采用当前热门的ASP.NET+ADO.NET技术，并充分利用三层架构优化系统结构，将应用程序分为三个层：数据层由一系列数据表和存储过程组成，几乎所有对数据的访问都通过存储过程实现；业务层定义了一系列的类来实现业务规则和对数据层的调用；表示层显示业务层传送的数据并完成对录入数据的验证，将数据传送给业务层。C／S部分则采用了.NET Remoting技术。 本文详细介绍了装备管理信息系统的设计和实现，介绍了系统中所用到的三层模式。重点研究了流数据技术，根据已有的基于流数据的大对象缓冲机制的实现理论，对历史文件索引方法提出了改进，提高了数据库存取图片文件等大对象的效率。并介绍了系统的性能优化和安全设计，讨论了数据库的安全设计，最后对系统进行了测试。
支持多源异构流数据汇集的通信服务器设计与实现
这是一篇关于流数据,数据通信,高并发连接,感知数据托管的论文, 主要内容为随着物联网技术的普及,催生了很多新的应用,同时给传统行业带来了变化,例如智能家居、智能交通、智慧城市等。不同行业的行为活动已经被转变为动态流数据,这些数据具有实时性、并发性、异构性等新特点,传统的处理方法和处理模型已经不能够满足于动态流数据的接入需求。流数据接入的主要难点在于数据种类多样和数据来源广泛：例如有GPS数据、交通车辆数据、传感器采集的数据以及其他感知数据等类型；数据来源包括交通、农业、医疗、电商等各个领域来自于大量的前端传感器和不同行为转化的数据。在上述数据接入的技术需求下,产生了两方面的问题：动态流数据怎么被接入到云中心,不同类型的动态流数据如何传输和大量前端的异构数据怎么接入；如何满足流数据通信服务器对于数据的高效解析和分发,为了应对大量数据的接入和支撑其它业务的处理,需要高效的解析数据和分发数据。本文针对现在缺少有效的流数据汇集系统,在掌握了网络通信协议、异构流数据汇集技术以及异步10技术后,设计并实现了一个支持多源异构流数据汇集的通信服务器,我们称之为流数据通信服务器。在云环境下可以支持海量数据的接入、解析和分发。并且为用户提供web端,可以监测数据变化,同时对数据进行持久化,以备其它应用可以使用流数据。论文的主要内容包括：(I)设计了一种支持异构流数据汇集的数据通信协议,包含了发送的数据帧格式、响应的数据帧格式以及增强可靠性的一些设计。把不同来源、不同类型的数据按照数据通信协议的格式打包再接入系统,不仅实现了数据通信而且能够支持异构流数据的接入。(2)采用异步10方式实现了支持高并发的流数据通信服务器,本文主要使用了Libevent和多线程连接池等技术来实现高并发机制。在接入大量数据后能够高并发的对数据进行解析和分发来保证系统的性能,同时能够将处理后消息包转发给消息服务器实现消息中转。(3)开发了一套物联网感知数据托管服务应用原型系统,在本文已实现的流数据通信服务器基础上设计的。能够实现用户对设备和数据的管理,为云环境下的不同用户的不同类型的感知数据汇集提供了新的服务支撑模式。此外,经实验测试,系统在普通服务器配置下可达到3000并发长连接(即3000个终端设备下每秒3000条数据的接收能力)
基于流数据挖掘的客户细分研究
这是一篇关于客户细分,购买预测,流数据,概念漂移,分类算法,聚类算法的论文, 主要内容为客户细分工作在保持存量客户,发掘潜在用户以及差异化营销方面发挥着重要的作用,不断变化的客群特征要求客户细分需要有较强的时效性,要求管理人员动态调整客群划分,这需要快速和准确的划分策略予以支持。随着数字经济的发展,互联网企业积累了大量的数据资源,应用大数据和机器学习方法开展客户细分及购买倾向预测工作,并取得了显著的效果。但是海量和快速更新的数据,使得静态数据挖掘算法的训练产生了巨大的计算和储存空间开支。而基于流数据的增量更新算法能够在有限储存占用及单次扫描的约束下完成聚类和分类等挖掘工作,且能够在海量数据实时更新的条件下动态调整算法的决策规则。基于以上问题,本文开发并改进了一种先聚类后基于聚群结构进行近邻分类的流数据分类算法,以实现分类问题增量更新任务,同时捕获群体结构变化特征。经过模拟和真实数据集的测试,实验结果表明该方法能够较好的对流数据进行聚群划分,及时有效地捕获数据流的偏移,在流数据分类问题上有着较好的表现。进一步将该方法应用于电商平台的用户点击流数据中,用于发现群体聚群特征,并在聚群的基础上进行分类预测,找出各聚群中购买倾向较高的用户群体,为电商平台的营销方向和对象提供参考,结果表明该算法能够有效预测用户的购买倾向,能够辅助决策人员制定有针对性的营销策略。
基于工况分析的长输管道泄漏辅助检测系统
这是一篇关于管道泄漏检测,大数据,流数据,Cloudera Manager,Spark Streaming的论文, 主要内容为系统前端的管道泄漏监测主要采用声波法、负压波法等,这些方法最主要的缺点在于无法识别各种复杂的工况,从而产生较多误报。另外随着长输管道中数据量的不断增长,在传统单台服务器上,基于Oracle、SQL Server、MySQL等关系型数据库构建系统的方式,将很快导致系统性能的大幅下降。因此构建一个基于大数据的工况分析与识别泄漏辅助检测系统可以有效的解决原有系统的问题。本文中以CDH为基础,基于长输管道数据量的快速增长,在实验室现有资源下构建了一个大数据平台,目的在于解决随着系统运行时间的增长,导致数据不断增多,使得关系型数据库的系统优化和扩展困难,无法满足系统性能需求的问题。对现有的大数据体系架构中的组件进行合理分配和管理,保障了今后大量数据管理的安全性,可维护性以及实时检测系统性能的可扩展性。以 Spark Streaming 为核心,Flume,Kafka,HBase 为基础构建了一套实时数据处理框架。从源数据的解析和预处理,模拟实时数据传输的过程,到Flume进行数据的实时采集和Kafka进行数据的流量缓存,最终通过Spark Streaming进行数据的业务处理,以及HBase中数据的存储,整个流程完整的实现了大数据平台下数据的实时处理。本文中通过对工业现场采集数据的研究和处理,完成了压力的时序特征到频率特征的转变,通过对现有机器学习分类算法的研究和尝试,结合Spark分布式计算的特点,找到了对现有离线数据集训练结果良好的分类算法,运用在线和离线相结合的学习方法,加载离线学习模型,对实时数据进行分类预测,通过定期更新离线数据集的方式,提高模型预测的准确性,到达在线学习的目的。本文通过IDEA建立Spring Boot的web项目,根据ECharts的丰富的前端模型库,建立前端压力预警界面,将HBase中由Spark Streaming预测的结果实时在前端响应出来,为生产环境提供泄漏辅助检测,区分由工况造成的误报。
差分隐私保护下的流数据更新估计研究
这是一篇关于隐私保护,差分隐私,流数据,梯度下降的论文, 主要内容为当今大数据时代机器学习技术发挥了重要的作用,在图像识别、推荐系统和自然语言处理等领域都取得了令人瞩目的成功,这部分归功于用于训练机器学习模型的数据集。然而这些数据集很可能包含个人的敏感信息,直接发布数据或是将数据用于训练模型存在隐私泄露的风险。因此,如何在保护用户隐私的前提下更加有效的挖掘和利用数据是亟待解决的问题。差分隐私技术是针对隐私泄露问题的一种有效手段,通过在查询结果上添加满足一定分布的噪声,使得攻击者无法判断某个用户是否在数据集里,即便该攻击者具备较强的背景知识。本文聚焦流数据的参数估计问题:针对流数据大量、快速、实时到达和一经处理便不再保存的特点,无法使用全部的数据集去估计参数。本文利用在线更新的思想估计流数据的参数,即每次更新只使用以往数据的统计量和当前批数据,并结合差分隐私技术保护用户隐私。本文的主要研究内容和成果具体如下:首先,比较了分别使用(ε,δ)-差分隐私和高斯差分隐私的高斯机制达到相同的隐私保护效果所需添加噪声的方差,结果表明,在ε较大时两种差分隐私机制添加噪声基本相同,而较小时使用高斯差分隐私的高斯机制添加的噪声显著更小。其次,提出了差分隐私保护下的流数据参数更新算法,在新的一批数据到达后,仅使用这批数据对参数做一次梯度下降更新。这里用一个梯度裁剪参数对较大的样本点的梯度进行裁剪,以便控制敏感度;基于上述比较选择使用高斯差分隐私的高斯机制在梯度上添加正态分布噪音,使整个更新步骤满足差分隐私。最后,给出了整个算法的隐私保护效果,本文利用高斯差分隐私的平行分解定理,整个算法相当于多个作用于不同数据集的隐私机制的组合,组合之后的隐私预算由隐私效果最差的单个机制决定。比起其他算法,该算法以较小的隐私预算实现了良好的隐私保护效果。在模拟数据集和真实数据集上的实验结果表明,通过合理的选择裁剪参数值,该算法能够获得和不加噪声的情况下几乎相同的准确率,说明本文的算法兼顾了隐私保护和数据可用性。
在线广告投放平台的设计与实现
这是一篇关于程序化交易,实时竞价,广告投放,流数据,数据处理的论文, 主要内容为在现如今的社会生活中,基于程序化交易的自动化广告投放业务发展迅速,大规模的在线广告投放平台的出现使得广告投放之间的竞争越来越激烈。一些小的企业没有自己的广告投放平台,需要依托第三方平台,无法获得效益。另一方面,有了自己的广告投放平台,对自己的广告下发做不到控量,导致没有价值的广告下发下去,用户并没有浏览和点击。除此之外,程序化广告的出价方式比较落后,对每条广告有着固定价格,增加广告投放平台的成本浪费。论文选题来源于实习公司的广告平台项目,随着大数据的快速发展,行业的领军者在广告业务的研究也相当成熟。为了满足公司不断激增的业务量,针对当前广告投放存在的问题,结合公司具体的业务场景,为帮助公司获得高额利润,参与并进行了广告投放平台的设计与实现。dsp(Demand-Side Platform)广告投放平台在业界通常被称作需求方平台,目的是选取一条价值最高(最适合投放)的广告去投放到广告交易平台,提供一种自动化选取广告的设计方案从而实现广告投放平台的分析与设计,完成公司内部广告投放平台。其主要工作如下:(1)分析并研究广告平台的相关资料,决定本文所采取的具体技术和手段,之后对在线广告投放平台的功能性需求和非功能性需求进行设计,结合广告平台相关技术和需求分析,对本项目的主要的功能进行概要设计和详细设计。(2)研究中采取spring框架,在对广告进行过限流后,选出一条价值最高的广告去参与投放。在本项目中数据的处理主要采用大数据流处理技术,提高广告数据的实时性,基于大数据的实时计算和离线数仓保证数据的准确度,为广告筛选提供数据保证。(3)在实际项目开发,研究并使用任务调度平台来完成项目中任务的定时调度,更好进行数据处理,同时使用可视化工具对系统的非功能性测试进行良好的设计与分析。本项目已经在公司内部进行实施,并且功能还在不断迭代,我在该项目所做的工作,保障了该项目的完整运行,各功能模块达到预期,系统执行效益也得到验证,为公司内部投放广告降低成本,提高效益。该项目由于在本公司首次开发,未来还有很大发展空间,比如支持更多的广告形式、提升更改的数据处理能力,广告投放的精准度还有很大的改善空间。在不久的将来,可以基于该平台更好地完成广告交易平台和广告数据管理平台的实现。
基于工况分析的长输管道泄漏辅助检测系统
这是一篇关于管道泄漏检测,大数据,流数据,Cloudera Manager,Spark Streaming的论文, 主要内容为系统前端的管道泄漏监测主要采用声波法、负压波法等,这些方法最主要的缺点在于无法识别各种复杂的工况,从而产生较多误报。另外随着长输管道中数据量的不断增长,在传统单台服务器上,基于Oracle、SQL Server、MySQL等关系型数据库构建系统的方式,将很快导致系统性能的大幅下降。因此构建一个基于大数据的工况分析与识别泄漏辅助检测系统可以有效的解决原有系统的问题。本文中以CDH为基础,基于长输管道数据量的快速增长,在实验室现有资源下构建了一个大数据平台,目的在于解决随着系统运行时间的增长,导致数据不断增多,使得关系型数据库的系统优化和扩展困难,无法满足系统性能需求的问题。对现有的大数据体系架构中的组件进行合理分配和管理,保障了今后大量数据管理的安全性,可维护性以及实时检测系统性能的可扩展性。以 Spark Streaming 为核心,Flume,Kafka,HBase 为基础构建了一套实时数据处理框架。从源数据的解析和预处理,模拟实时数据传输的过程,到Flume进行数据的实时采集和Kafka进行数据的流量缓存,最终通过Spark Streaming进行数据的业务处理,以及HBase中数据的存储,整个流程完整的实现了大数据平台下数据的实时处理。本文中通过对工业现场采集数据的研究和处理,完成了压力的时序特征到频率特征的转变,通过对现有机器学习分类算法的研究和尝试,结合Spark分布式计算的特点,找到了对现有离线数据集训练结果良好的分类算法,运用在线和离线相结合的学习方法,加载离线学习模型,对实时数据进行分类预测,通过定期更新离线数据集的方式,提高模型预测的准确性,到达在线学习的目的。本文通过IDEA建立Spring Boot的web项目,根据ECharts的丰富的前端模型库,建立前端压力预警界面,将HBase中由Spark Streaming预测的结果实时在前端响应出来,为生产环境提供泄漏辅助检测,区分由工况造成的误报。
基于Kafka的数字航道流数据处理与应用技术
这是一篇关于Kafka,数字航道,流数据,GeoMesa的论文, 主要内容为近些年来,随着信息化技术的快速发展,航道管理已经进入了数字航道时代。数字航道作为航道数字化发展的产物,包含了各种各样的航道数据,航标、水位、船舶AIS和气象等。如何高效地采集和整合各种航道数据,增强数据资源的综合利用能力,是当前数字航道研究的重点。由于航道数据大多是实时采集的,而且随时间延续数据将无限增长,具有典型的流数据特征。因此,利用最新的流数据技术对数字航道的数据进行处理,能够十分显著地提高效率和稳定性,无论是对数字航道监管应用还是后续的航道大数据分析都具有极其重要的意义。本文以Kafka为核心,结合GeoMesa、Geo Server以及Hadoop大数据生态圈技术,针对具有时空特性的数字航道流数据的处理与应用问题展开了深入研究。从数字航道流数据的接入、处理、存储、展示到应用,设计并实现了一套完整的技术方案。本文完成的主要工作包括:(1)针对数字航道多源异构数据特点,基于Kafka Connector设计和实现了各种数据连接器,实现了多种不同来源数字航道数据的接入,并统一利用Kafka作为数据缓存,实现各类数据的高效整合。(2)针对AIS、航标、水位、气象等各种航道数据的特点,基于Kafka消费者接口,结合GeoMesa时空索引技术,对Kafka数据缓存中的流数据进行解析和分流处理。一方面,将所有数据存入大数据平台的HBase数据库中作为历史数据,用于离线数据展示和分析。另一方面将各类最新的流数据持续更新到一个新的应用Kafka消息系统的各个主题中,用作实时流数据应用基础。(3)基于Geo Server地理服务器,实现应用Kafka实时航道流数据和HBase历史航道数据的服务器端可视化地图发布。基于Ksql DB的流事件数据库,将应用Kafka内的各类实时流数据进行转换,形成服务器端的流数据服务,同时提供各类航道实时数据查询的Restful接口。(4)基于Open Layers和Vue.js等前端技术,调用地图服务和实时数据查询接口,实现航道流数据在前端的展示和应用。本文针对数字航道的实践需求,提出了基于Kafka的数字航道流数据处理和应用方案,可有效解决当前普遍存在的数据丢包、数据处理缓慢以及不便进行大数据分析等问题,对数字航道的改进和进一步完善有实际工程意义和良好的应用价值。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设港湾 ，原文地址：https://m.bishedaima.com/lunwen/45324.html
