9篇关于数据标注的计算机毕业论文

今天分享的是关于数据标注的9篇计算机毕业论文范文, 如果你的论文涉及到数据标注等主题,本文能够帮助到你

基于环境感知的自动驾驶算法测试平台的设计与实现

这是一篇关于环境感知,测试平台,数据标注,多源数据,MinIO的论文, 主要内容为在非结构化场景下的环境感知算法中,对于数据集的多源性和数据集标注信息的精度有着较高的要求。现有的数据集多采用人工进行数据标注,耗时耗力,但是标注的效果往往不够理想。自动驾驶需求及技术的高速发展,需要专业的集成测试平台,特别是需要对环境感知算法的功能、性能进行全面的测试和评估。因此,本文设计了基于环境感知的自动驾驶算法测试平台,该平台实现了算法辅助人工进行数据标注和算法跨平台并行测试功能,为环境感知算法的测试提供了平台标注的数据集以及高并发的算法测试环境。本文的主要工作如下:(1)针对环境感知数据集的在线标注问题,本文对现有的环境感知算法Faster RCNN(Faster Regions with CNN features)分别在特征提取模块、RPN(Region Proposal Network)网络模块和Fast RCNN模块进行改进,提出了带有难度预测的Faster RCNN,将其应用于地面无人车采集到的数据集,辅助人工进行数据集的标注。(2)针对环境感知算法的高计算量需求及其并行测试问题,本文提出了一种基于哈希的分布式负载均衡策略,相较于大数据计算框架,具有轻量级、非侵入式的特点,无需对环境感知算法进行重构,并且在性能上达到了负载均衡的平均时间复杂度为O(N)级别,实现了在平台上对不同环境感知算法以及不同的多源数据集的并行测试。(3)针对环境感知算法测试平台的实现问题,本文对基于环境感知的自动驾驶算法测试平台进行了需求分析、设计和实现,采用前后端分离的开发模式。前端采用Vue.js的Element UI组件库开发交互界面。后端采用Spring整合Spring MVC和Mybatis框架提供数据标注和算法测试服务。数据库采用Min IO分布式文件系统存储非结构化的环境感知算法数据集。最后对本文所设计的平台进行了测试,测试结果表明本文所设计的基于环境感知的自动驾驶算法平台可以满足数据集存储和算法在线测试的实际需求,提升了数据标注和算法测试的效率,并且在实践中得到了检验。

基于环境感知的自动驾驶算法测试平台的设计与实现

自动驾驶场景库数据系统的设计与实现

这是一篇关于场景库,Spark,FastDFS,ElasticSearch,HBase,数据标注的论文, 主要内容为近年来,自动驾驶技术飞速发展,但自动驾驶系统目前仍存在较大不稳定性,需要通过海量的驾驶场景库数据来构建虚拟场景,以进行全面严格的测试评价。业内各公司机构受限于数据采集、维护成本较高,缺乏一个提供统一标准数据的自动驾驶数据平台。国汽智能网联汽车研究院为此牵头业内多家公司,设计并实现了自动驾驶场景库数据系统。该系统集成了对采集数据的预处理、存储、标注和统计分析等功能,为相关算法提供训练、测试数据集,为虚拟仿真环境提供测试用例数据。本文主要分析了自动驾驶场景库数据系统的业务需求,阐述了系统数据校验提交、数据标注和数据统计分析三个功能模块的设计和实现。系统基于B/S结构模式,采用前后端分离的开发方式,分层次设计实现。数据校验提交模块负责校验采集数据的格式,对校验通过并提交的采集数据进行预处理,清洗异常值和缺失值,最后将处理后的数据整合存储。该模块基于Spark计算平台执行数据预处理和整合的计算任务,针对不同数据的特性整合FastDFS、ElasticSearch和HBase组件实现数据分布式存储。数据标注模块负责对图像、点云等数据执行目标检测、语义分割等多种标注任务,执行过程采用先算法预标注,再人工修正的方式,以减少标注人力成本。该模块使用TensorFlow Java API读取训练的pb模型,采用策略模式实现为不同算法标注任务提供对应算法预标注的服务。数据统计分析模块负责数据图表分析和语句查询功能。图表分析功能实现时,实时数据部分通过ELK架构收集日志数据处理并展示,非实时数据部分采用HBase存储、ElasticSearch索引和Vue.js框架开发交互界面的方案。语句统计功能基于Spark SQL组件读取Hive中同步的HBase数据来实现。目前,本系统三个模块基本功能均已实现,提供了对自动驾驶数据的清洗、标注、分布式存储和统计分析功能,解决了海量自动驾驶数据处理和维护方面的难题,能够输出规范标准的数据以构建虚拟仿真用例。

基于SSM框架的汽车资讯标注系统的设计与实现

这是一篇关于SSM框架,数据标注,身份验证,Shiro安全控制框架的论文, 主要内容为由于机器学习技术带来的产品功能与性能上的优势,在不同的行业背景下应用前景愈发广阔。在机器学习工程中,训练使用的数据质量极大影响了被训练模型的效果。为方便算法模型获取特征明显的训练数据,需要对原始数据进行标注处理以便于算法模型发现其中的模式与规律。汽车资讯标注系统是在此背景下为处理与汽车资讯相关图像、语音与文本数据,通过全人工标注或半自动标注方式,将汽车资讯原始数据转化为可供算法模型训练的数据集。根据使用场景与业务需要,系统选择SSM(Spring+Spring MVC+My Batis)框架作为开发主体框架,从功能角度将系统分为用户管理、数据处理、任务管理与用户培训四个模块。根据汽车细分领域数据量庞大、评价指标多元化等特点,通过数据处理模块在网页与移动端实现数据标注、采集与审核的产品核心功能。同时为方便对标注、采集与审核人员与系统任务的管理、减少用户培训的工作量,可通过用户管理模块实现用户增删、权限管理与绩效查询,看板模块监控任务进度,任务培训模块实现用户培训。为支持半自动标注的数据传输功能,根据内网接口的权限控制要求,使用Shiro安全控制框架实现接口身份权限控制,完成系统数据与算法模型的交互。为保证系统在外网的数据安全,根据实际环境下单一用户名对应多个用户实体的特点,对于密级较高的任务通过硬件设备储存Keytool工具生成的自签证书,采用公钥密码体系双向认证方式实现系统操作者与服务器的双向身份认证,并通过对称加密实现数据传输过程。汽车资讯标注系统通过数据标注、人工审核、使用数据采集工具获取机器学习算法模型所需要的数据集。通过测试,汽车资讯标注系统的基本功能已全部实现,系统能正常运行并符合预期效果。

数据标注众包平台系统的设计与实现

这是一篇关于数据标注,众包平台,Elastic Search框架,单点登录,分布式架构的论文, 主要内容为互联网时代的迅速发展,使得机器学习、深度学习也取得了巨大的进展。数据一直以来都是互联网时代的核心,然而很多未经加工的数据不能体现其价值,因此人工数据标注也就成为了一项重要的工作。目前,国内外都有较为成熟的数据标注众包平台。相较于国内的平台,国外的数据标注平台发展的更为成熟。由于网络连接、语言障碍、国内用户较少等问题,国外的平台无法支持频繁的数据标注任务;而国内的标注平台,由于标注的质量良莠不齐也无法提供良好的用户体验。因此,需要一个功能完善、使用方便的数据标注众包平台,进行数据标注任务的发布、接受、完成等工作。数据标注众包平台的用户分为两类,一类是消费者,即任务的发布者,另一类是贡献者,即任务的接受者。任务发布者选择任务模板,发布任务之后可对任务进行监控,并通过订单管理服务批量管理任务;贡献者通过完成任务获取成长积分,随着等级的增加,所能接受的任务等级也随之提高。本项目将基于Java语言进行开发,完成单点登录与鉴权、任务管理、订单管理、任务搜索、用户管理、质量管控等功能的设计与开发。消费者输入原始数据,经过贡献者标注,得到标注数据并支付一定的酬金。本人在项目研发过程中主要负责登录鉴权服务、任务管理服务、订单管理服务、任务搜索服务、用户管理服务和质量管控服务的设计与开发工作。研发主要基于Spring Cloud框架、Spring Boot框架,结合My Batis搭成基本骨架,使用My SQL、Redis、Elastic Search作为数据存储的工具,以高性能、高稳定性、高可扩展性为原则进行设计,结合众多当前优秀的框架,完成系统的开发。目前本项目已经投入到实习单位的日常使用,其价值是为单位的数据收集以及数据标注工作带来了方便,并提高了标注数据的效率和质量。通过数据众包标注平台,更多高质量的人工标注的数据投入到了语言学相关的研究中去,带来了更多的学术上的成果。

基于环境感知的自动驾驶算法测试平台的设计与实现

搜索广告相关性评估平台的设计与实现

这是一篇关于搜索引擎,数据标注,算法评估,相关性评估,搜索引擎广告的论文, 主要内容为随着搜索引擎的普遍应用,使用搜索引擎投放目标广告是目前互联网公司如百度、美团、头条、阿里等各大企业收入的主要来源之一。对搜索引擎广告进行模型评估,无论是提高用户体验满意度,还是迭代改进搜索引擎广告模型,都具有十分重要的意义。搜索引擎广告模型的效果评估主要体现在搜索词与搜索结果的相关性(Relevance)上。目前对于相关性的评价主要采用A/B testing方式,此方法会导致有真实的流量流入迭代后的搜索引擎广告模型,若模型的效果变差,不仅会影响用户体验、增加线上用户负反馈,而且不利于企业创收。因此如何将搜索引擎广告模型的相关性评估的时间节点提前到上线前是一个非常重要的问题。本文通过参与项目调研和相关技术研究,决定以数据标注平台的思路,即通过在上线前标注搜索词与广告召回结果数据的相关性,实现了在上线前对搜索引擎广告模型的相关性进行评估。平台的用户主要有管理员、标注员、审核员。管理员负责新建标注项目,项目建立开始之后,由数据采集模块进行标注样本数据的采集;标注员进行数据标注;审核员对标注后的数据审核;相关性分析结果展示。平台的难点在于:如何提高人工标注的效率、降低了人工标注成本;如何缩短紧急上线需求的模型的评估周期,最大程度避免模型策略迭代对线上产生的负效果,降低并把控模型的上线风险,保障线上质量。本人在项目研发过程中主要负责数据采集模块、数据标注模块、数据回溯模块、相关性分析结果展示模块的设计与开发工作。研发基于Spring Boot框架、My Batis框架、Vue框架完成基本框架的搭建,使用My SQL、Hive作为数据存储工具,严格遵循软件工程的开发流程,完成平台的开发。目前平台已完成开发和上线,在日常使用期间,不仅帮助单位发现搜索引擎广告模型的bug(缺陷)、降低了上线风险、提高了公司收益,而且标注后的数据为模型训练所需数据集提供了源源不断的支持。

文档级金融新闻事件抽取框架的研究与实现

这是一篇关于事件抽取,众包,数据标注,新闻文本的论文, 主要内容为事件抽取框架是构建一些特定领域知识图谱的关键必备内容,尤其是金融、医疗等新兴领域,这些领域对知识的需求量大、数据的时效性要求较高。事件抽取框架的目的是将发生的事件信息从文本中提取出来,形成包含事件信息的知识,为之后的知识图谱应用提供支持。传统的事件抽取框架中除了事件抽取方法,还会包含数据收集和数据标注部分,这些附加模块往往通过一些规则性方法来生成事件信息的标注。本文以众包的方式,使用人工标注平台,为后续的事件抽取任务提供了准确度更高的数据,提升了训练模型的准确度。本文主要工作内容如下:1.为新闻文本的事件抽取难点提供解决方案。本文针对新闻文本与公告文本的不同举例进行了对比,分析新闻文本存在的特点,并针对其特点给出相应的解决方案。在此基础上根据事件抽取任务需求,对比选择出最适合该任务的深度学习模型,再使用新闻数据集测试该模型是否适用于处理新闻文本数据。2.构建了事件信息众包(crowd-sourcing)标注平台。该标注平台以人工标注的形式生成标注数据,同时为了解决人工标注的误差问题,本论文采用了众包中的质量控制方法以获取准确度更高的标注结果,为实现质量控制方法采取了一系列的措施,最后通过众包结果的聚合算法完成真实标签的选择。输出的数据*事件抽取模块监督学习的训练数据。3.实现了完整的事件抽取框架。框架的整个流程从数据收集开始,数据收集模块采用scrapy爬虫框架实现爬取脚本,以此获得互联网上的非结构化文本数据。使用Java和freemarker作为标注平台的前后端语言,结合Springboot框架进行众包标注平台的开发。最后选择了深度学习模型作为事件抽取方法。在框架的实现阶段使用标注平台生成的新闻文本数据进行训练,使用训练过程得到的模型文件进行事件的预测,至此实现完整的事件抽取流程。