基于音视频流处理技术的会议室管理平台的研究与实现

这是一篇关于会议室管理,微服务治理,音视频流,声源定位,SRP-PHAT-SSC,TDOA,RTMP,流媒体服务器的论文, 主要内容为随着信息化社会的发展,作为正式沟通场所的会议室数量也逐步增多。信息化会议室管理系统的出现是为了解决会议室难以管理的问题,以减少人力管理成本和简化会议预约等流程。然而,目前大多数公司或学校的会议室管理系统只有信息化数据的处理,无法对会议过程进行有效还原。随着音视频技术的发展,多媒体技术已经完全融入了我们的生活中,视频和图片能够对场景进行高度还原。本文通过音视频流处理技术对于每一场会议进行自动录制保存,以便在后续的回顾、分享与宣传上给观看者最直观的感受,通过小型麦克风阵列进行三维层面的室内声源实时定位和摄像头角度控制,让与会者能够全身心投入到会议中,使得会议空间更具人性化和智能化。同时,本文搭建了会议室管理平台,用于提供会议室管理、会议预订和审批、监控等功能,形成一个功能较为完善的会议室管理平台。本文的主要工作概括如下:(1)根据基于音视频流的Web平台需求,对硬件和软件的总体架构进行了分析与设计。使用前后端分离的开发模式,后端使用微服务架构,并提供微服务治理模块。(2)针对SRP-PHAT-SSC声源定位算法实时性不高的问题,提出了一种与TDOA高实时性定位算法组合的改进算法,根据仿真结果,改进算法在实时性和鲁棒性方面都有了提升。由于实际会议室场景中的信噪比低、麦克风位置不准确带来误差,对定位计算改进了处理流程,并在实际场景中做了验证。(3)针对摄像头的连接数极少和RTSP视频流在Web端不易播放的问题,对摄像头原始的流媒体传输协议进行了转码操作,使用RTMP协议传输,选择并搭建了轻量级的流媒体服务器,实现了Web端的直播和点播播放器。对Nginx流媒体直播服务器进行了性能测试与分析。(4)对会议室管理平台的业务进行了需求分析,设计并实现了系统的数据库和业务模块,将硬件调用与Matlab计算融入进Web平台,完成了Web端的开发和服务器部署,并进行了性能测试。研究结果表明,本文的硬件架构设计可以满足单个会议室内的声源定位和自动录制;改进的定位计算使得SRP-PHAT-SSC算法的鲁棒性、实时性和准确率得到了提高;当流媒体服务器的并发连接数为809时,可以稳定保持连接状态,75分钟之后仍然可以稳定发送和接收数据,软件平台在1000个并发连接数的情况下可以保持稳定快速的访问;通过系统的业务分析,展示了本文平台的方便性,可在一定程度上节省对会议室的管理成本。

基于音视频流处理技术的会议室管理平台的研究与实现

这是一篇关于会议室管理,微服务治理,音视频流,声源定位,SRP-PHAT-SSC,TDOA,RTMP,流媒体服务器的论文, 主要内容为随着信息化社会的发展,作为正式沟通场所的会议室数量也逐步增多。信息化会议室管理系统的出现是为了解决会议室难以管理的问题,以减少人力管理成本和简化会议预约等流程。然而,目前大多数公司或学校的会议室管理系统只有信息化数据的处理,无法对会议过程进行有效还原。随着音视频技术的发展,多媒体技术已经完全融入了我们的生活中,视频和图片能够对场景进行高度还原。本文通过音视频流处理技术对于每一场会议进行自动录制保存,以便在后续的回顾、分享与宣传上给观看者最直观的感受,通过小型麦克风阵列进行三维层面的室内声源实时定位和摄像头角度控制,让与会者能够全身心投入到会议中,使得会议空间更具人性化和智能化。同时,本文搭建了会议室管理平台,用于提供会议室管理、会议预订和审批、监控等功能,形成一个功能较为完善的会议室管理平台。本文的主要工作概括如下:(1)根据基于音视频流的Web平台需求,对硬件和软件的总体架构进行了分析与设计。使用前后端分离的开发模式,后端使用微服务架构,并提供微服务治理模块。(2)针对SRP-PHAT-SSC声源定位算法实时性不高的问题,提出了一种与TDOA高实时性定位算法组合的改进算法,根据仿真结果,改进算法在实时性和鲁棒性方面都有了提升。由于实际会议室场景中的信噪比低、麦克风位置不准确带来误差,对定位计算改进了处理流程,并在实际场景中做了验证。(3)针对摄像头的连接数极少和RTSP视频流在Web端不易播放的问题,对摄像头原始的流媒体传输协议进行了转码操作,使用RTMP协议传输,选择并搭建了轻量级的流媒体服务器,实现了Web端的直播和点播播放器。对Nginx流媒体直播服务器进行了性能测试与分析。(4)对会议室管理平台的业务进行了需求分析,设计并实现了系统的数据库和业务模块,将硬件调用与Matlab计算融入进Web平台,完成了Web端的开发和服务器部署,并进行了性能测试。研究结果表明,本文的硬件架构设计可以满足单个会议室内的声源定位和自动录制;改进的定位计算使得SRP-PHAT-SSC算法的鲁棒性、实时性和准确率得到了提高;当流媒体服务器的并发连接数为809时,可以稳定保持连接状态,75分钟之后仍然可以稳定发送和接收数据,软件平台在1000个并发连接数的情况下可以保持稳定快速的访问;通过系统的业务分析,展示了本文平台的方便性,可在一定程度上节省对会议室的管理成本。

海缆综合监测系统软件及振动源定位方法

这是一篇关于海缆安全监测系统,DAS,振动源定位,TDOA的论文, 主要内容为为了能够设计一个有效、可靠的海缆安全监测系统,对海缆环境进行立体化的实时监测,可以做到一次部署后长期稳定的运行并且维护所需的时间以及经济成本低。本文利用了在光纤传感领域中广泛应用的DAS和BOTDA传感设备,并结合海面上的船舶自动识别技术、短信猫以及视频监控等设备,实现了一套海缆监测系统,进行海缆环境的立体化综合监测。同时探究基于DAS的振动源定位方法,使得该系统可以获取振动事件的具体位置信息,进一步提升海缆安全问题的预警能力。主要内容分为三个部分:(1)针对当前海缆安全存在的问题,对海缆监测的功能需求进行分析,并设计满足实际海缆监测需求的软件架构。在此基础上针对系统中的光纤传感设备只能提供安全事件的海缆轴向定位的问题,进行系统硬件中DAS设备振动源定位方法的现状调研。(2)设计并实现了基于B/S架构的海缆综合监测系统。通过对DAS、BOTDA、AIS等硬件设备的数据接收、处理、存储,并根据系统的功能需求,在前台可视化展示电子地图报警定位、船舶轨迹绘制、报警数据时空特征、报警信息统计、视频联动等功能,实现监测海域内海缆安全的大范围无源监测。并通过在实际海缆监测环境中进行现场部署测试,验证了本系统的实用价值。(3)利用TDOA算法对系统重要硬件设备DAS进行振动源定位研究。通过对比阵列信号处理中经典的DOA算法和TDOA算法的原理以及适用条件,选择了更符合海缆监测环境的TDOA算法进行DAS系统的振动源定位,并且为了减少振动信号在传播过程中畸变等因素对TDOA算法定位准确率的影响,对DAS系统采集得到的通道信号进行可信度筛选,最后通过仿真以及实验的方式验证了TDOA算法在基于DAS的振动源定位中的可行性,为之后在海缆综合监测系统中的应用打下基础。

基于超宽带的室内高密度移动定位系统

这是一篇关于UWB,TDOA,室内定位,嵌入式系统的论文, 主要内容为近些年来,人们对GPS信号无法覆盖的室内环境如地下停车场、医院、养老院、仓库、监狱中的位置信息需求越来越大,这类场合用户密度大、对定位精度要求高,发展高密度、高精度的室内定位技术将有助于改善现有的基于位置的服务中室内位置信息缺失的局面。超宽带(UWB)技术因其高分辨率的时间戳、丰富的宽带资源为高精度、高密度的室内定位系统的实现提供了基础,本文使用有线时钟同步的上行到达时间差(TDOA)定位机制,设计并实现基于超宽带的室内高密度移动定位系统。提出包括用户层、锚节点层、定位服务层的三层式拓扑结构,用户层和锚节点层创新性的采用上行通道为UWB、下行通道为低频(LF)的双向通信方式,节约了一次定位用户层所需的带宽和能耗,实现了用户层的低功耗和高密度;定位服务层通过高效稳定的以太网总线收集锚节点层路由转发的定位信息,并解算显示用户层所有目标的位置。本文主要工作包括以下几点:(1)针对高密度、高精度的室内定位技术的应用需求,提出本论文的系统拓扑结构、硬件总体方案以及定位服务器的架构。(2)通过分析TDOA定位系统中影响定位精度的因素,结合UWB收发器DW1000的资源,提出一种复杂度低的基于超宽带帧的脉冲信道响应采样特征值的非视距(NLOS)传输检测算法、一种同步误差学习算法和一种TDOA坐标求解算法。(3)完成系统用户层和锚节点层中的标签节点、锚节点及同步时钟控制器的硬件设计和调试,对各个功能模块进行了芯片选型和电路设计,并实现UWB收发和射频放大功能、超宽带时间同步功能、LF通信功能、以太网通信功能以及USB通信功能。(4)完成锚节点和同步时钟控制器的基于FreeRTOS操作系统的多线程结构和标签节点的前后台嵌入式软件的编写,开发基于.Net框架的多线程定位服务器程序。本文开发了一套高精度、高密度的室内定位系统,经实测,该系统性能稳定、UWB通信距离较远,定位精度较高、能支持较高密度移动标签节点,满足了应用需求并具备推广价值。

基于麦克风阵列的声源定位系统的研究与实现

这是一篇关于麦克风阵列,声源定位,TDOA,时延算法,ZYNQ的论文, 主要内容为近年来,得益于语音交互市场的快速发展,麦克风阵列声源定位技术逐渐成为研究热点。麦克风阵列声源定位技术是实现语音增强、滤除噪声的有力手段,并被广泛应用于智能家居、会议系统和工业检测噪音等各大领域。但当前的定位系统大多基于PC机完成数据处理和位置解算,体积大、集成度低,并且系统的应用环境常常存在噪声和混响,传统定位算法还有待改善。针对这些问题,本文提出了基于小型麦克风阵列和ZYNQ开发平台的声源定位方案,定位算法基于先进行时延值估计,后进行位置估计的TDOA双步定位法并做改进,本文所做的主要工作如下:(1)从理论上阐述语音信号的处理方法并对影响麦克风阵列性能的参数进行仿真分析。对语音分帧、加窗和活动性检测方法进行阐述,为后续使用算法处理语音信号提供理论基础。接着采用CBF算法对影响阵列性能的因素进行仿真分析,为阵列的设计提供思路。(2)针对传统时延估计算法在混响和低信噪比环境下性能较差的问题,提出了一种改进时延估计算法。首先建立IMAGE混响模型,对传统时延估计算法的常见加权函数进行仿真,并提出了基于PHAT加权和二次互相关算法相结合的改进时延估计算法。在IMAGE混响模型中的仿真结果表明,改进时延估计算法在混响和低信噪比环境下的时延估计均方根误差要低于传统算法。(3)针对TDOA算法在位置估计时时延误差容易被放大的问题,基于最小二乘法设计了一种位置估计算法。本文首先建立了多基线定位模型并确定了麦克风阵列的几何结构,接着推导出位置参数与时延估计值以及时延估计误差间的方程组,并基于最小二乘法设计迭代算法。最后对定位算法的均方误差与克拉美罗下界(Cramer-Rao Lower Bound,CRLB)进行推导,证明了角度估计精度接近CRLB。(4)基于ZYNQ开发平台完成对声源定位系统的设计与实现。首先对麦克风阵列及其接口进行硬件设计,接着在PL部分设计实现多路数据的处理和时延值估计,为了将时延值送入PS部分进行角度计算,对PL与PS部分的通信系统进行设计实现,最后在PS部分实现定位算法并输出定位结果。声源定位系统的测试结果表明,系统完成单次定位的平均耗时为23.47 ms,在3 m距离内的方位角与俯仰角平均绝对误差不超过3°,满足参数指标要求,并对比相关文献,验证了定位系统在定位实时性和精度上的优势。

基于麦克风阵列的声源定位系统的研究与实现

这是一篇关于麦克风阵列,声源定位,TDOA,时延算法,ZYNQ的论文, 主要内容为近年来,得益于语音交互市场的快速发展,麦克风阵列声源定位技术逐渐成为研究热点。麦克风阵列声源定位技术是实现语音增强、滤除噪声的有力手段,并被广泛应用于智能家居、会议系统和工业检测噪音等各大领域。但当前的定位系统大多基于PC机完成数据处理和位置解算,体积大、集成度低,并且系统的应用环境常常存在噪声和混响,传统定位算法还有待改善。针对这些问题,本文提出了基于小型麦克风阵列和ZYNQ开发平台的声源定位方案,定位算法基于先进行时延值估计,后进行位置估计的TDOA双步定位法并做改进,本文所做的主要工作如下:(1)从理论上阐述语音信号的处理方法并对影响麦克风阵列性能的参数进行仿真分析。对语音分帧、加窗和活动性检测方法进行阐述,为后续使用算法处理语音信号提供理论基础。接着采用CBF算法对影响阵列性能的因素进行仿真分析,为阵列的设计提供思路。(2)针对传统时延估计算法在混响和低信噪比环境下性能较差的问题,提出了一种改进时延估计算法。首先建立IMAGE混响模型,对传统时延估计算法的常见加权函数进行仿真,并提出了基于PHAT加权和二次互相关算法相结合的改进时延估计算法。在IMAGE混响模型中的仿真结果表明,改进时延估计算法在混响和低信噪比环境下的时延估计均方根误差要低于传统算法。(3)针对TDOA算法在位置估计时时延误差容易被放大的问题,基于最小二乘法设计了一种位置估计算法。本文首先建立了多基线定位模型并确定了麦克风阵列的几何结构,接着推导出位置参数与时延估计值以及时延估计误差间的方程组,并基于最小二乘法设计迭代算法。最后对定位算法的均方误差与克拉美罗下界(Cramer-Rao Lower Bound,CRLB)进行推导,证明了角度估计精度接近CRLB。(4)基于ZYNQ开发平台完成对声源定位系统的设计与实现。首先对麦克风阵列及其接口进行硬件设计,接着在PL部分设计实现多路数据的处理和时延值估计,为了将时延值送入PS部分进行角度计算,对PL与PS部分的通信系统进行设计实现,最后在PS部分实现定位算法并输出定位结果。声源定位系统的测试结果表明,系统完成单次定位的平均耗时为23.47 ms,在3 m距离内的方位角与俯仰角平均绝对误差不超过3°,满足参数指标要求,并对比相关文献,验证了定位系统在定位实时性和精度上的优势。

基于麦克风阵列的声源定位系统的研究与实现

这是一篇关于麦克风阵列,声源定位,TDOA,时延算法,ZYNQ的论文, 主要内容为近年来,得益于语音交互市场的快速发展,麦克风阵列声源定位技术逐渐成为研究热点。麦克风阵列声源定位技术是实现语音增强、滤除噪声的有力手段,并被广泛应用于智能家居、会议系统和工业检测噪音等各大领域。但当前的定位系统大多基于PC机完成数据处理和位置解算,体积大、集成度低,并且系统的应用环境常常存在噪声和混响,传统定位算法还有待改善。针对这些问题,本文提出了基于小型麦克风阵列和ZYNQ开发平台的声源定位方案,定位算法基于先进行时延值估计,后进行位置估计的TDOA双步定位法并做改进,本文所做的主要工作如下:(1)从理论上阐述语音信号的处理方法并对影响麦克风阵列性能的参数进行仿真分析。对语音分帧、加窗和活动性检测方法进行阐述,为后续使用算法处理语音信号提供理论基础。接着采用CBF算法对影响阵列性能的因素进行仿真分析,为阵列的设计提供思路。(2)针对传统时延估计算法在混响和低信噪比环境下性能较差的问题,提出了一种改进时延估计算法。首先建立IMAGE混响模型,对传统时延估计算法的常见加权函数进行仿真,并提出了基于PHAT加权和二次互相关算法相结合的改进时延估计算法。在IMAGE混响模型中的仿真结果表明,改进时延估计算法在混响和低信噪比环境下的时延估计均方根误差要低于传统算法。(3)针对TDOA算法在位置估计时时延误差容易被放大的问题,基于最小二乘法设计了一种位置估计算法。本文首先建立了多基线定位模型并确定了麦克风阵列的几何结构,接着推导出位置参数与时延估计值以及时延估计误差间的方程组,并基于最小二乘法设计迭代算法。最后对定位算法的均方误差与克拉美罗下界(Cramer-Rao Lower Bound,CRLB)进行推导,证明了角度估计精度接近CRLB。(4)基于ZYNQ开发平台完成对声源定位系统的设计与实现。首先对麦克风阵列及其接口进行硬件设计,接着在PL部分设计实现多路数据的处理和时延值估计,为了将时延值送入PS部分进行角度计算,对PL与PS部分的通信系统进行设计实现,最后在PS部分实现定位算法并输出定位结果。声源定位系统的测试结果表明,系统完成单次定位的平均耗时为23.47 ms,在3 m距离内的方位角与俯仰角平均绝对误差不超过3°,满足参数指标要求,并对比相关文献,验证了定位系统在定位实时性和精度上的优势。

基于UWB的隧道内人员定位系统设计研究

这是一篇关于UWB,人员定位,TDOA,TOF,粒子群算法的论文, 主要内容为目前我国铁路建设发展迅速,在施工建设高速发展的同时,对现场人员的安全管理也有着更高的要求。由于铁路隧道环境的特殊性,GPS(Global Positioning System)等室外定位技术无法使用,所以对铁路隧道内人员定位技术进行研究具有重要意义。常用室内定位技术有WIFI(Wireless Fidelity)、Zig Bee、超声波、UWB(Ultra Wide Band)等,其中UWB定位技术具有穿透性强、低功耗、抗多径等优点,对在隧道内等复杂环境中应用较为适合,于是本论文采用UWB定位技术,研制一套基于UWB的隧道内人员定位系统。首先对UWB几种算法进行研究,UWB定位技术常用的定位算法有TDOA(Time Difference of Arrival)和TOF(Time of Flight)算法,TDOA算法定位时间性能强,定位精度稍弱,TOF算法定位精度较高,但定位速度较慢。在两种算法的基础上,提出基于粒子群优化的TDOA+TOF融合定位算法。该算法仅需三次UWB通信即可实现定位,通过TDOA算法收集各基站与标签间距离,TOF算法根据最小二乘法对标签坐标进行解算,粒子群算法根据目标函数对解算坐标进行优化得出最全局最优解。仿真分析中对TDOA、TOF、基于粒子群优化的TDOA+TOF融合定位算法进行定位精度与时间性能的对比,结果表明基于粒子群优化的TDOA+TOF融合定位算法兼顾了定位精度与时间性能,能够良好的应用于复杂环境人员定位。然后在理论研究基础上,对系统实现方案进行设计,硬件设计部分包括主控芯片电路、DWM1000电路、电源电路、智能安全帽等。软件部分对各部分通讯协议、定位功能实现、上位机平台软件进行设计,完成系统总体方案。最后通过现场搭建测试环境,对系统各项功能及定位精度进行现场测试。功能测试结果表明定位系统的基站初始坐标设置、电子围栏报警、报警日志记录等功能满足使用需求。定位精度测试分为静态测试与动态测试,根据测试点的真实坐标与定测坐标误差分析,得出系统定位精度整体可以达到20 cm以内,可以应用于现场。

基于UWB的隧道内人员定位系统设计研究

这是一篇关于UWB,人员定位,TDOA,TOF,粒子群算法的论文, 主要内容为目前我国铁路建设发展迅速,在施工建设高速发展的同时,对现场人员的安全管理也有着更高的要求。由于铁路隧道环境的特殊性,GPS(Global Positioning System)等室外定位技术无法使用,所以对铁路隧道内人员定位技术进行研究具有重要意义。常用室内定位技术有WIFI(Wireless Fidelity)、Zig Bee、超声波、UWB(Ultra Wide Band)等,其中UWB定位技术具有穿透性强、低功耗、抗多径等优点,对在隧道内等复杂环境中应用较为适合,于是本论文采用UWB定位技术,研制一套基于UWB的隧道内人员定位系统。首先对UWB几种算法进行研究,UWB定位技术常用的定位算法有TDOA(Time Difference of Arrival)和TOF(Time of Flight)算法,TDOA算法定位时间性能强,定位精度稍弱,TOF算法定位精度较高,但定位速度较慢。在两种算法的基础上,提出基于粒子群优化的TDOA+TOF融合定位算法。该算法仅需三次UWB通信即可实现定位,通过TDOA算法收集各基站与标签间距离,TOF算法根据最小二乘法对标签坐标进行解算,粒子群算法根据目标函数对解算坐标进行优化得出最全局最优解。仿真分析中对TDOA、TOF、基于粒子群优化的TDOA+TOF融合定位算法进行定位精度与时间性能的对比,结果表明基于粒子群优化的TDOA+TOF融合定位算法兼顾了定位精度与时间性能,能够良好的应用于复杂环境人员定位。然后在理论研究基础上,对系统实现方案进行设计,硬件设计部分包括主控芯片电路、DWM1000电路、电源电路、智能安全帽等。软件部分对各部分通讯协议、定位功能实现、上位机平台软件进行设计,完成系统总体方案。最后通过现场搭建测试环境,对系统各项功能及定位精度进行现场测试。功能测试结果表明定位系统的基站初始坐标设置、电子围栏报警、报警日志记录等功能满足使用需求。定位精度测试分为静态测试与动态测试,根据测试点的真实坐标与定测坐标误差分析,得出系统定位精度整体可以达到20 cm以内,可以应用于现场。