阵列数据受损情况下基于矩阵填充的DOA估计方法研究
这是一篇关于DOA估计,空间平滑,矩阵填充,低秩矩阵,矩阵恢复的论文, 主要内容为从少量的随机采样样本中恢复出未知的有用数据对于阵列信号处理来说是非常重要的,比如数据受损时的波达方向(direction of arrival,DOA)估计。若受损数据随机分布在矩阵中,采用矩阵填充(matrix completion,MC)方法可以有效地恢复受损数据,从而准确地估计出波达方向。然而,若受损数据分布集中时,则无法准确有效地恢复未知数据,从而影响到DOA的估计。例如,当受损数据分布在矩阵的整行(列)时,该行(列)缺乏足够的相关信息导致矩阵填充方法失效。为此,本文研究部分阵元受损时的DOA估计问题,提出用于均匀线阵的FSS-MC算法和FSS-OptSpace算法。FSS-MC算法利用均匀线阵的移不变结构特性来解决部分阵元受损情况下的DOA估计问题。该算法通过对阵列进行空间平滑操作,将阵列划分为若干个子阵列,使原本分布在整行(列)中的受损元素位置被打乱。利用空间平滑方案重组得到的数据矩阵(重构矩阵)经证明是低秩的,且满足非相干条件,所以可以采用矩阵填充算法对重构矩阵中的受损数据进行恢复。矩阵填充算法实质上是在满足变量矩阵与观测矩阵(有效数据)相匹配的条件下,最小化重构矩阵的核范数。FSS-MC算法在最小化核范数时需要耗费大量的计算资源,并且cvx工具包在计算大型矩阵时运算很慢,故FSS-MC算法不适用于解决规模较大的矩阵恢复问题。而实际应用中采集的数据矩阵都比较大,比如推荐系统、人脸识别、雷达勘测等。针对上述FSS-MC算法的局限性,本文进一步提出FSS-OptSpace算法。FSS-OptSpace算法利用均匀线阵的结构特性,通过空间平滑方案重组数据矩阵,使得每一行/列均有相关信息以恢复受损数据;并将核范数最小化问题转化为最小化左、右奇异矩阵的流形优化问题,通过梯度下降法求解最优值,最后利用经典的DOA估计方法计算空间谱函数。本文对上述两个算法做了充分的仿真实验分析。实验结果表明,在部分阵元受损情况下,FSS-MC算法和FSS-OptSpace算法均有较好的DOA估计性能,且FSS-OptSpace算法适用于较大型阵列的DOA估计。
融合特征权重与矩阵填充的可解释推荐算法研究
这是一篇关于可解释推荐,特征权重,矩阵填充,注意力机制,贝叶斯个性化排序的论文, 主要内容为随着科技的快速发展,人们已经步入信息化社会,每天需要从海量数据中筛选出自己最关注的信息,推荐系统的存在就显得尤为必要。推荐系统作为解决“信息过载”的有效技术之一,一直是学者们研究的重点。传统推荐算法已经逐渐趋于成熟,广泛应用于各大网站,如:淘宝、京东、唯品会等。但是传统的推荐算法对用户来说具有黑盒的不可解释性,用户并不了解推荐的原因而只能被动的接受推荐。因此,推荐系统的可解释性研究逐渐被学者们广泛关注。可解释推荐可以帮助用户做出明智的选择,提高用户对系统的信任,实现用户与系统的双赢。目前,推荐系统大都通过挖掘历史评分与评论中的有效信息进行推荐,但为用户和商品间相关性建模时忽略了用户和商品不同特征属性的不同重要程度,以及存在评分矩阵数据稀疏等问题。基于以上分析,本文提出融合特征权重和矩阵填充的可解释推荐算法,在提升推荐精度的同时,提供定量的特征级别解释。本文的主要研究工作如下:(1)针对目前推荐算法在为用户商品间相关性建模时未充分考虑用户特征和商品属性重要性的问题,本文提出了基于特征权重的推荐算法。该算法根据在评论中特征或属性出现的频次及其对应的情感程度确定用户和商品的表征,同时采用情感词典和TF-IDF的算法思想确定特征和属性的重要程度,并将特征属性权重加入到相关性建模中。(2)针对评分矩阵的数据稀疏性问题,本文进一步提出融合矩阵填充和贝叶斯排序的稀疏性缓解算法。该算法根据用户特征权重和商品属性权重对评分矩阵中的缺失项进行填充,然后采用潜在因子模型学习用户商品的潜在向量,结合评论中挖掘的表征向量,最后引入贝叶斯个性化排序算法约束用户与不同商品间的偏序关系。(3)针对传统算法的黑盒问题,本文提出特征级别的定量解释。本文通过TF-IDF算法确定特征属性的权重,综合考虑用户特征权重和商品属性权重,将综合权重最大的三个特征作为解释,并给出可视化推荐理由。将本文提出的算法在Amazon和Yelp的四个真实数据集上进行实验,并与目前具有代表性的几种模型进行比较,实验结果表明,本文提出的算法在提供解释的同时,均方根误差相比最优的RMG平均下降了2.5%。
基于矩阵填充的协同过滤推荐算法研究
这是一篇关于协同过滤,矩阵填充,模糊聚类,OptSpace算法,推荐算法的论文, 主要内容为互联网技术的飞速发展带来了一个全新的时代—大数据时代,人们随时随地都在产生和使用大量的数据。海量的数据资源给人们的生活带来了极大便利,但人们想要很快地找到自己需要的信息变得十分困难,这就是“信息过载”问题。在推荐系统中,协同过滤技术是解决信息过载问题十分有效的方法之一。因此,本文以协同过滤推荐算法为研究对象,对其在实际应用中存在的问题进行了研究分析,基于矩阵填充算法提出了新的改进算法。首先,针对原始数据的缺失率较高对推荐效果造成影响的问题,提出基于矩阵填充的协同过滤算法。考虑到用户—项目评分矩阵的稀疏性和低秩性,通过矩阵填充技术中的OptSpace算法对评分矩阵进行填充,然后根据填充后得到的新的评分矩阵,再用协同过滤算法进行推荐。其次,传统的协同过滤算法和基于矩阵填充的协同过滤算法根据相似度寻找最近邻居用户的搜索范围都是整个数据空间,计算量太大,耗费时间,算法的推荐效率不高。此外,k-means聚类方法对数据对象的划分是硬划分,不符合推荐系统的实际情况,聚类效果不稳定。本文提出了基于模糊聚类和矩阵填充的协同过滤算法,在对填充后的评分矩阵进行协同过滤推荐之前根据用户的信息先对用户进行聚类。该算法将最近邻居用户的搜索范围缩小到某个聚类,减少了相似度计算的计算量,提高了算法运行的效率。最后,为了验证所提算法的有效性,在MovieLens数据集上分次实验进行算法有效性验证。通过实验确定算法的相关参数,找到最优的聚类个数以及最近邻居的个数。然后,将基于模糊聚类和矩阵填充的协同过滤算法中的模糊聚类换成k-means聚类,然后对比两种算法的精确度,实验表明模糊聚类对数据对象的划分更加符合实际情况,聚类效果更好。再对几种协同过滤推荐按算法的运行时间进行了对比。数值实验结果表明:基于聚类方法的算法提高了运行的效率;在确定相关参数的情况下,对四种不同的协同过滤推荐算法进行对比试验,本文所提推荐算法在推荐效果方面优于其他对比算法。
阵列数据受损情况下基于矩阵填充的DOA估计方法研究
这是一篇关于DOA估计,空间平滑,矩阵填充,低秩矩阵,矩阵恢复的论文, 主要内容为从少量的随机采样样本中恢复出未知的有用数据对于阵列信号处理来说是非常重要的,比如数据受损时的波达方向(direction of arrival,DOA)估计。若受损数据随机分布在矩阵中,采用矩阵填充(matrix completion,MC)方法可以有效地恢复受损数据,从而准确地估计出波达方向。然而,若受损数据分布集中时,则无法准确有效地恢复未知数据,从而影响到DOA的估计。例如,当受损数据分布在矩阵的整行(列)时,该行(列)缺乏足够的相关信息导致矩阵填充方法失效。为此,本文研究部分阵元受损时的DOA估计问题,提出用于均匀线阵的FSS-MC算法和FSS-OptSpace算法。FSS-MC算法利用均匀线阵的移不变结构特性来解决部分阵元受损情况下的DOA估计问题。该算法通过对阵列进行空间平滑操作,将阵列划分为若干个子阵列,使原本分布在整行(列)中的受损元素位置被打乱。利用空间平滑方案重组得到的数据矩阵(重构矩阵)经证明是低秩的,且满足非相干条件,所以可以采用矩阵填充算法对重构矩阵中的受损数据进行恢复。矩阵填充算法实质上是在满足变量矩阵与观测矩阵(有效数据)相匹配的条件下,最小化重构矩阵的核范数。FSS-MC算法在最小化核范数时需要耗费大量的计算资源,并且cvx工具包在计算大型矩阵时运算很慢,故FSS-MC算法不适用于解决规模较大的矩阵恢复问题。而实际应用中采集的数据矩阵都比较大,比如推荐系统、人脸识别、雷达勘测等。针对上述FSS-MC算法的局限性,本文进一步提出FSS-OptSpace算法。FSS-OptSpace算法利用均匀线阵的结构特性,通过空间平滑方案重组数据矩阵,使得每一行/列均有相关信息以恢复受损数据;并将核范数最小化问题转化为最小化左、右奇异矩阵的流形优化问题,通过梯度下降法求解最优值,最后利用经典的DOA估计方法计算空间谱函数。本文对上述两个算法做了充分的仿真实验分析。实验结果表明,在部分阵元受损情况下,FSS-MC算法和FSS-OptSpace算法均有较好的DOA估计性能,且FSS-OptSpace算法适用于较大型阵列的DOA估计。
面向稀疏数据的加权slope one算法改进研究
这是一篇关于加权slope one算法,稀疏性,巴氏系数,矩阵填充,时间因子的论文, 主要内容为随着信息技术不断发展,产生的数据量越来越多,人们如何快速而准确的找到感兴趣的信息变得越来越困难,而推荐系统能有效解决该问题。但是,推荐系统持续发展的同时依然面临许多问题,如数据稀疏性问题、冷启动问题等。本文主要以加权slope one算法为研究基础。加权slope one算法是协同过滤算法的一种,其主要依靠项目评分数值差,采用线性方式进行预测。此方法计算简洁,但是在数据稀疏时效果较差,因此针对加权slope one算法存在的问题以及数据稀疏性问题,本文进行如下研究:(1)加权slope one算法仅仅考虑评分用户数量对结果的影响,并没有考虑用户或项目自身内在联系,因此,本文考虑用户相似度对结果的影响。此外,由于传统相似度计算方式如皮尔逊相关系数、余弦相似度等,在计算相似度时主要依赖用户共同评分,当共同评分很少甚至没有时,此时运用传统相似度计算方式取得的结果较差,因此,本文提出一种融合巴氏系数的加权slope one算法(BCWSOA)。从两方面进行改进:一是利用巴氏系数改进用户相似度,首先使用巴氏系数分析用户相关性计算出全局相似度,再与传统相似度计算方法加权融合,得到最终用户相似度;二是利用巴氏系数优化预测评分公式,用巴氏系数计算项目相似度,并将其作为权重因子优化预测评分公式。(2)针对加权slope one算法中数据稀疏性问题,常用的解决方法有矩阵填充。目前,大多数填充是采用数据的平均数、中位数和众数等方式。虽然可以缓解数据稀疏问题,但是这些填充方法未考虑用户和项目本身特性,未考虑用户评分易受主观性以及环境等其他因素的影响,从而导致用户对项目的评分不准确。由于项目属性是固定不变的,因此,可以根据用户对项目属性的偏好,间接体现用户对项目的喜好,故本文提出一种新的评分矩阵填充方法。首先计算用户对项目属性的偏好值,再联合用户平均评分,最后填充评分矩阵。基于填充后的评分矩阵,又考虑到用户兴趣爱好随时间动态变化,于是引入时间因子变量,故第四章提出一种基于评分矩阵填充和时间因子的加权slope one算法(FTWSOA)。本文算法以加权slope one算法为基准,为验证提出的BCWSOA和FTWSOA两种算法,通过在Movie Lens数据集上实验,结果表明:BCWSOA和FTWSOA两种算法相比于其他算法在MAE和RMSE两个指标上均有更好的效果。
阵列数据受损情况下基于矩阵填充的DOA估计方法研究
这是一篇关于DOA估计,空间平滑,矩阵填充,低秩矩阵,矩阵恢复的论文, 主要内容为从少量的随机采样样本中恢复出未知的有用数据对于阵列信号处理来说是非常重要的,比如数据受损时的波达方向(direction of arrival,DOA)估计。若受损数据随机分布在矩阵中,采用矩阵填充(matrix completion,MC)方法可以有效地恢复受损数据,从而准确地估计出波达方向。然而,若受损数据分布集中时,则无法准确有效地恢复未知数据,从而影响到DOA的估计。例如,当受损数据分布在矩阵的整行(列)时,该行(列)缺乏足够的相关信息导致矩阵填充方法失效。为此,本文研究部分阵元受损时的DOA估计问题,提出用于均匀线阵的FSS-MC算法和FSS-OptSpace算法。FSS-MC算法利用均匀线阵的移不变结构特性来解决部分阵元受损情况下的DOA估计问题。该算法通过对阵列进行空间平滑操作,将阵列划分为若干个子阵列,使原本分布在整行(列)中的受损元素位置被打乱。利用空间平滑方案重组得到的数据矩阵(重构矩阵)经证明是低秩的,且满足非相干条件,所以可以采用矩阵填充算法对重构矩阵中的受损数据进行恢复。矩阵填充算法实质上是在满足变量矩阵与观测矩阵(有效数据)相匹配的条件下,最小化重构矩阵的核范数。FSS-MC算法在最小化核范数时需要耗费大量的计算资源,并且cvx工具包在计算大型矩阵时运算很慢,故FSS-MC算法不适用于解决规模较大的矩阵恢复问题。而实际应用中采集的数据矩阵都比较大,比如推荐系统、人脸识别、雷达勘测等。针对上述FSS-MC算法的局限性,本文进一步提出FSS-OptSpace算法。FSS-OptSpace算法利用均匀线阵的结构特性,通过空间平滑方案重组数据矩阵,使得每一行/列均有相关信息以恢复受损数据;并将核范数最小化问题转化为最小化左、右奇异矩阵的流形优化问题,通过梯度下降法求解最优值,最后利用经典的DOA估计方法计算空间谱函数。本文对上述两个算法做了充分的仿真实验分析。实验结果表明,在部分阵元受损情况下,FSS-MC算法和FSS-OptSpace算法均有较好的DOA估计性能,且FSS-OptSpace算法适用于较大型阵列的DOA估计。
基于聚类的低秩矩阵填充推荐算法研究
这是一篇关于推荐系统,矩阵填充,谱聚类,哈希分类,联合优化的论文, 主要内容为随着互联网与大数据的不断发展,人们快速获取有用信息的难度不断增大。推荐系统作为有效缓解信息超载的工具之一,不仅可以为用户快速获取感兴趣的信息,同时也具有巨大的商业价值。然而,系统中庞大的用户和项目、稀疏的用户评分数据,导致计算复杂度大,模型构建不精确,推荐性能低下。针对上述存在的挑战,本文提出了两种相似用户划分方法,并在此基础上提出一种基于谱聚类的低秩矩阵填充的推荐算法。本文的主要研究工作如下:(1)提出了归一化评分矢量跟踪用户偏好记录的方法,减少评分稀疏对用户之间相似性计算的影响。提出两种相似用户划分方法:基于位置敏感的哈希函数分类算法和基于图论的谱聚类算法,将原始用户项目矩阵划分为多个子矩阵。(2)提出基于谱聚类的低秩矩阵填充算法。基于谱聚类的相似用户划分方法,为进一步提高用户评分率,减少子矩阵的规模,对与目标用户无关的列进行修剪,提出一种联合优化模型,通过优化构建的目标损失函数,确定使算法达到最优推荐的参数分类数和修剪率。最后应用矩阵填充算法。真实数据集实验结果表明,本文提出的两种分类算法能有效提高相似用户的划分准确度。在谱聚类分类算法的基础上,提出的低秩矩阵填充联合优化算法,能有效提高用户感兴趣项目列表的推荐精度。
基于协同过滤的个性化推荐算法研究
这是一篇关于协同过滤,个性化推荐,矩阵填充,用户属性的论文, 主要内容为随着人工智能和网络技术的发展,人们可以通过各种途径获取信息。但同时也产生了信息过载的问题,用户无法在海量的信息中找到感兴趣的内容,于是个性化推荐技术应运而生。个性化推荐系统是解决“信息过载”的有效方法,并且已经被应用到各个领域,比如电商,电影,社交。协同过滤技术由于其易于实现、跨领域等优势,已经成为个性化推荐中应用最成功的技术之一。然而传统的协同过滤算法由于数据稀疏、冷启动、扩展性、鲁棒性、实时性差等问题影响了推荐的准确度。针对以上问题在分析用户行为和相关评分数据的基础上,针对其缺陷提出了一系列的改进措施,经过试验验证改进后的协同过滤算法的推荐准确度会得到一定的提高。本文主要的工作如下:1.为了解决协同过滤算法中存在的因为数据稀疏而导致的推荐效率不高的问题,提出了一种基于用户相似性的Slope One矩阵填充的协同过滤算法。该算法先使用基本的余弦相似度计算用户之间的相似度并按照相似性从高到低排列,取前n个相似性较高的用户生成用户相似度矩阵,然后用Slope One算法对近邻用户未评分项目进行预测并将预测值用于填充原始的用户-项目评分矩阵,最后按照传统的基于项目的协同过滤算法进行推荐,本文提出的算法模型缓解了数据稀疏的问题,并且在评分预测的过程中考虑到用户的相似性对评分结果的影响,推荐效果优于一般的在协同过滤基础上的推荐算法。2.在已有的协同过滤推荐算法中,并没有充分的考虑到用户属性和项目标签这些因素对推荐质量的影响,因此文中综合考虑了基于用户的属性相似性和基于项目标签的用户相似性对推荐结果的影响,将用户-属性相似性和用户-标签相似性结合到用户相似性计算之中。最终得到的用户相似性是用户-属性相似性和用户-标签相似性的加权,通过调整加权系数的使用有效的缓解了用户相似性矩阵的稀疏性,进一步提高了用户相似度的准确性,使推荐结果更加精确。通过实验可以看出,本文改进的两种算法相对于原算法在数据稀疏性和算法推荐的准确率方面均有所改善。本文的推荐算法对提高用户体验具有积极作用,对个其他方向推荐算法的研究有一定的借鉴意义。
基于矩阵分解和Xgboost的电影个性化推荐系统研究
这是一篇关于电影推荐,矩阵填充,特征构造,用户聚类的论文, 主要内容为二十一世纪以来,随着互联网和电影产业的不断发展,网上的电影资源也越来越丰富,但同时用户从海量的电影中迅速地找到符合自己需求的电影也变得更加困难。为了使用户能够快速地找到自己喜爱的电影,协同过滤和个性化推荐系统应运而生。常用的推荐算法有基于用户或基于项目的协同过滤推荐算法,矩阵分解等,以上算法都是基于用户项目评分矩阵产生推荐。由于用户评分的客观因素,用户项目评分矩阵往往会非常稀疏,使得推荐效果不佳,进而导致用户的推荐体验较差。为了对传统协同过滤的推荐算法的效果进行改进,使得用户更精准地找到符合自己要求的电影,本文提出了基于矩阵分解和Xgboost的电影个性化电影推荐算法。该算法首先利用SVD++算法对用户评分矩阵进行处理,初步对评分矩阵进行缺失值填充,再利用填充完整的用户项目评分矩阵,根据评分向量对用户和电影进行聚类,继而再计算每个用户对于每一类用户两组评分向量之间的相似度,构造每个用户关于每类用户的相似度特征,对电影也做类似的处理。同时,在模型中加入用户和电影的属性(如用户年龄,性别,电影类别等),构造一个有监督模型,并利用Xgboost集成算法对有监督模型进行训练,从而得到推荐模型并对用户的评分进行预测。本文将所提出的MFXGB推荐算法应用于Movie Lens100k数据集中,并和传统的协同过滤推荐算法产生的结果进行对比,结果显示MFXGB的推荐效果好于传统的推荐算法。本文进一步验证了在MFXGB推荐算法中,对缺失的用户评分矩阵进行填充以及加入用户和电影的自身属性对算法有明显的提升作用。最后通过该推荐算法,产生的top10推荐列表具有较好的准确率和召回率。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码驿站 ,原文地址:https://m.bishedaima.com/lunwen/49197.html