不确定性知识图谱表示学习方法研究与应用

这是一篇关于知识图谱,表示学习,不确定性,推荐系统,问答系统的论文, 主要内容为知识图谱是现代人工智能的核心基础设施,随着人工智能的迅速发展,各种知识图谱被构建出来。与此同时,由于存在着难以去除的噪声与错误等不确定因素,使得知识表达难以完备化,知识图谱中出现了不确定信息。传统的知识图谱表示学习方法不能满足不确定知识图谱的表示及应用需求。因此,带有不确定信息的知识表示学习成为一项紧迫又富有挑战的任务。论文从不确定性知识图谱表示学习模型入手,通过对不确定知识图谱表示学习模型中的得分函数、损失函数和链接预测等关键技术进行深入研究,为不确知识性图谱表示学习模型的构建提供理论基础。然后,基于改进的不确定性知识图谱表示学习模型,研究并开发了具有推荐和问答功能的应用系统,为进一步开展不确定性知识图谱应用研究奠定基础。具体研究工作包括以下几个方面:(1)构建了一个开放的不确定知识表示学习工具集OpenUKGE。为解决知识图谱中不确定性信息表示,研究并修改了经典的确定性知识图谱表示学习模型,开发了 OpenUKGE工具集,对各种不确定知识图谱表示学习模型统一管理,支持快速模型验证。实验结果表明,该工具集中的表示学习算法可以解决不确定性知识表示问题。(2)提出了一种基于多关系推理的不确定知识图谱表示学习模型UDConEx。对OpenUKGE工具集中UKGE模型和UComplEx模型进一步优化,通过卷积神经网络,提取知识图谱三元组特征信息,设计了UDConEx模型。实验表明该模型在不确定性知识图谱表示学习的链接预测任务中,获得了最好的效果,能够对知识图谱中的多种逻辑关系进行较好的建模。(3)实现了基于不确定性知识图谱的推荐模型和问答模型。推荐系统中以两个确定性知识图谱表示学习推荐模型为基础,将BookCrossing数据集信息中用户与用户之间行为相似度、书籍与书籍之间的风格相似度、用户对书籍的可能喜好程度这三种关系当作不确定知识图谱信息,运用UDConEx模型对推荐系统模型进行辅助增强,获得了两个不确定知识图谱表示学习的推荐模型。问答模型以BERT+BiLSTM+CRF作为命名实体识别,BERT作为属性映射(关系识别)分类任务,最后将获得的实体和关系属性通过UDConEx模型进行不确定知识图谱的链接预测任务,推断出其答案信息。(4)开发了一个不确定性知识图谱表示学习应用系统。应用基于不确定知识图谱表示学习方法的推荐模型与问答模型,设计并实现了一个不确定性知识图谱表示学习的智能图书推荐系统。系统中使用了基于Python的轻量级Web框架Flask,前端采用了 HTML及Bootstrap 网页框架技术,Neo4j的可视化实现使用D3js技术,数据库采取Neo4j和MySQL。该系统能处理不确定性信息,实现了智能推荐图书的功能。

城市化对中国区域降水变化特征的影响及模拟研究

这是一篇关于城市化,城市群,降水,极端降水,不确定性的论文, 主要内容为城市化气候效应已经成为区域气候变化中不可忽略的人为因子。本文利用台站逐日降水资料、MODIS地表覆盖类型资料、人口密度资料和人口总量资料,通过不同的城市、乡村站划分方法,分析了我国东部三大城市群的发展对城、乡降水变化的可能影响及其不确定性。在此基础上,利用高分辨率融合降水资料探讨了冬夏季城市化对强降水的影响；利用CAM5模式,模拟城市化发展对华北夏季降水的可能影响,主要结论如下： 1)通过人口总量、人口密度和MODIS LC三种分类方法对城、乡站进行划分,选出共同确定的站点类型分析结果显示：长三角和珠三角地区近50年(1961-2009年)、近30年(1980-2009年)城市站降水增加趋势明显强于乡村站。而津京唐地区完全相反。 2)对于城市化发展快速期(1980-2009年),城市有利于降水发生的信号愈加明显,且不受城、乡站分类方法的影响；而城市化发展慢速期(1960-1979年),城乡间降水变化趋势差异不明显,这种差异对城乡站分类方法很敏感。 3)对不同季节降水变化特征研究表明：1960-2009年,三大城市群各种分类方法得到的各季城乡降水变化趋势较为一致。长三角地区春季和秋季城乡降水均有减少的趋势,夏季和冬季该地区城乡降水均有增多的趋势；而京津唐地区刚好相反；珠三角地区春季城市表现为降水增多的趋势,乡村表现为减少的变化趋势,夏季和冬季城乡降水均增多,而秋季城乡降水均减少。对于城市化发展快速期,长三角和珠三角地区城市有利于降水增多的信号在各个季节都很明显,且基本不受城乡分类方法的影响。而京津唐地区城乡分类方法对各季降水变化趋势的影响均较小。对于城市化发展慢速期,三个城市群各季城乡降水变化趋势受分类方法影响很大,城市化作用不明显。 4)对强降水变化特征的研究表明：夏季长三角和珠三角地区降水强度大值中心与城市有很好的对应关系,这一特征在极端降水阶段表现得尤其明显。三大城市群均表现出城市夏季强降水出现概率比乡村多的特点,且夏季强降水比率表现出随着人口的增加而增大的特点,这一特点在苏锡常和宁镇扬等小城市带尤其明显。表明城市化有利于夏季强降水事件的增多。而冬季城市化的作用在三大城市群内均不明显。 5)数值试验结果表明：东部城市群作为一个热源会在中国北方对流层中高层产生异常反气旋,有利于对流层中高层盛行下沉气流,抑制云的形成和对流运动的产生,导致华北地区夏季降水减少,从而加重了“北旱”趋势。

基于DQN和U-NET的大地电磁反演研究

这是一篇关于大地电磁,反演,DQN,U-NET,不确定性的论文, 主要内容为大地电磁法(magnetotelluric,MT)作为一种被动源勘探方法,具有数据采集方便、探测深度大的特点,是深部矿产资源勘探和地球科学研究的重要技术。过去的几十年中,反演技术作为大地电磁数据解释的主要方法取得了快速发展,已从简单的一维反演转变为适应复杂结构的三维反演。然而,传统的梯度类反演方法,如Occam法、快速松弛法和高斯牛顿法等虽然可以对数据进行高效反演,但是存在着依赖于初始模型和易陷入局部极值等问题。近年来随着计算机性能和正演方法的快速发展,越来越多的新方法被地球物理学家引入到大地电磁数据反演中,旨在克服传统反演方法存在的问题,提高反演结果的精度。本文在前人的研究基础上,将深度强化学习中的深度Q网络(DQN)和深度学习中的全卷积神经网络U-NET应用到大地电磁数据反演中,期望提高反演的稳定性和分辨率。本文主要研究内容如下:DQN方法是一种将强化学习中的Q-learning和深度神经网络结合起来的随机优化算法,近年来在机器人、游戏、智能驾驶等领域发展迅速,但在地球物理领域还并未得到应用。该方法的优化思想是将实际问题转换成一个马尔可夫决策过程模型,并在模型中不断试错,积累经验,更新参数,进化自身。基于其试错优化的思想,该方法需要进行大量的正演,因此本文利用求解速度快的一维模型测试DQN方法的反演效果。由于地球物理反演存在很强的等值现象,为了得到更加贴近真实模型的反演结果,本文并未使用训练好的DQN进行反演,而是把每一个数据反演都看成是一次训练。基于贝叶斯方法的思想,本文将DQN反演过程中的大量反演结果进行概率统计,得到模型参数的概率分布和最大概率反演结果,获得了反演结果的不确定性信息。本文分别采用五层和八层的地电模型对DQN方法进行测试。五层模型的反演结果证明该方法对初始模型依赖较小;八层模型的反演结果进一步体现了该方法具备良好的抗噪能力。通过与Occam方法和贝叶斯方法进行了对比,证明了该方法具备良好的鲁棒性。最后,本文采用内蒙古某测区的实测数据对该方法进行了测试,反演结果与先验信息拟合较好。作为一种全卷积神经网络,U-NET与传统的神经网络不同,其隐层均由卷积层组成,并通过上采样和下采样实现了编码和解码的过程。由于U-NET是一种自动监督学习的方法,可以实现数据到模型的直接映射,因此该方法可以得到超过传统反演方法的高分辨率反演结果。鉴于U-NET网络具有较高的复杂数据对的映射能力,本文将U-NET应用于大地电磁二维数据反演中。本文利用基于交错网格的有限差分正演方法实现大地电磁TE和TM模式响应的计算,并用其作为U-NET的输入。本文在前人的研究基础上设计了更加贴近真实地下情况的地电模型,并在训练集的建立和损失函数的改进两个方面对U-NET进行了测试,旨在进一步探索U-NET在大地电磁数据反演方面的能力。大量的数值实验结果表明:1)噪声对训练集的影响较小;2)不同形式的损失函数得到的反演结果与其特征一致;3)损失函数中加入模型约束项在一定程度上可以对反演结果进行改善;4)该方法反演结果的分辨率超过传统反演方法。综上所述,本文基于DQN和U-NET实现了大地电磁数据的反演,一定程度上提高大地电磁数据的反演分辨率,为大地电磁资料的解释提供了全新的技术参考。

考虑不确定性的可再生能源消纳研究

这是一篇关于可再生能源消纳,不确定性,电力市场,投资组合,电-热综合能源系统,供热网储热,热电协调调度的论文, 主要内容为近年来,我国风、光等可再生能源快速发展,在电网中占比日益提高,但调峰能力不足、以热定电、当地可再生能源装机容量与用电需求不匹配、本地消纳空间不足、电源建设与电网建设不同步、外送输电通道限制、市场机制不完善等因素导致横亘在可再生能源发展面前的弃风、弃光等痼疾一直没能得到很好解决。可再生能源发电的随机性、波动性、间歇性进一步加大了并网消纳的难度。要破解可再生能源消纳难题,需要从源、网、荷、储、市场等多个环节入手。本文采用场景分析法处理风、光等可再生能源发电的不确定性,围绕可再生能源发电消纳问题,开展了以下的研究工作:在现有电网条件和技术水平下,可再生能源消纳更需要重视经济性和政策问题。本文研究了固定电价和溢价机制相结合的市场机制下,风电发电商在不同时间尺度多级电力市场中的电量分配问题,考虑了市场电价的波动性,提出了基于投资组合理论的电量分配模型,对风电商电量分配策略进行求解,同时根据风电商参与电力市场情况对该市场机制进行分析。算例结果表明所提出的模型能使不同风险偏好的风电商较好地权衡收益和风险,为其电量分配决策提供了思路;市场机制中的溢价补贴对激励风电商参与电力市场的效果非常明显,如何设置合理的补贴比例,是将风电商从固定收购机制引导向市场的关键。在利用多能互补拓展可再生能源消纳渠道方面,本文研究了含高比例可再生能源的电-热综合能源系统协调优化问题。首先建立了热力网络模型,重点考虑了供热管道传输延时、传输损耗等热动态特性以及热负荷的柔性,然后从电力系统和热力系统的互补耦合特性出发利用电-热综合能源系统中电-热源耦合、网互助、荷互补的特点,建立了一种电-热综合能源系统的源-网-荷-储协调调度模型。算例结果显示所建立模型可以通过系统中源、网、荷的相互协调,突破“以热定电”运行模式限制,实现电、热供需曲线的时间平移和优化匹配,显著提高可再生能源消纳水平,为解决大规模集中并网带来的可再生能源消纳问题提供了新思路。

基于DQN和U-NET的大地电磁反演研究

这是一篇关于大地电磁,反演,DQN,U-NET,不确定性的论文, 主要内容为大地电磁法(magnetotelluric,MT)作为一种被动源勘探方法,具有数据采集方便、探测深度大的特点,是深部矿产资源勘探和地球科学研究的重要技术。过去的几十年中,反演技术作为大地电磁数据解释的主要方法取得了快速发展,已从简单的一维反演转变为适应复杂结构的三维反演。然而,传统的梯度类反演方法,如Occam法、快速松弛法和高斯牛顿法等虽然可以对数据进行高效反演,但是存在着依赖于初始模型和易陷入局部极值等问题。近年来随着计算机性能和正演方法的快速发展,越来越多的新方法被地球物理学家引入到大地电磁数据反演中,旨在克服传统反演方法存在的问题,提高反演结果的精度。本文在前人的研究基础上,将深度强化学习中的深度Q网络(DQN)和深度学习中的全卷积神经网络U-NET应用到大地电磁数据反演中,期望提高反演的稳定性和分辨率。本文主要研究内容如下:DQN方法是一种将强化学习中的Q-learning和深度神经网络结合起来的随机优化算法,近年来在机器人、游戏、智能驾驶等领域发展迅速,但在地球物理领域还并未得到应用。该方法的优化思想是将实际问题转换成一个马尔可夫决策过程模型,并在模型中不断试错,积累经验,更新参数,进化自身。基于其试错优化的思想,该方法需要进行大量的正演,因此本文利用求解速度快的一维模型测试DQN方法的反演效果。由于地球物理反演存在很强的等值现象,为了得到更加贴近真实模型的反演结果,本文并未使用训练好的DQN进行反演,而是把每一个数据反演都看成是一次训练。基于贝叶斯方法的思想,本文将DQN反演过程中的大量反演结果进行概率统计,得到模型参数的概率分布和最大概率反演结果,获得了反演结果的不确定性信息。本文分别采用五层和八层的地电模型对DQN方法进行测试。五层模型的反演结果证明该方法对初始模型依赖较小;八层模型的反演结果进一步体现了该方法具备良好的抗噪能力。通过与Occam方法和贝叶斯方法进行了对比,证明了该方法具备良好的鲁棒性。最后,本文采用内蒙古某测区的实测数据对该方法进行了测试,反演结果与先验信息拟合较好。作为一种全卷积神经网络,U-NET与传统的神经网络不同,其隐层均由卷积层组成,并通过上采样和下采样实现了编码和解码的过程。由于U-NET是一种自动监督学习的方法,可以实现数据到模型的直接映射,因此该方法可以得到超过传统反演方法的高分辨率反演结果。鉴于U-NET网络具有较高的复杂数据对的映射能力,本文将U-NET应用于大地电磁二维数据反演中。本文利用基于交错网格的有限差分正演方法实现大地电磁TE和TM模式响应的计算,并用其作为U-NET的输入。本文在前人的研究基础上设计了更加贴近真实地下情况的地电模型,并在训练集的建立和损失函数的改进两个方面对U-NET进行了测试,旨在进一步探索U-NET在大地电磁数据反演方面的能力。大量的数值实验结果表明:1)噪声对训练集的影响较小;2)不同形式的损失函数得到的反演结果与其特征一致;3)损失函数中加入模型约束项在一定程度上可以对反演结果进行改善;4)该方法反演结果的分辨率超过传统反演方法。综上所述,本文基于DQN和U-NET实现了大地电磁数据的反演,一定程度上提高大地电磁数据的反演分辨率,为大地电磁资料的解释提供了全新的技术参考。

基于变分自编码器的混合推荐方法研究

这是一篇关于变分自编码器,不确定性,特征噪声,信息瓶颈,因果推理的论文, 主要内容为混合推荐系统旨在根据用户与产品的历史交互记录以及用户/产品特征信息为用户推荐感兴趣的新产品。由于变分自编码器模型(variational auto-encoder,VAE)在建模高维稀疏数据时具有独特的表示学习优势,其被广泛地应用于推荐系统领域处理用户侧或产品侧信息。然而,大部分现有推荐系统仅使用VAE模型作为提取用户/产品隐藏特征的工具,并未充分考虑用户交互与用户/产品特征信息各自具有的独特优势与不足,从而导致了推荐结果中存在一定的不确定性、噪声与偏差。针对上述问题,本文将VAE模型推广到混合推荐系统,使其作为一个整体且系统的变分推理框架优势互补地处理用户交互、用户属性与产品特征等多模态信息,从而在提升产品推荐准确度的同时增强模型的鲁棒性。总体来说,本文提出基于VAE的混合推荐系统旨在解决如下关键问题:从交互信息的角度来说,大量用户或产品的历史交互较为稀疏;在更新迭代较快的电商平台中,甚至经常出现没有任何历史交互信息的冷启动产品。因此,如何提升推荐系统对交互信息不足的用户或产品的推荐性能成为本文研究的首要问题。此外,在收集的用户历史交互数据中,如果存在同时影响产品曝光与用户交互的因素,即混淆因子,则其会在产品曝光与用户交互之间建立虚假的联系,从而造成模型对用户偏好的估计中存在系统性偏差。因此,如何从有偏的观测交互数据中无偏地估计用户偏好成为本文研究的另一大难题;从用户/产品特征的角度来说,由于现有特征工程的限制,提取的用户/产品特征中可能存在大量无法消除的个性化噪声。因此,如何在充分利用辅助特征信息降低推荐结果不确定性的同时,减轻特征噪声对模型的影响也成为本文将VAE推广至混合推荐系统的一大挑战。为了解决这些关键问题,本文从用户、产品与因果推理三个角度出发,通过设计新的隐空间结构、生成过程与推理算法等手段将VAE推广至混合推荐系统,从多角度提升其对交互不确定性、特征噪声与未观测混淆因子的鲁棒性。首先,从用户的角度而言,为了解决VAE模型在学习历史交互稀疏用户的隐藏表示时具有较大不确定性以及用户特征中含有大量噪声的问题,本文提出了一个基于变分带宽自编码器(variational bandwidth auto-encoder,VBAE)的推荐系统。该模型从信息论的角度出发,将用户交互与用户特征信息的融合过程建模为一个依赖用户的随机信道。该信道可以依照每一个用户历史交互信息的充分程度调整其带宽大小,从而能够动态地决定从含噪用户特征中允许融入的信息多少。为了实现该信道动态对交互-特征信息融合的调控能力,本文继而提出了一个量子力学启发策略从用户的历史交互中解缠交互信息的不确定性信息与承载用户偏好的语义信息,并将得到的交互不确定性度量作为计算信道带宽的依据。于是,在基于可变带宽信道的交互-特征信息融合机制下,VBAE既可以在交互信息不确定性较大时引入额外特征信息辅助推荐,又能在交互信息置信度较高的时候降低模型对于含噪用户特征的依赖,避免了模型的过拟合。其次,从产品的角度而言,针对面向用户的自编码推荐系统(user-oriented auto-encoder,UAE)因为舍弃建模产品隐变量而无法利用产品信息辅助推荐以及无法推荐冷启动产品的弊端,本文提出了一个基于变分耦合自编码器(mutuallyregularized dual collaborative VAE,MD-CVAE)的推荐模型。观察到UAE的最后一层权重与产品间存在一一对应关系,该模型首先使用有序堆叠的产品隐变量替代了UAE模型中随机初始化的网络权重,使其作为接口引入产品内容信息。接着,本文通过巧妙设计MD-CVAE的概率生成过程,以最小化UAE网络权重与对应产品内容隐变量均方误差的方式将MD-CVAE的产品内容模块与UAE模块紧密耦合在一起,使其在进行冷启动产品推荐时,UAE解码器中冷启动产品所对应的缺失权重可以由其内容隐变量来替代;最后,本文提出了一种针对用户隐变量的对称推理方法,其将MD-CVAE编码器作为解码器的转置,解决了存在新产品时UAE无法推理用户隐变量的问题,从而赋予了UAE模型推荐冷启动产品的能力。MD-CVAE是一个紧密耦合的推荐系统。其使得产品特征与用户交互互相促进,共同学习到更加以推荐为导向的用户/产品隐藏表示;并且,其对称结构也使其可以在不需要模型重训练的情况下直接推荐冷启动产品。最后,从因果的角度而言,针对未观测的混淆因子可能导致基于UAE的推荐模型根据历史交互建模用户偏好时存在偏差的问题,本文提出了一个基于深度因果自编码器(deep deconfounded recommender,Deep-Deconf)的推荐系统。该模型首先设计了一个具有分解Logistic似然的VAE模型从产品对于用户的共同曝光模式中推理得到可以使得不同产品对于同一用户曝光条件独立的隐混淆因子作为未观测真实混淆因子的替代。接着,本文证明在一定的条件下在推荐模型中控制该隐混淆因子可以消除由于真实混淆因子带来的混淆偏差。最后,本文证明了通过上述方法估计得到的用户偏好隐变量与交互预测值可能具有较大的方差,并证明在模型中引入用户特征作为额外的干预前变量加以控制可以大幅提升模型的采样效率。综上,Deep-Deconf模型以较小的方差实现了针对未观测混淆因子的无偏性,又具有较低的方差与较高的可解释性。因此,该模型可以在一定程度上解决未观测混淆因子对基于UAE的推荐模型造成的负面影响。在实验中,本文在多个真实推荐数据集上进行了详细的算法评价与分析(包括citeulike,movielens和Amazon数据集等),验证了本文提出三个将VAE模型推广到混合推荐系统的策略在降低模型不确定性、提升模型对特征噪声的鲁棒性、推荐冷启动产品与消除混淆因子造成的偏差等方面具有一定的优越性。

基于变分自编码器的混合推荐方法研究

这是一篇关于变分自编码器,不确定性,特征噪声,信息瓶颈,因果推理的论文, 主要内容为混合推荐系统旨在根据用户与产品的历史交互记录以及用户/产品特征信息为用户推荐感兴趣的新产品。由于变分自编码器模型(variational auto-encoder,VAE)在建模高维稀疏数据时具有独特的表示学习优势,其被广泛地应用于推荐系统领域处理用户侧或产品侧信息。然而,大部分现有推荐系统仅使用VAE模型作为提取用户/产品隐藏特征的工具,并未充分考虑用户交互与用户/产品特征信息各自具有的独特优势与不足,从而导致了推荐结果中存在一定的不确定性、噪声与偏差。针对上述问题,本文将VAE模型推广到混合推荐系统,使其作为一个整体且系统的变分推理框架优势互补地处理用户交互、用户属性与产品特征等多模态信息,从而在提升产品推荐准确度的同时增强模型的鲁棒性。总体来说,本文提出基于VAE的混合推荐系统旨在解决如下关键问题:从交互信息的角度来说,大量用户或产品的历史交互较为稀疏;在更新迭代较快的电商平台中,甚至经常出现没有任何历史交互信息的冷启动产品。因此,如何提升推荐系统对交互信息不足的用户或产品的推荐性能成为本文研究的首要问题。此外,在收集的用户历史交互数据中,如果存在同时影响产品曝光与用户交互的因素,即混淆因子,则其会在产品曝光与用户交互之间建立虚假的联系,从而造成模型对用户偏好的估计中存在系统性偏差。因此,如何从有偏的观测交互数据中无偏地估计用户偏好成为本文研究的另一大难题;从用户/产品特征的角度来说,由于现有特征工程的限制,提取的用户/产品特征中可能存在大量无法消除的个性化噪声。因此,如何在充分利用辅助特征信息降低推荐结果不确定性的同时,减轻特征噪声对模型的影响也成为本文将VAE推广至混合推荐系统的一大挑战。为了解决这些关键问题,本文从用户、产品与因果推理三个角度出发,通过设计新的隐空间结构、生成过程与推理算法等手段将VAE推广至混合推荐系统,从多角度提升其对交互不确定性、特征噪声与未观测混淆因子的鲁棒性。首先,从用户的角度而言,为了解决VAE模型在学习历史交互稀疏用户的隐藏表示时具有较大不确定性以及用户特征中含有大量噪声的问题,本文提出了一个基于变分带宽自编码器(variational bandwidth auto-encoder,VBAE)的推荐系统。该模型从信息论的角度出发,将用户交互与用户特征信息的融合过程建模为一个依赖用户的随机信道。该信道可以依照每一个用户历史交互信息的充分程度调整其带宽大小,从而能够动态地决定从含噪用户特征中允许融入的信息多少。为了实现该信道动态对交互-特征信息融合的调控能力,本文继而提出了一个量子力学启发策略从用户的历史交互中解缠交互信息的不确定性信息与承载用户偏好的语义信息,并将得到的交互不确定性度量作为计算信道带宽的依据。于是,在基于可变带宽信道的交互-特征信息融合机制下,VBAE既可以在交互信息不确定性较大时引入额外特征信息辅助推荐,又能在交互信息置信度较高的时候降低模型对于含噪用户特征的依赖,避免了模型的过拟合。其次,从产品的角度而言,针对面向用户的自编码推荐系统(user-oriented auto-encoder,UAE)因为舍弃建模产品隐变量而无法利用产品信息辅助推荐以及无法推荐冷启动产品的弊端,本文提出了一个基于变分耦合自编码器(mutuallyregularized dual collaborative VAE,MD-CVAE)的推荐模型。观察到UAE的最后一层权重与产品间存在一一对应关系,该模型首先使用有序堆叠的产品隐变量替代了UAE模型中随机初始化的网络权重,使其作为接口引入产品内容信息。接着,本文通过巧妙设计MD-CVAE的概率生成过程,以最小化UAE网络权重与对应产品内容隐变量均方误差的方式将MD-CVAE的产品内容模块与UAE模块紧密耦合在一起,使其在进行冷启动产品推荐时,UAE解码器中冷启动产品所对应的缺失权重可以由其内容隐变量来替代;最后,本文提出了一种针对用户隐变量的对称推理方法,其将MD-CVAE编码器作为解码器的转置,解决了存在新产品时UAE无法推理用户隐变量的问题,从而赋予了UAE模型推荐冷启动产品的能力。MD-CVAE是一个紧密耦合的推荐系统。其使得产品特征与用户交互互相促进,共同学习到更加以推荐为导向的用户/产品隐藏表示;并且,其对称结构也使其可以在不需要模型重训练的情况下直接推荐冷启动产品。最后,从因果的角度而言,针对未观测的混淆因子可能导致基于UAE的推荐模型根据历史交互建模用户偏好时存在偏差的问题,本文提出了一个基于深度因果自编码器(deep deconfounded recommender,Deep-Deconf)的推荐系统。该模型首先设计了一个具有分解Logistic似然的VAE模型从产品对于用户的共同曝光模式中推理得到可以使得不同产品对于同一用户曝光条件独立的隐混淆因子作为未观测真实混淆因子的替代。接着,本文证明在一定的条件下在推荐模型中控制该隐混淆因子可以消除由于真实混淆因子带来的混淆偏差。最后,本文证明了通过上述方法估计得到的用户偏好隐变量与交互预测值可能具有较大的方差,并证明在模型中引入用户特征作为额外的干预前变量加以控制可以大幅提升模型的采样效率。综上,Deep-Deconf模型以较小的方差实现了针对未观测混淆因子的无偏性,又具有较低的方差与较高的可解释性。因此,该模型可以在一定程度上解决未观测混淆因子对基于UAE的推荐模型造成的负面影响。在实验中,本文在多个真实推荐数据集上进行了详细的算法评价与分析(包括citeulike,movielens和Amazon数据集等),验证了本文提出三个将VAE模型推广到混合推荐系统的策略在降低模型不确定性、提升模型对特征噪声的鲁棒性、推荐冷启动产品与消除混淆因子造成的偏差等方面具有一定的优越性。