新闻网首页 人大主页 数字人大 校长信箱 广角 部处 院系 校园 校务 交流 学者 学生 学术
返回首页
您的位置:人大新闻网>校园时讯
高瓴人工智能学院多篇师生论文被国际高水平会议录用
2021-01-19 15:30:42
2,775 次浏览
来源:高瓴人工智能学院
编辑:姜 彬涛

近期,中国人民大学高瓴人工智能学院多篇师生论文被国际学术会议ICLR、国际顶级期刊会议(CCF A)录用。

1月,中国人民大学高瓴人工智能学院师生有3篇论文被国际学术会议ICLR(2021)录用。ICLR全称为“International Conference on Learning Representations”(国际学习表征会议)。ICLR被认为是“深度学习的顶级会议”。会议由位列深度学习三大巨头之二的Yoshua Bengio和Yann LeCun牵头创办。本次ICLR 2021共有2997篇有效论文投稿,其中860篇被接受,录用论文193篇,录用率达28.7%。

论文介绍

论文题目:MELR: Meta-Learning via Modeling Episode-Level Relationships for Few-Shot Learning
作 者:费楠益, 卢志武, 向滔, 黄松芳
通讯作者:卢志武

论文概述:最近的小样本学习方法几乎都是基于场景式(元任务式)训练,即为了模仿测试时的情况,每个元任务中对于每个类只采样少量训练样本(支撑样本)。然而,这种严格仿照测试情况的训练方式有个副作用,即训练得到的模型容易受到少量支撑样本的坏采样的影响。在本工作中,我们第一次以探索场景之间关系的方式来尝试解决该问题。特别地,我们提出了一个新颖的建模场景级别关系的元学习(MELR)框架:通过采样两个拥有相同类别集合的场景用于元训练,MELR用来保证训练得到的模型在元测试阶段对于质量不高的支撑样本的存在是鲁棒的。这可以通过设计两个关键部件来实现:(1)一个跨场景注意力模块(CEAM)来提高模型减少坏采样支撑样本带来的反作用的能力;(2)一个跨场景一致性正则(CECR)来保证分别在两个场景下独立得到的两个分类器有一致的表现。在两个基准数据集上,大量标准小样本学习实验显示我们的MELR相比于我们使用的基准方法(原型网络)取得了1.0%- 5.0%的性能提升,而且在相同设置下打败了最新的方法。

论文题目:IEPT: Instance-Level and Episode-Level Pretext Tasks for Few-Shot Learning
作 者:张曼黎, 章剑鸿, 卢志武, 向滔, 丁明宇, 黄松芳
通讯作者: 卢志武

论文概述:目前的深度神经网络需要为每个新任务收集大量带标签的训练数据,在一定程度上限制了其实用性。给定来自一组源任务的数据,可以使用两种迁移学习方法来克服此限制:小样本学习(FSL)和自监督学习(SSL)。前者旨在通过使用源任务设计学习场景来学习“如何学习”,以模拟用很少的带标签样本来解决目标新任务的挑战。相反,后者利用所有源任务中的无注释预定义任务来学习可泛化的特征表示。本文提出了一个创新的实例级和场景级的预定义任务(IEPT)框架,该框架无缝地将SSL集成到FSL中。具体来说,给定FSL场景,我们首先将几何变换应用于每个实例以生成扩展场景。在实例级别,按照标准的SSL执行转换识别。重要的是,在场景级别中我们设计了两个SSL-FSL混合学习目标:(1)场景级别的预定义任务,会最大限度地提高来自不同扩展场景的FSL分类预测结果之间的一致性;(2)将从每个实例中跨不同场景提取的特征进行集成,以构建用于元学习的单个FSL分类器。大量实验表明,我们提出的模型(即带有IEPT的FSL)达到了最新的技术水平。

论文题目:Effective Distributed Learning with Random Features: Improved Bounds and Algorithms
作 者:刘勇,刘建坤,王书强
通讯作者:刘勇

论文概述:核岭回归(kernel ridge regression,KRR)是一类重要的统计学习方法,但其时间和空间复杂度限制其在大规模问题上的应用。分布式是一种常用的改进KRR学习效率的方法,但已有的分布式KRR统计学习理论表明,如果想保证与原始KRR相同的统计精度,分块数必须为常数,这大大限制了分布式KRR的推广。本文中,我们提出了一种高效的分布式随机特征方法,该方法在保证与原始KRR相同的统计精度下,时间和空间复杂度降为和。为了进一步保证与原始KRR得到相同的概率误差界,在原有分布式随机特征方法的基础上提出了一种全新的通讯策略,能降低对分块数的要求。在仿真和实际数据集中验证了理论的有效性。

中国人民大学高瓴人工智能学院12篇师生论文被国际顶级期刊会议(CCF A)录用。CCF是中国计算机学会的简称。CCF A类期刊会议指国际上极少数的顶级刊物和会议,其中TheWebConf是互联网技术领域最重要的国际会议之一,AAAI是人工智能领域中历史最悠久、涵盖内容最广泛的国际顶级学术会议之一,SIGMOD是数据库领域最顶级的国际会议,IJCV是计算机视觉领域的国际顶级期刊;TKDE是中国计算机学会推荐的A类期刊。TOIS是中国计算机学会推荐的“数据库/数据挖掘/内容检索”领域的A类国际学术期刊。

TheWebConf(3篇)

2021年国际万维网大会The Web Conference(旧称WWW)将于2021年4月19日-23日线上召开。TheWebConf是中国计算机学会(CCF)推荐的A类国际学术会议,是互联网技术领域最重要的国际会议之一,由国际万维网会议委员会(IW3C2)和主办地地方团队合作组织,每年召开一次,今年是第30届会议。本次会议共接收1736篇提交长文,最终录用357篇,录用率为20.6%。

论文介绍

论文题目:A Novel Macro-Micro Fusion Network for User Representation Learning on Mobile Apps

作    者:卞书青,赵鑫,周昆,陈旭,蔡晶,何晏成,罗鑫骥,文继荣

通讯作者:赵鑫

论文概述:本文主要研究基于移动App场景下用户表示的建模,借助于移动App的生态系统,主要研究利用宏观交互数据(User-App)和微观交互数据(User-Item)研究用户表示学习。通过结合两种不同粒度的用户数据,可以在移动互联网场景下获得更丰富,更鲁棒的用户表示。为了有效地融合宏观和微观视角中的信息,我们提出了一种新颖的宏观-微观融合网络,用于在移动App上进行用户表示学习。以Transformer架构为基础模型,我们设计了一个表示融合模块,该模块能够捕获在用户级别的基于主题类别的语义对齐。经过这样的语义对齐后,能自适应地融合两个视图之间的信息。此外,我们采用互信息最大化作为自监督学习的损失来进一步增强对这个融合网络的学习。我们在两个真实场景的数据集上对三个下游任务进行的大量实验,也证明了我们方法的有效性。

论文介绍

论文题目:Reinforcement Recommendation with User Multi-aspect Preference

作    者:陈旭,杜雅丽,夏龙,汪军

通讯作者:陈旭

论文概述:基于强化学习的推荐算法最近在工业界和学术界受到了广泛关注。传统的方法大多聚焦于如何构建精准的代理模型和环境模型来提升推荐算法的精度,但很少有工作探讨如何合理地建模用户奖励。在真实的推荐系统环境中,用户的兴趣往往复杂多样,整体的评分信息和隐式反馈通常难以准确描述用户在不同商品侧面的喜好。为此,本文提出在基于强化学习推荐算法框架下建模用户的多方面喜好。首先,用户在不同侧面的喜好可能不尽一致甚至相互矛盾,因此本文设计了一种基于“帕累托最优”的优化目标,并将其与经典的确定性策略梯度算法进行无缝的融合。其次,本文通过求解一个“二次型问题”来对模型进行交替优化,并探讨了模型最终是否可以收敛到“局部帕累托最优解”。最后,由于“帕累托最优”目标的引入,模型的梯度并不是无偏的。本文在理论上对模型梯度的偏差上界进行分析,并提出一种启发式的方法来降低梯度偏差。 在实验中,本文通过设计大量的对比试验和参数实验来证明算法的有效性。

论文介绍

论文题目

FedPS: A Privacy Protection Enhanced Personalized Search Framework

作    者:姚菁,窦志成,文继荣

通讯作者:窦志成

论文概述:个性化搜索通过收集用户的历史查询行为来推断用户兴趣及查询意图,从而生成更准确的排序结果。然而,这会给用户带来隐私泄露的风险,严重限制了个性化搜索的实际应用场景。在本文中,我们重点关注个性化搜索中的隐私保护问题,并且提出一个增强隐私保护的个性化搜索框架——FedPS。在这个框架下,用户的隐私数据只保留在个人的客户端上,通过联邦学习的方式利用所有用户分散的数据来训练一个共享的个性化排序模型。基于这个通用的框架,我们具体实现了两种模型。在第一种模型中,我们采用一个包含用户个人模块的个性化模型,这样可以适应于每个用户的数据分布从而缓解联邦学习中的数据异质性问题;在第二种模型中,我们引入可靠的中间代理服务器来解决通信限制、性能瓶颈和隐私攻击等问题。实验结果证明我们提出的框架能够在基本不损失模型精度的情况下增强隐私保护。

AAAI(5篇)

第35届国际人工智能顶级会议AAAI(Association for the Advance of Artificial Intelligence)将于2021年2月2日-9日以虚拟会议的形式在线举办。AAAI是人工智能促进协会主办的年会,是人工智能领域中历史最悠久、涵盖内容最广泛的的国际顶级学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。

论文介绍

论文题目:A Global Occlusion-Aware Approach to Self-Supervised Monocular Visual Odometry

作    者:卢遥,徐晓俐,丁明宇,卢志武,向滔

通讯作者:卢志武

论文概述:自监督单目视觉里程计通常被看做是一个基于深相机姿态估计和场景深度估计的视图合成问题,其关键挑战是如何准确且稳健地估计场景中的遮挡物和移动物体的深度。现有的方法只是简单地通过几个卷积层来检测和掩盖局部的遮挡区域,然后在图像的其余部分进行局部视图合成。本文从两个全局的角度来减轻遮挡或移动物体对单目视觉里程计的负面影响。首先,我们提出了一个多尺度的非局部注意力模块,包括阶段内增强注意力机制和跨阶段的级联注意力机制,用于对遮挡物进行鲁棒的深度估计,并通过全局注意力建模来缓解遮挡物的影响。其次,在单目视觉里程计的视图合成中引入了对抗学习。与现有的方法在合成视图过程中使用像素级的损失不同,我们强制要求合成视图在场景级上与真实视图无法区分,这样的全局约束有助于处理遮挡和移动的区域。在KITTI数据集上实验表明,我们的方法在相机姿态估计和场景深度恢复方面都达到了目前最好水平。

论文介绍

论文题目:Temporal Relational Modeling with Self-Supervision for Action Segmentation

作    者:王栋,胡迪,李兴建,窦德景

通讯作者:胡迪

论文概述:视频中的时序关系建模对于行为动作理解(如动作识别和动作分割)至关重要。尽管图卷积网络(GCN)在许多任务的关系推理中显示出令人鼓舞的优势,但如何在长视频序列上有效地应用图卷积网络仍然是一个挑战。其主要原因是大量存在的视频帧节点使GCN难以捕获和建模视频中的时序依赖关系。为了解决此问题,本文引入了一个有效的GCN模块,即膨胀时序图推理模块(DTGRM),该模块旨在对不同时间跨度视频帧之间的时序关系和相关性进行建模,尤其可以通过构造多级扩张的时序图来捕获和建模长跨度的时序关系。此外,为了增强所提出模型的时序推理能力,本文提出了一种辅助的自监督任务,以鼓励膨胀的时序图推理模块找到并纠正视频中错误的时序关系。本模型在三个具有挑战性的数据集上均优于最新的行动分割模型。

论文介绍

论文题目:Regret Bounds for Online Kernel Selection in Continuous Kernel Space

作    者:张骁,廖士中,徐君,文继荣

通讯作者:徐君

论文概述:在线模型选择是在线机器学习的关键问题。不同于离线模型选择,在线模型选择中的训练、验证和模型选择过程是交织混合进行的,这使得在线模型选择既要保证理论上的收敛性,又要保证计算上的实时性。已有在线核选择方法的时间复杂度至少是关于回合数平方级,计算效率较低,并且缺乏完备的后悔分析。本文聚焦于连续的候选核空间,依据每回合模型选择和模型训练的不同顺序,将连续核空间中的在线核选择分为两类,并分别给出得到最优后悔界所需的条件,将在线核选择的整体时间复杂度降为关于回合数拟线性级,解决了在线核选择的高计算复杂度问题。实验结果验证了理论结果的正确性和所提出算法的高效性。所提出的后悔分析框架为序列决策问题提出了新的理论保证和解决方案。

论文介绍

论文题目:Learning Graphons via Structured Gromov-Wasserstein Barycenters

作    者:许洪腾,罗迪新,Lawrence Carin,查宏远

通讯作者:罗迪新

论文概述:针对“极限图”这一非参数化的图生成模型,我们设计了一种基于结构化格罗莫夫-瓦瑟斯坦(GW)重心的学习方法,进而实现了对任意大小的图的分析与生成。针对使用2维阶跃函数估计极限图的算法框架,我们证明了极限图之间的切距离可以被放松为它们对应的阶跃函数之间的GW距离,并且一个极限图的阶跃函数可以用观测到的图数据的GW重心来估计。针对实际情况,我们还设计了具有平滑约束的GW重心估计算法和多GW重心的混合模型等结构化的扩展模型。该方法克服了传统极限图学习方法过分依赖图匹配精度的问题,在仿真数据和真实数据上表现良好。代码见https://github.com/ HongtengXu/SGWB-Graphon.

论文介绍

论文题目:Coupon Design in Advertising Systems

作    者:沈蔚然,唐平中,汪勋,徐亚东,杨希旺

通讯作者:唐平中

论文概述:在线广告平台一般通过拍卖来出售广告,收益最大化是这些平台最重要的任务之一。保留价、boosting、优惠券等机制都是增加收益的方法。优惠券机制的好处是广告主可以自由选择是否使用,给广告主更多选择空间。本文讨论了在VCG拍卖机制下,优惠券的设计问题。我们首先考虑广告主在该种机制下的出价策略,然后将优惠券设计问题描述成一个学习问题,并根据VCG拍卖的性质提出了学习算法。另外,我们还探讨了应当如何将优惠券机制与保留价机制进行结合的问题。最后,基于真实数据的实验表明,我们提出的算法可以有效提高平台收益。

SIGMOD(1篇)

2021年国际数据管理大会(ACM SIGMOD International Conference on Management of Data)将于2021年6月20日-6月25日于线上召开。SIGMOD是中国计算机学会(CCF)推荐的A类国际学术会议,是数据库领域最顶级的会议,中国大陆高校历年以第一单位身份发表的论文数量一般不超过10篇。

论文介绍

论文题目:Unifying the Global and Local Approaches: An Efficient Power Iteration with Forward Push

作    者:Hao Wu,Junhao Gan,魏哲巍,Rui Zhang

通讯作者:魏哲巍,Junhao Gan

论文概述:Personalized PageRank作为一种被广泛使用的衡量节点邻近度的度量方式,吸引了众多研究者的目光。本篇论文重点关注单源PPR的近似、精确计算问题,首先从理论层面改进了单源PPR计算的代表性方法Forward Push的理论复杂度下界,并且提出了一种更为高效的算法Power Iteration以进一步提升单源PPR精确计算的效率。此外,本篇论文针对单源PPR的近似计算问题,提出了算法SpeedPPR,超过了目前最优的近似算法FORA的时间复杂度。同时,本篇论文还进行了大量的实验以验证理论正确性和算法效率,实验结果表明,本论文所提的两种算法均达到了最优性能表现。

IJCV(1篇)

IJCV,全称为International Journal of Computer Vision,是计算机视觉领域的国际顶级期刊之一,也是中国计算机学会认定的人工智能领域四个A类期刊之一,五年影响因子12.38。

论文介绍

论文题目:Transferrable Feature and Projection Learning with Class Hierarchy for Zero-Shot Learning

作    者:李傲雪,卢志武,管界超,向滔,王立威,文继荣

通讯作者:卢志武

论文概述:零样本学习希望将已见类的知识迁移到未见类中,以达到在没有未见类别领域训练样本的情况下实现对未见类的识别。这能通过学习图片特征空间和类别语义空间(如属性空间)之间的映射来达到。考虑到已见类和未见类属于两个不同的领域,横亘在两个领域之间的领域间隔是零样本学习当中的一大难题。在这篇论文当中,我们提出了一个新型的归纳式零样本学习模型,该模型能够利用超类信息作为桥梁,来减小已见类和未见类之间的领域间隔。具体地,我们首先构建了一个由多个超类层和一个单类层组成的类别层次,这些超类层能够通过在已见类和未见类类名的语义表示上统一进行由数据驱动的聚类而自动生成。接下来我们利用在类别层次中的超类信息从两方面入手解决领域间隔问题:深度特征学习和映射函数学习。首先,为了减小在特征空间的领域间隔,我们在超类上构建了一个循环神经网络,并把该网络嵌入到卷积神经网络当中来增强超类的层次表示能力。其次,为了能够更好地学到关于零样本学习的映射函数,我们利用超类信息提出了一个新型的映射学习方法来对齐两个领域。重要的是,我们所提出的具有强迁移性的特征学习和映射学习方法能够容易地拓展到另一个相关的工作—小样本学习当中。大量实验表明我们所提出的模型能够在零样本和小样本任务上取得最好的结果。

TKDE(1篇)

TKDE全称IEEE Transactions on Knowledge and Data Engineering ,是中国计算机学会推荐的A类期刊,主要刊登计算机科学、人工智能、电子工程、计算机工程等领域在知识与数据工程方向的学术论文,影响因子3.857。

论文介绍

论文题目:Looking Back on the Past: Active Learning with Historical Evaluation Results

作    者:姚菁,窦志成,聂建云,文继荣

通讯作者:窦志成

论文概述:主动学习对于标注样本有限或者标注成本高的任务来说是一种非常有效的训练方式,并且已经被广泛应用在人工智能的多个领域。主动学习是一个迭代的过程,在每一次迭代中,我们利用当前的模型来评估所有的未标注样本,选取评分最高的样本进行标注并用于更新当前的模型,然后进入下一轮迭代。大多数现有的主动学习算法都只依赖于当前一轮迭代中模型对未标注样本的评价结果来进行样本选择,忽略了之前的评估结果。在本文中,我们提出从历史评估序列中挖掘更多的有效信息来帮助更好地选择样本。首先,我们考虑了历史评估序列的两种启发式的特征,即历史评估结果的加权和及历史评估序列的波动性。为了更全面地利用历史结果中包含的信息,我们设计了一个基于学习的选择策略,自动地学习如何基于历史评估序列来选择样本。我们的方法具有很强的通用性,能够和现有的最优选择策略组合使用。我们在两个NLP任务(文本分类和命名实体识别)上进行了实验,结果证明我们的方法能够取得很好的效果。

TOIS(1篇)

The ACM Transactions on Information Systems (TOIS)是由美国计算机学会(ACM)出版的SCI核心期刊。该期刊被中国计算机学会(CCF)推荐为“数据库/数据挖掘/内容检索”领域的A类国际学术期刊。

论文介绍

论文题目:Neural Feature-aware Recommendation with Signed Hypergraph Convolutional Network

作    者:陈旭,熊坤,张永锋,夏龙,殷大伟, Jimmy  Huang

通讯作者:陈旭

论文概述:在推荐系统中,用户的评论信息通常可以更为丰富和细致地反映用户喜好,充分合理地利用评论信息可以更加准确地描述用户画像,进而提升最终的推荐效果。为此,本文设计了一种带有符号的超图网络将用户的评论信息融入到推荐算法当中。首先,本文将用户的评论信息结构化成“(用户,商品,特征,情感)”四元组,并据此构建超图网络,其中 “用户-商品-特征”被视为一个超边进行整体建模,而“情感”则被看作是超边的符号。其次,基于构建的超图,本文设计了一种带有符号的超图卷积神经网络,并提出了针对性的信息传递路径以捕获用户-商品-特征之间的协同过滤信息。最后,本文通过大量的实验证明所提出算法的有效性。