首页 新闻 聚焦多模态自然语言处理,京东智联云亮相NLPCC 2020

企业新闻

聚焦多模态自然语言处理,京东智联云亮相NLPCC 2020

日期:2022年07月23日

       Aspect-Multimodal 自动摘要生成 Multimodal 已成为新闻报道和信息交流的主要呈现形式。多模态自动摘要技术旨在利用计算机自动实现对多模态信息进行压缩和生成摘要的过程。 ,

可广泛应用于新闻推送、电商推荐等诸多领域。在本次研讨会上, 中国科学院自动化研究所研究员张家军介绍了其课题组近年来在多模态抽象方法与评价方面的研究进展。张先生重点介绍了异构多模态摘要生成研究方法的演进:从提取方法到生成方法, 再到当前结合多模态注意力机制的图形摘要生成方法。同时, 张老师还介绍了多模态自动摘要的自动评价方法:综合考虑文字和图片的重要性以及文字和图片的相关性, 更接近人工评分。看点2 多模态预训练模型和预训练模型的出现, 使自然语言处理从人工调参、依赖机器学习专家的阶段走向大规模、可复制的大规模工业化阶段部署。该阶段基于预训练模型微调机制, 具有高扩展性和高潜力。目前的研究也从单语扩展到多模式。微软亚洲研究院研究员段楠博士介绍了多模态预训练模型的研究进展。
       他首先回顾了典型的预训练模型。然后介绍了三种多模态预训练模型:Unicoder主要用于跨语言的语言理解和生成任务;统一oderVL 专注于视频语言任务, 联合建模视频剪辑和相应的自然语言描述; CodeBERT 专注于代码语言任务。段博士还与与会学者讨论了多模态预训练的当前问题和未来可能的方向。看点3 人工智能艺术与设计人工智能艺术是一个跨界领域。
       艺术家的想象力往往能激发科学家的创造力, 而在AI时代, 艺术家利用人工智能机器学习相关技术进行艺术创作并表达自己的想法和观念, 而设计师则利用神经网络模型来创造自己的设计工具和助手。清华大学未来实验室博士后高峰分享了人工智能技术在艺术与设计领域的创新应用。其团队研发的道子智能绘画系统, 利用计算机通过风格转换的方式, 将自然图像转化为艺术图像, 并根据获得的艺术图像进行水墨绘画,

实现科技与艺术的跨界融合。高博士还介绍了道子在服装设计、工业设计、装置艺术等领域的探索成果。看点4 多模态智能分析 多模态智能分析是近期的研究热点。北京航空航天大学刘曦教授分享了视觉和语言的互动介绍两个方面。她首先介绍了视觉关系检测的研究, 包括人-物关系检测、人-物关系分割、视频关系检测等。
       其次, 她指出视觉参照表示和参照分割对于智能机器人和交互式图像编辑等实际应用具有重要意义。传统的视觉表达方式采用两阶段架构, 模型复杂且速度受限, 而传统的参考分割方法侧重于多模态特征融合, 缺乏使用语言信息进行上下文建模和推理的能力。
       在这次讨论中, 她给出了针对性的解决方案。看点五 多模态对话系统 对话系统一直是自然语言理解领域的重要研究内容, 它可以使人与机器交互更加方便, 多模态对话系统是一个非常重要的研究方向。
       人工智能研究院杨海琴博士

相关新闻

  • 2022-07-20 17:30:52

    新冠核酸检测价格再降 公立医疗机构单人单检不高于28元

    新冠核酸检测价格再次下降,公立医疗机构单次检测不高于28元。北京4月9日电(记者孙秀艳)近日,国家医保局、国务院办公厅、国务院联防联控机制应对新型冠状病毒感染的肺炎疫情,集团联合部署新一轮全国新冠肺炎疫情防控工作。核酸检测降价,要求各省在2021年连续3次降价的基础上,4月8日前将公立医疗机构单人单......

  • 2022-08-10 12:56:14

    居理新房荣获2020年度准独角兽企业TOP 30

    11月26日,第五届“小桌青年创业者大会”在京召开。凭借在新房交易服务领域的突出表现,翠丽新房成功入围2020年准独角兽企业TOP30榜单。2020年准独角兽企业TOP30榜单评选,旨在寻找不断进化、追求卓越、不断创造价值的企业。本次评选汇集了数百家综合实力强、发展迅速、有望在短时间内成长为独角兽的......

  • 2022-08-03 12:11:04

    姚晶茗《活在当前》

    姚敬明的《活在当下》暖暖的,春暖花开,人山人海,繁华涌现。人事更明显,台前,识才九,无用笔墨。三餐都买了,闲人练了几千年,能养活一百年,活得领先。姚敬明的《活在当下》暖暖的,春暖花开,人山人海,繁华涌现。人事更明显,台前,识才九,无用笔墨。三餐都买了,闲人练了几千年,能养活一百年,活得领先。姚敬明的......

联系我们