面向安防监测、物流仓储、智能制造等行业中的智能感知与决策技术需求，研究多模态数据和信息的感知手段、抽象方法与表征机制，以及基于智能感知的跨媒体学习、人机交互、自主决策理论及方法，是当前人工智能领域亟待解决的核心问题。

重点面向图像语义识别和理解，研究基于深度学习的视觉特征抽象、表达与推理方法，实现对图像内容的高层次认知；面向大范围非结构三维场景，研究多像感器协同的视觉采集与目标精确检测跟踪方法，实现对视觉场景的多模态感知和高精度重建；针对视频数据多模态且异构、信息不足、质量较低等问题，研究时空信息融合的视频分析理论及方法，实现视频内容语义理解和推断；研究三维视频几何编码噪声的统计特性，提升视频编码的效率和解码后的视频质量；面向跨媒体分析推理技术，研究跨媒体统一表征、关联理解与知识挖掘、智能描述与生成等技术，实现跨媒体知识的表征、分析、挖掘和利用；面向人机混合增强智能，研究基于人机交互的协同计算与强化学习方法；面向机器智能与自主决策，研究模仿学习、技能学习等机器学习理论及方法，实现智能体的自适应动作规划和可迁移决策分析；面向智能系统的独立作业需求，研究智能体情感计算与行为科学，实现智能体的行为建模及策略优化。