• 时序遥感下的作物的识别与语义分割

在全球对粮食需求不断增长的时代背景下，准确的和及时的作物分布信息对于了解农业土地利用和监测作物生长至关重要。高重访频率的卫星有助于更好地了解具有复杂时间动态的现象，近年来，深度学习(DL)结合多时相卫星数据在解释作物动态方面表现出了出色的作物制图精度。然而，作物具有的物候演化具有多变性与复杂性，现有的深度模型在不同时间区间、不同地点范围的性能差异较大，模型泛化能力不足。因此，为了提升时序遥感模型的泛化性，采用时序数据增强算法，改变源域的分布，提出崭新的时序特征提取模型，通过结合对比学习的方式，促使模型在多源域中学习到稳固的时序域不变特征，最终实现目标域下都能达到较好的性能。

• 基于因果信息的半监督图像分类

2018年，图灵奖得主Bengio在ICML会议中指出：可解释因果关系是深度学习发展的当务之急。因果推理被视为深度学习进一步发展的关键技术之一，近年来备受重视。当前深度模型的训练普遍是基于数据建立起输入样本和其所属标签之间的统计相关性。相关性并不总是等于因果性，对于理解和揭示变量之间的因果关系方面存在的局限性可能导致深度模型在面对新数据时产生错误的预测，这限制了模型性能的进一步提升。“采样偏差”导致的目标与背景的相关性不利于模型训练，该问题在有标签数据较少的半监督学习中尤为突出。为了指导半监督模型学习表面的图像与标签之间统计相关性下隐藏的目标与标签的因果性，提出基于因果干预模块的半监督分类模型。通过不同范式半监督模型通用的因果干预模块实现因果干预的执行和因果关系的学习，促使模型学习到本质的因果关系，最终实现更优的半监督分类性能。

• 跨模态行人重识别

由于红外光和可见光监控设备的普及，跨模态行人重识别（VI-ReID）已经备受行业内的关注，在2022到2024年间，已经在IEEE Transaction系列中刊登论文超200篇。这一研究通过生成对抗网络等对单一模态信息的补偿，从而能够学习到模态之间的差异和共性，提升识别精度。此外，基于特征映射的深度学习模型可以将不同模态的数据转换到统一的特征空间，消除模态差异对识别的影响。当前的研究课题主要集中在两个方面：1. 融合多模态信息以实现更全面、更准确的行人识别；2. 利用无监督机制实现可泛化的重识别。未来，VI-ReID将在提升大规模、无标记数据集的识别精度和计算效率、以及在隐私保护条件下进行有效识别等方面持续发展。

• 基于唇齿驱动的深度伪造

基于唇齿驱动的深度伪造（Lip-Sync Deepfake）旨在同步预设音频和人物的唇部及牙齿运动，从而生成高度逼真的合成视频，在近年的CVPR、ICCV、NIPS等国际会议中频繁出现，2019年，Gartner在其技术成熟度曲线（Hype Cycle）中提到基于唇齿驱动的深度伪造是最需要关注的前沿技术之一。常见的基于唇齿驱动的深度伪造方法包括生成对抗网络和自回归模型，具体来说，音频驱动的合成方法利用预训练的语音识别和生成模型，将音频信号转换为相应的唇部运动，再结合面部生成网络实现最终的深度伪造视频。本组研究课题主要集中在生成不同环境和光照条件下高精度的伪造视频。未来，如何在保护隐私和数据安全的前提下，合法且道德地应用这一技术，也是课题重点关注的方向。