报告概述

本报告以分布外(OOD)泛化为视角,系统综述图基础模型(GFMs)的最新进展。首先识别图学习中分布偏移的四大挑战:结构层面(拓扑与特征多样性)、领域层面(多源数据整合中的负迁移)、模态层面(跨模态信号不一致)以及任务层面(不同任务表述的泛化)。在此基础上,提出统一的OOD泛化问题形式化定义,将分布偏移归因于生成因子的变化。报告将现有方法分为两大类:同构任务GFMs(固定任务设定下处理结构/领域/模态偏移)和异构任务GFMs(支持跨任务泛化)。每类方法均详细分析其OOD处理策略与预训练目标。最后,介绍常用评估协议并讨论未来方向,包括通用图词汇、缩放定律、预训练与OOD目标对齐等。报告旨在帮助读者理解GFMs如何实现可靠部署。

报告的核心结论

图基础模型面临四类分布偏移:结构、领域、模态和任务。

报告指出,GFMs的OOD泛化挑战源自结构多样性(拓扑与节点属性变化)、领域偏差(数据集特定偏置)、模态不一致(辅助模态缺失或噪声)以及任务表述的差异。这些偏移独立或联合出现,要求模型学习跨环境稳定的表征。

同构任务GFMs通过不变性学习与对齐来处理固定任务下的偏移。

这类方法假设任务设定不变,重点在结构、领域或模态层面实现泛化。典型策略包括多图预训练(GraphFM)、专家混合路由(AnyGraph)、域对齐(MDGPT)、不变子图建模(GOODFormer)等,通过增强表征鲁棒性来应对分布变化。

异构任务GFMs通过统一语义接口支持跨任务泛化。

为应对任务变化,这类方法采用任务无关的预训练目标(如掩码建模、重建)和基于提示/指令的推理。代表模型包括OFA(统一提示分类)、GIT(任务树抽象)、UniGraph(文本统一层)等,使得单一模型可同时处理节点、边和图级任务。

现有评估覆盖多维度但缺乏统一基准。

报告总结了常用的OOD评估任务,包括结构偏移、域偏移、模态偏移和任务偏移下的泛化测试。然而,评估协议分散,尚无标准化基准,限制了方法间的公平比较和实际部署性能的可靠衡量。

报告回答的关键问题

图基础模型如何应对训练与测试图分布不同的问题?

报告提出统一问题框架:将分布偏移归因于结构、领域、模态和任务四个生成因子。GFMs通过多图预训练、域对齐、不变性学习和任务无关接口等策略,学习跨环境稳定的表征。例如,GraphAny通过解析预测器实现结构无关的节点分类,UniGraph2使用MoE对齐跨域多模态表示。

什么是同构任务与异构任务图基础模型的区别?

同构任务GFMs假设预训练和部署的任务设定固定(始终是节点分类或链接预测),仅处理结构、领域或模态偏移。异构任务GFMs则考虑任务本身发生变化(如从节点分类变为图分类),通过统一语义接口(如提示、任务树)使单一模型支持多种任务类型,无需重新训练。

图基础模型在哪些实际场景中可能因分布偏移而失效?

典型场景包括:来自不同领域的图数据(如社交网络与分子图)结构差异大;测试时节点特征维度或含义变化;文本或图像等辅助模态缺失;下游任务从链接预测变为图分类。报告详细列举了GPT、UniGraph等方法在模态缺失或域迁移下的性能退化案例,并分析了负迁移风险。

完整报告包含什么

  • OOD泛化挑战详细分析:报告第2.1节深入阐述结构、领域、模态和任务四个层面的分布偏移成因,包括结构多样性、负迁移、模态不一致和任务异构性,并给出具体例子。
  • 统一问题形式化:第2.2节将GFM的OOD泛化定义为学习一个在目标分布上期望损失最小的预测器,并通过四个生成因子(Φstruct, Φdom, Φmod, Φtask)建模分布偏移,为后续方法分类奠定理论基础。
  • 同构任务GFMs方法完整梳理:第3.1节系统介绍GraphFM、AnyGraph、MDGPT、PatchNet、GraphAny、GraphLoRA、MDGFM、SAMGPT、GraphCLIP、RiemannGFM、MDP-GNN、GraphPFN、GOODFormer等13种方法,详解其应对结构、领域、模态偏移的独特策略与预训练范式。
  • 异构任务GFMs方法完整梳理:第3.2节详细介绍OFA、LLaGA、OpenGraph、GOFA、LLM-BP、GIT、GFT、AutoGFM、UniGraph、UniGraph2等10种方法,重点分析其如何处理任务偏移,包括统一提示、任务树、生成式框架等创新。
  • 评估任务分类表:表2将OOD评估分为结构OOD、域OOD、模态OOD和任务OOD四大类,每类列出代表性任务与评估焦点,帮助读者快速理解不同测试维度的设计意图。
  • 未来研究方向探讨:第5章提出五大开放问题:通用图词汇、缩放定律、预训练与OOD目标对齐、理论保证、标准化基准,并给出初步思路与挑战。

本页内容由川海智库整理,用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限,部分观点、数据、统计口径或表述可能存在偏差,具体内容请以完整报告原文为准。

相关报告