报告概述
报告介绍了常熟农商银行第三代数据中台——湖仓一体架构的演进历程,从2014年的数据仓库到2025年的MRS+DWS架构。核心内容包括Tez引擎的跑批优化、存储压缩(节省1.56PB)、实时风控(小微贷审批缩至10秒)、BI自助分析以及AI问数产品。报告重点展示了新中台在跑批效率(整体提速2.4倍)、业务效能(绩效研发效率提升400%)和数据开放方面的突破,帮助读者理解金融级数据中台如何释放业务价值。
报告的核心结论
湖仓一体架构实现跑批性能跃升
新平台采用Tez引擎和湖仓一体架构,跑批总累计耗时从老平台的2311小时降至963小时,整体提速2.4倍;主干链路跑批从161小时降至68小时,提升2.3倍。部分作业提速高达649倍,监管报送提速16.5倍,存储节省1.56PB,预算节省19.5%。
实时风控显著提升小微业务效率
搭建实时风控独立集群,支撑71套策略、4400余条规则,小微贷款审批时效从30分钟缩短至平均10秒,用信余额711.5亿,不良率仅0.75%,在同规模行业中排名第一。日均监测交易250余万次,涉案账户识别覆盖率超80%。
数据应用从规模增长迈向效率倍增
BI看板查询量较去年提升2.5倍,导出量提升3倍;数据支持服务三年累计完成1541次,年均增幅超81%。通过统筹“游离小数仓”和驻点服务,工单量减少20%。绩效研发效率提升400%,指标研发60%可复用,驾驶舱研发效率提升600%。
AI赋能实现数据平民化
打造燕讯AI问数平台,覆盖1000+标准化指标,支持自然语言问答。上线以来已有116名用户咨询615次,客户经理可自助查询对公存款、绩效等数据。数据开放至村镇银行,使基层机构能自主搭建考核方案,显著降低数据获取门槛。
报告回答的关键问题
银行如何构建新一代数据中台?
报告以常熟农商银行为例,介绍了从传统数据仓库到湖仓一体的演进路径。新中台采用MRS+DWS架构,融合数据湖和数仓,引入Tez引擎替代MapReduce,通过DAG调度减少HDFS写入,实现存储压缩和跑批加速。同时搭建实时数据湖Hudi和Flink实时计算,支撑实时风控等场景。
湖仓一体架构如何提升跑批效率?
通过Tez引擎的DAG有向无环图高效调度,减少不必要的HDFS写入,结合30项参数调优,新平台跑批总累计耗时从老平台的2311小时降至963小时,提升2.4倍。监管报送提速16.5倍,部分作业如“投保机构存款账户统计表”提速649倍。
数据中台如何赋能小微业务风控?
实时风控独立集群部署,覆盖授信、小微、零售等场景,形成71套策略4400余条规则。例如小微市民贷审批策略含12个规则集,平均每集86条规则。审批时效从30分钟缩至10秒,不良率控制在0.75%的行业低位。日均监测交易250余万次,涉案账户识别覆盖率超80%。
AI问数如何实现数据平民化?
燕讯平台提供问答式查指标功能,覆盖1000+标准化指标,支持多维度、多时点图表展示。用户可通过自然语言查询机构排名、存贷增长、绩效等数据,如“我所属机构对公贷款年日均”已有116人问过615次。该产品将数据服务从“专业大餐”变为“便捷快餐”,使一线员工能自助获取数据。
报告中的代表性数据
跑批总累计耗时
截至2025年,新平台使用Tez引擎和湖仓一体架构后,跑批总累计耗时下降2.4倍,主干链路跑批耗时从161小时降至68小时,提升2.3倍。
小微贷款审批时效
截至2025年,实时风控独立集群部署后,小微贷款审批时效从30分钟缩短至10秒,用信余额711.5亿元,不良率0.75%。
存储节省
截至2025年,通过存储压缩(Snappy+Zlib)和Tez引擎优化,新平台数据量2.08PB,老平台3.64PB,节省1.56PB,服务器及软件授权预算节省19.5%。
以上数据根据报告摘要整理,具体统计口径和数值请以完整报告原文为准。
完整报告包含什么
- 数据中台十年演进路径:从2014年TD到2025年MRS+DWS,展示技术选型及痛点解决历程。
- 湖仓一体系统架构全景图:包括数据源、数据交换平台、实时计算、离线跑批、元数据管理及MPPDB只读查询等模块。
- Tez引擎调优细节:30项参数调优、DAG调度原理、存储压缩效果(节省1.56PB)及跑批时效提升2.4倍的具体数据。
- 实时风控解决方案:独立集群部署策略、71套策略4400+规则的详细介绍,以及反欺诈案例(帮信人员管控)。
- BI自助分析平台建设:看板查询量、导出量提升数据,以及分支机构BI应用质量分析(2024-2025年)。
- AI问数燕讯平台功能详解:1000+标准化指标、自然语言问答案例(对公贷款、绩效等),以及用户使用统计。
- 村镇银行数据开放实践:投管行利用BI模型表(80多张融合层、40多张考核明细)赋能32家村镇银行。
- 性能对比表:新老平台作业级耗时对比,涵盖存款保险、监管报送、EAST报送等系统,最高提速649倍。
本页内容由川海智库整理,用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限,部分观点、数据、统计口径或表述可能存在偏差,具体内容请以完整报告原文为准。





