川海智库

报告概述

本报告由国际清算银行联合德国央行和欧洲央行完成，聚焦如何利用人工智能将海量非结构化网络抓取产品数据转化为结构化信息，以支持高频通胀预测。报告详细介绍了基于文本嵌入和机器学习（K近邻与前馈神经网络）的产品分类方法，并与直接大语言模型提示方法进行对比。实验基于欧洲央行的每日价格数据集（DPD），涵盖约3400万种产品。报告评估了不同方法的准确性、成本与时间，并提出了一个可迭代优化的人机协同生产流程。读者可了解如何以极低成本实现大规模产品自动分类，从而提升通胀分析的时效性与颗粒度。

报告的核心结论

嵌入分类器达到与LLM提示相近的准确性，成本极低。

使用OpenAI文本嵌入模型（text-embedding-3-large）结合KNN或FFN算法，在每日价格数据集上实现了约80%的五位ECOICOP分类准确率，而直接使用GPT-5准确率为86%。但嵌入分类器处理3400万条记录仅需约5天、1500欧元，而GPT-5需超过6个月、65万欧元，成本降低超过99%。

高频网络抓取数据可覆盖欧元区约50%的CPI支出。

截至2025年12月，欧洲央行每日价格数据集覆盖了约50%的欧元区CPI权重，涵盖食品、服装、电子产品、家具等关键领域。这为利用网络价格进行通胀预测提供了有意义的样本基础，但仍存在能源、住房等线上缺失类别。

人机协作的迭代流程可逐步提升分类精度与覆盖范围。

项目开发了一个半自动化迭代流程：基于现有分类结果，优先选择准确率低、样本稀疏的类别进行人工标注，新增标注数据后重新分类。该流程已完成首轮迭代，新增6000条人工标注记录，使参考集和验证集持续扩充，分类性能逐步提升。

嵌入方法具有模块化和可复用的优势。

嵌入向量可保存并重复使用，当分类算法或类别体系更新时无需重新计算。而直接LLM提示需为每次分类重复完整推理流程，灵活性较低。嵌入方法还支持不同模型和算法的组合，便于根据具体需求优化。

报告回答的关键问题

如何将网络抓取的产品数据用于通胀预测？

网络抓取数据须先按国际分类标准（如ECOICOP）对产品进行归类，才能构建一致的价格序列。报告提出的嵌入分类方法自动将产品描述转化为高维向量，再通过机器学习匹配到正确类别，从而实现快速、低成本的数据结构化，支撑通胀预测模型。

大语言模型分类产品为何成本高昂？

直接使用LLM（如GPT-5）分类时，每次推理需包含完整的分类手册（约5.6万tokens），对3400万条记录处理时间超200天、成本超65万欧元。而嵌入分类仅需一次嵌入生成（轻量AI运算），后续分类算法（KNN/FFN）计算量极低，总成本不足0.03欧元/千条。

文本嵌入如何实现产品分类？

文本嵌入将产品名称、描述等文本转换为高维数值向量，语义相似的产品在向量空间中距离相近。报告使用OpenAI text-embedding-3-large生成3072维嵌入，然后通过KNN或FFN算法在这些向量上训练分类器，利用邻近样本的标签进行投票预测，准确率达80%左右。

自动分类的误差对通胀分析影响大吗？

分类误差主要在子类（五位码）层面，但在更高层级（如大类）正确率很高（约90%以上）。对于大多数通胀分析，大类级别的分类已足够。但分析特定冲击（如增值税减免）时需子类精度。报告提供了误差分布图，帮助用户根据需求权衡精度与覆盖。

报告中的代表性数据

嵌入+KNN每千条成本<0.030欧元，直接LLM每千条成本22.2欧元

分类方法成本对比

2025年12月，基于ECB每日价格数据集（3400万产品）的测试结果。直接LLM使用GPT-5，嵌入方法使用text-embedding-3-large + KNN。成本包括计算资源和API费用。

嵌入+KNN每千条<8.1秒，直接LLM每千条约500秒

处理时间对比

2025年12月，平均每千条产品的处理时间。直接LLM每次推理需处理5.6万tokens的完整分类手册，导致延迟显著。嵌入方法仅需一次推理生成向量，分类算法极快。

约50%的欧元区CPI支出

CPI覆盖范围

2025年12月，欧洲央行每日价格数据集（DPD）覆盖154个ECOICOP子类（共253个），相当于欧元区-19 CPI权重的50.16%。涵盖超市、电子产品、时尚、家具等线上渠道。

以上数据根据报告摘要整理，具体统计口径和数值请以完整报告原文为准。

完整报告包含什么

  • 详细的数据集描述：包括每日价格数据集（DPD）的采集范围、字段说明（产品ID、名称、描述、店铺类别等）以及34 million产品的规模和特征。
  • 人工标注过程与质量评估：参考集和测试集各3万条产品的人工标注方法、一致性检验（Fleiss Kappa）以及8-10%的估计错误率。
  • 嵌入模型选择实验：对比Text-Embedding-3-Large与3-Small的性能，并给出最终选择3-Large（3072维）的理由。
  • 分类算法细节：KNN超参数调优（k值、距离度量、投票方案）和FFN网络架构（层数、神经元数、正则化）的完整配置与训练过程。
  • 直接LLM提示的挑战与解决：针对食品配送分类语义重叠问题，通过添加“sector”字段指导模型正确划分至11.1.1.2类。
  • 全面性能评估：以五级ECOICOP为基准的准确率热力图、累计CPI覆盖率曲线，以及大类级别混淆矩阵，展示不同方法的分层表现。
  • 成本与时间对比表：嵌入分类器（KNN/FFN）与LLM提示的处理时间、每千条成本，并推算全数据集总耗时与费用。
  • 迭代优化流程详解：人机协作的闭环设计，包括批量选择策略（基于准确率、样本量、CPI权重等）、分批标注与重新分类步骤，以及首轮迭代结果。
  • 结论与下一步工作：强调方法的全球适用性（多语言嵌入模型），并规划构建ECOICOP子类CPI指数以回测官方通胀时间序列。

本页内容由川海智库整理，用于帮助读者快速了解报告主题、核心观点和主要内容。由于报告量大、人工能力有限，部分观点、数据、统计口径或表述可能存在偏差，具体内容请以完整报告原文为准。

相关报告