高效融合结构化与非结构化数据——大模型智能分析 Agent 推动经营分析与洞察的创新突破

分享嘉宾｜岑润哲 数势科技 数据智能产品总经理 

出品社区｜DataFun

01

大模型时代的智能数据分析背景：LLM 如何推动数据分析的普及

• 管理者/业务人员通过 LLM+Agent 架构直接使用数据，降低门槛。

• 语义层提供标准化数据表示，帮助非技术用户理解和利用数据。

• LLM+Agent 架构理解自然语言查询，自动执行分析任务。

• 数据语义层定义数据的业务含义，使其更易理解和操作。

• 整合客户旅程数据，提供全面客户体验视图。

• 智能分析工具便于非专业用户分析数据。

• 数据治理确保数据质量和一致性。

02

痛点与解决思路：如何结合 LLM 与 Semantic Layer 助力数据获取、数据分析与数据洞察

1. 常见痛点

2. 针对数据提取的解决方案

虽然自然语言处理和 NL2SQL 可以部分解决数据提取问题，但在企业级分析中，由于数据量大、复杂性高和安全性要求，这些方法常难以提供准确结果。此外，即使 SQL 查询语句正确，面对百亿级数据量时查询也可能无法及时完成。因此，需要探索更先进的解决方案，如结合大模型和数据语义层来优化数据提取过程。上图展示了一种基于大型语言模型（LLM）的自然语言到 SQL（NL2SQL）转换方法，旨在通过对话式查询简化数据提取，降低对专业 SQL 知识的依赖。

标准 NL2SQL 方案：

• 用户通过对话式界面提出数据查询请求，大语言模型理解查询意图并将其转换为结构化查询任务。数仓语义层将该任务映射到数据库，生成相应的 SQL 语句。通过 SQL 服务执行该语句，查询企业数据中台，并将结果反馈给用户。

NL2SQL 方案技术挑战与痛点：

• 准确率低：企业级应用中的数据查询准确率通常仅为 60-70%，即使先进的 GPT 模型也难以实现可用的准确效果。

• 成本高：大模型需进行预训练以理解企业数据，庞大的数据源会导致高昂的学习成本，包括增量预训练和长窗口处理。

• 性能差：大模型生成的 SQL 可能未优化，导致查询效率低下，尤其在多表关联查询时，可能引发服务异常。

• 数据安全风险：直接使用大模型查询数据可能缺乏必要的权限管控，增加隐私泄露和安全风险。

• 能力单一：大模型在处理高级分析问题时受限，往往依赖底层数据库引擎的特定能力，而非 SQL 语句本身。

• 数据集成：连接各类数据源，提供全面的数据基础。

• 数据准备：清洗、转换和标准化数据，确保数据质量。

• 虚拟化：通过低代码构建指标虚拟化，用户可视化定义数据指标。

• 多维计算引擎：支持复杂多维 OLAP 计算，满足不同业务场景需求。

• 性能优化：平衡效果与成本，确保高效性和经济性。

• 数据安全与权限管控：实施数据安全策略和权限管理，保护数据隐私。

• 消费集成：提供 API 或数据推送能力，便于与不同应用和服务集成。

• 预设数据指标的定义与管理，确保一致性和准确性，避免业务理解偏差。

• 采用思维链分析和歧义反问技术，提升查询泛化性，减少从文本到 SQL 的误差。

• 自研数据查询加速引擎，智能优化查询语句，实现 Top95 查询的秒级响应。

• 确保在高负载情况下系统稳定运行。

• 提供一站式定义、自动开发和管理指标语义的解决方案，降低用户学习成本。

• 全流程白盒设计，允许企业客户用业务语言描述查询，便于快速理解和排查。

• 利用指标权限管理，精细化控制数据与指标的权限，确保查询安全性和可控性。

• 处理高级数据分析问题，通过精准指标关联与展示，实现单项查询、报表展示和总结报告生成。

• 用户界面：交互式数据查询界面。

• 大模型能力：意图理解和任务规划，将需求转化为数据查询任务。

• Agent规划层：将用户需求转化为具体的数据查询操作。

• 指标语义层：定义和管理数据指标，提供查询的语义基础。

• 数据平台：存储和管理复杂数据的企业级平台。

• 数据层：执行数据查询并提供结果。

• 任务难度：非常高。

• 难点：枚举值转换、同环比计算、多维归因、报告解读。

• NL to SQL：难以实现，需要复杂 SQL 处理。

• NL to Semantics：可实现且易理解，语义层提供清晰的归因分析和报告解读。

• 请求数量：最高
• 描述：基础数据查询和事务型查询。
• 示例：查询特定时间的数据，如“今年 10 月不同网点的有效户数”。

• 特点：直接、具体，用于回答基本数据问题。

• 请求数量：低于事实层

• 描述：进行数据统计分析，如同比和环比。

• 示例：分析“今年 10 月不同网点的有效户数及月环比”。

• 特点：初步分析，帮助理解数据趋势和模式。

• 请求数量：低于洞察层

• 描述：洞察归因、异常和趋势分析。

• 示例：分析“今年 9 月到 10 月的有效户数变化”。

• 特点：深入分析，揭示数据变化的原因和影响。

• 请求数量：最低

• 描述：核心指标复盘与高级决策支持。

• 示例：“对今年 10 月份进行业绩复盘”。

• 特点：提供深入分析和基于数据的决策建议。

• 目标（Goal）：定义数据分析的最终目标。

• 专家雇佣（Expert Recruitment）：根据目标雇佣不同领域的专家，确保分析全面。

• 协同决策（Collaborative Decision-Making）：专家协作解决复杂问题。

• 动作执行（Action Execution）：执行具体分析动作。

• 结果评估（Evaluation）：评估分析结果，确保符合用户需求和业务逻辑。

• 正负反馈（Reward Feedback）：提供反馈以优化分析过程。

• 结果（Outcome）：输出最终分析报告，包括数据、逻辑和业务洞察。

3. 针对数据洞察的解决方案

• 结构化信息：包括指标、时间、维度等，这些是数据分析的基础。

• 半结构化信息：涉及指标血缘和指标树结构，这些信息有助于理解数据的来源和关系。

• 非结构化信息：涵盖报告结构、策略文档、SOP 手册、操作手册、行业话术和系统链接等，这些信息为数据提供了业务背景和上下文。

• 丰富的算子库：包括描述性统计、占比分析、趋势分析、相关性分析、异常分析、排名分析以及最优可视化选择路径等，这些算子用于对数据进行各种分析和处理。

• 行业化的 Prompt 设计：涉及角色设计、技能设计和 Few Shot 学习，这些设计有助于定制化地解决特定行业的问题。

大模型与小模型在数据分析中各有优势：大模型擅长归纳总结，小模型精于统计计算。结合两者能提高分析效率。例如，在客户订单量分析中，传统方法需 4 小时手动提取数据和编写报告，而新方法利用大模型调度小模型进行数据处理，提升了效率并确保报告的准确性和深度。输出的可视化图表和详细分析由两者共同完成，结合企业知识库和 SOP，生成更具业务洞察力的报告。通过协同工作，小模型确保统计准确性，大模型提供深入洞察，使数据分析报告更全面、实用，助力企业决策。

03

成功案例：某头部金融机构智能分析助手落地案例

• 数据分析场景（应用）

  企业经营分析：对银行的经营状况进行深入分析。

  企业营销复盘：评估和分析营销活动的效果。

  业务团队日常用数：支持业务团队在日常工作中使用数据进行决策。

• 理财产品销售分析：
  理财经理通过自然语言查询，了解上个月销售额最高的理财产品，以便优化产品推荐策略。
• 信用卡业务分析：
  系统通过自然语言交互，分析信用卡逾期率最高的客户群体特征，帮助银行采取针对性措施降低风险。
• 客户行为分析：
  运营团队通过自然语言查询，分析客户流失率与服务质量、产品竞争力等因素的关系，为银行改进服务提供依据。
• 分支行业绩对比：
  领导通过自然语言取数与报告生成，比较各分行的贷款业务总量，为业务指导提供参考。
• 风险评估：
  在评估贷款风险时，系统通过智能归因分析，找出贷款违约集中的行业领域，为信贷政策调整和风险管理提供依据。
• 财务分析：
  财务部门通过智能归因和自动报告生成，计算各项业务对利润的贡献比例，帮助进行成本控制和利润优化。

• 自然语言处理：通过自然语言指标取数，快速准确地获取相关数据。

• 智能归因分析：帮助找出业务发展中的关键因素和问题所在。

• 自动报告生成：以直观的方式呈现分析结果，支持决策制定、风险管理和业务优化。

• 提高运营效率：通过自动化和智能化工具，减少人工分析的时间和精力。

• 增强决策支持：提供更准确、及时的数据洞察，辅助决策。

• 统一管理：通过统一的指标管理和语义构建，提高数据的一致性和可复用性。

• 准确：通过 NL2Semantics 技术，SwiftAgent 将自然语言与业务术语和数据模型语义连接，建立标准化指标语义层，实现精准的数据提取。

• 友好：提供用户友好的交互体验，通过反问和引导帮助用户明确查询意图，使非专业人员也能逐步构建专业的数据分析查询。

• 敏捷：基于 Agent 架构，结合大模型的思维链和 ReAct 架构，SwiftAgent 能有效拆解复杂问题，快速响应并提供精确分析结果。

• 安全：重视数据安全，实施严格的安全保障措施，通过精细的权限管控，确保数据访问和操作的安全性，满足金融机构的合规要求。

综合这些优势，SwiftAgent 为金融等行业提供高效、易用且安全的智能分析解决方案，支持复杂的数据分析需求，帮助用户提取有价值的洞察，同时确保数据的安全和合规性，降低分析门槛，让更多非技术背景的用户参与数据分析。

04

技术总结与未来展望

1. 技术总结

2. 未来展望

• 指标异动推送：监测关键指标，如“对公贷款余额”，异常波动时立即通知领导，促使关注问题。

• 多维度分析：从多角度分析数据，揭示贷款余额变化趋势。

• 归因分析：分析异常趋势，识别贷款余额下降最多的分行和客户类型，帮助理解驱动因素。

• 结论输出：自动生成总结报告，将复杂数据转化为易懂信息，支持决策。

• 异动预警：通过阈值或机器学习识别异常模式。

• 多维分析：利用数据仓库和 OLAP 技术进行切片分析。

• 归因分析：应用统计和数据挖掘技术识别关键因素。

• 数据解读与报告：结合自然语言处理和生成技术，将分析结果转换为业务语言的报告。

分享嘉宾

INTRODUCTION

岑润哲

数势科技

数据智能产品总经理

岑润哲，现任数势科技数据智能产品总经理，前头部互联网公司资深量化运营负责人，多年零售与金融行业数据挖掘与用户运营策略设计经验，曾为多家大型企业搭建从目标设定、数据诊断、策略设计到优化复盘的全链路数字化运营平台。

点个在看你最好看

SPRING HAS ARRIVED