当银行或保险公司有人提到“数据”时,大家通常会想到大数据、Snowflake,以及历史上基于 Hadoop 的技术栈。这种条件反射可以理解:这些平台在过去十年主导了管理信息、风险分析和监管报告。但对于任何需要在毫秒内响应用户、授权或欺诈引擎的场景,这却是错误的默认选择。将分析型人力和工具与操作型产品需求混为一谈,就会导致下一最佳行动(next-best-action)在会话结束后才出现、欺诈评分在损失发生后才完成,以及应用内交易视图依赖数仓的刷新周期。
这种组织习惯比任何一家供应商的历史都更久。单一“数据平台”成了备受推崇的答案。董事会为数仓、湖仓以及负责运营的团队提供资金。随后产品负责人要求同一个团队提供实时 upsell、cross-sell、余额和面向客户的交易历史,因为幻灯片上写的仍然是“数据”。在这里,“各司其职”不是一句口号,而是唯一能匹配业务实际运作方式的架构。
用分析型团队处理操作型工作的代价
分析型人员带来的是分析型的 SLA 和分析型技术。他们接受的训练是协调、整理数据,并在审计下捍卫数据的正确性。这些技能对于年终报告、压力测试和深度风险分析至关重要。但对于以决策延迟作为成功衡量标准的产品 backlog 来说,这些技能并不合适。结果就是将批处理思维应用于实时问题:把隔夜或每小时的管道包装成“近实时”,特征存储按无法满足授权窗口的节奏刷新,以及客户旅程必须等到数仓说数据已准备好才能继续。
即使账本上没有名为“用了错误存储”的单行记录,商业损失也是实实在在的。无法看到最近几次交互的下一最佳行动只是表演。结算后才完成的欺诈评分是事后取证,而不是预防。那些发表过关于信用卡和即时支付流程文章的从业者通常描述,机构级评分预算大约在从数据丰富到规则、模型再到决策的 50 到 100 毫秒内;信用卡授权有效窗口通常被引用为低数百毫秒。请将这些范围视为行业指导而非单一监管标准,但不要假装以分钟或小时为单位的数仓刷新周期能满足这些要求。与此同时,分析型团队仍然按管道完整性、数据集市覆盖率和查询成本来衡量。每个人都很忙,但客户仍在等待。
人员配置让这种错配变得永久化。以 Snowflake 为中心的团队会优先考虑整理后的模型、治理和适合扫描的工作负载。要求该团队负责客户 API,你就会在操作型问题上得到分析型模式:更多的中介层、更多最终一致性的借口,以及更多“我们先把它落地到数仓里”的说法。代价不仅仅是计算资源,更是产品速度被消耗在解释为什么热路径不能等待冷路径的日程安排上。
两类工作,两种数据形态

分析型数据工作是经过整理、协调且数学密集型的。正确性胜过速度。数据集经过准备,以便管理信息、监管报表、精算深度分析和长期风险分析可以被信任。延迟以分钟、小时或隔夜运行来衡量。模式纪律、血缘关系和审计证据比同一请求中 read-your-writes 更重要。
操作型数据工作则不同。反馈循环很短。延迟很低。路径是用户交互式的。工作负载通常是写密集型,或要求在应用程序旁实现 read-your-writes:刚刚更新的余额、刚刚接受的报价、刚刚做出的欺诈决策。一致性模型、索引和并发行为必须服务于应用和决策服务,而不是 BI 仪表盘。将这两者都称为“数据”在英语中是准确的,但在架构上却是灾难性的。
银行和保险公司需要这两种形态。错误在于因为预算线标签相同,就将它们合并到一个平台和一个团队中。分析型卓越并不能赋予操作型延迟能力。操作型存储也不能取代用于深度分析的整理型数仓。假装两者可以互换,就是项目花费数年用正确的人构建错误事物的原因。
为什么数仓不是热路径的正确工具
Snowflake 及其同类产品在数据集经过整理且问题可以等待时表现出色。列式存储、微分区和面向扫描的查询引擎专为大型分析读取和弹性数仓而构建,这些数仓可以将 BI 和风险工作负载相互隔离。这是一项真正的优势。通过主键进行点查找、高频小事务以及最后一次写入的即时可见性,并非标准数仓表设计时要很好地完成的工作。仓库与通用操作型数据库的独立比较仍然显示出熟悉的分工:数仓主导大型聚合;操作型数据库主导单行读取、更新和高并发事务流量。
Snowflake 通过其 Unistore 计划推出了 Hybrid Tables,旨在提供较低延迟的面向行的访问,同时支持分析查询。这为 Snowflake 生态内的一些混合工作负载填补了真实空白。但这并没有让数仓成为高并发客户 API 或必须在授权预算内完成的欺诈路径的默认家园。Snowflake 自己的文档将混合表描述为标准表的补充,而不是在持续 OLTP 式负载下对专用操作型数据库的全面替代。公正的解读是:在需要整理分析的地方使用 Snowflake。不要将其作为实时 upsell、cross-sell、会话中交易视图和实时欺诈评分的交互系统来配置人员。
基于 Hadoop 的技术栈更早地传授了同样的教训。面向批处理的处理和 HDFS 时代的重力对于廉价存储和离线作业非常出色。但对于移动应用或支付授权必须等待的任何事情来说,它们都是糟糕的选择。用云数仓替换 Hadoop 改进了分析那一半,但并没有授权数仓来拥有热路径。
为什么是现在:范式已经分裂
流式处理已成为常态。产品团队交付的功能假设状态是新鲜的。客户期望余额、状态和报价反映刚刚发生的事情,而不是昨晚加载作业能够协调的内容。即时支付、开放银行式旅程和始终在线的数字渠道,使得当数仓形态的刷新被强行用于操作型服务时,它就变成了产品负债。
为两类工作保留单一“数据平台”是组织怀旧,而不是架构。行业已经将事件总线、变更数据捕获管道和多个消费者组作为标准实践运行。这种范式分裂在每一个成熟的系统中都可见,它们将相同的业务事件分发到分析平面和操作平面。落后的是治理语言:战略幻灯片仍在谈论单一数据平台,而流量图显示的是具有不兼容 SLA 的两类工作。明确命名这种分裂,人员配置的讨论就会变得更容易。拒绝命名它,每一个举措都会变成另一张数仓工单。
一种务实的模式:一个流,两个存储
可行的模式很简单。领域事件(或来自记录系统的 CDC)进入 Kafka 或等效的事件总线。单独的消费者组将这些事件分发到分析存储和操作存储。数仓接收经过整理、转换和协调的馈送,用于管理信息、深度风险分析和监管报告。操作存储接收应用和决策服务所需的投影,以实现低延迟读写。各司其职:在数仓适合的地方进行深度分析;在 MongoDB(或类似的操作型数据库)中处理应用和决策所在的位置。
Kafka 的消费者组模型使分发成为一项一流属性,而不是英雄式的集成。每个下游系统跟踪自己的偏移量,并以自己的节奏处理。分析消费者可以承担更多转换和更慢的物化。操作消费者需要严格的滞后预算和基于业务标识符的幂等 upsert。避免从应用天真地双写到两个存储而没有协调模式;Confluent 等公司已详细记录了双写失败模式。优先在源头进行单次原子写入(事务型 outbox 或来自记录系统的 CDC),并从流中派生两个平面。
MongoDB 是本文中具体的操作型示例,因为文档模型、二级索引和变更流可以干净地映射到客户画像、会话状态、报价资格、交易历史视图和事件驱动的欺诈丰富。MongoDB 自己的金融犯罪参考架构描述了变更流在近实时更新风险模型和筛选路径,以便决策不必等待批处理刷新。该模式可以泛化:当延迟、访问模式和团队技能匹配时,其他操作型存储可以扮演相同角色。不要通过将本文变成产品对比来稀释要点。主张的是双路径架构,而不是供应商垄断。
谁拥有什么
分析型团队拥有模型、数据集市和监管报告。他们拥有整理数据集的质量标准、协调纪律以及审计员期望的证据链。产品和操作型工程拥有低延迟路径:API、决策服务、操作型模式以及紧邻客户的 SLA。平台工程可能运行共享的事件总线,但结果的所有权必须跟随工作本身。
停止让 Snowflake 团队去构建客户 API。停止仅通过管道是否“完成”来衡量操作型功能。给分析型领导明确的职责范围,停止要求他们假装自己是产品延迟的所有者。给产品工程操作型存储和延迟预算,停止强迫每个状态变更都通过数仓形态的项目办公室。共享的事件契约和模式治理属于中间层。将两类工作放在一个“首席数据”戏码下却不拆分问责的扁平组织架构,只会用更漂亮的头衔重现最初的失败模式。
对银行和保险公司来说,“好”是什么样子
具体的配对胜过抽象的成熟度模型。数仓用于管理信息、精算和深度风险分析、压力和情景工作以及需要正确性和血缘关系占主导的监管报表。操作型数据库用于下一最佳行动、实时欺诈评分、余额、限额、权限和应用内历史,这些场景中用户或授权无法等待。每条路径都有明确的 SLA:一边是数仓的刷新和完整性目标;另一边是端到端决策延迟、p99 读取延迟和写入可见性。
治理应该反映这种分裂。访问控制、保留和属地要求对两个平面都适用,但变更窗口不同。分析型数据集市可以遵循整理后的发布列车。操作型投影需要持续的、幂等的更新,并为模型变更提供回滚和影子评分路径。欺诈和 NBA 团队应该能够在不等待数仓发布日历的情况下发布规则或模型更新,而分析型风险团队保留那些模型后续将被评估的整理历史。“好”看起来像是由一条事件主干供应的两条负责路径,而不是一个 overloaded 平台带着相互矛盾的 KPI。
立即可采取的下一步
在任何“数据”举措获得预算之前,将其明确命名为操作型或分析型。如果它必须在会话内或授权窗口内响应客户或风险引擎,那就是操作型的。如果它必须经过整理、协调,并且在深度分析或监管报表下可辩护,那就是分析型的。首先要挑战那些声称两者兼具却没有双架构的模糊项目。
停止在数仓上开发新的热路径功能。现有的妥协方案可以按计划逐步淘汰;新的方案应要求提供明确的延迟 SLA,且数仓路径必须能够 demonstrably 满足。建立来自事件总线的双分发:一条消费者路径进入分析型系统,另一条进入 MongoDB 或选定的操作型存储,并将滞后和幂等性作为一流控制项进行监控。衡量 NBA 和欺诈的决策延迟,而不仅仅是管道完整性和数据集市覆盖率。调整人力配置:分析型团队负责整理工作,产品和操作型工程负责热路径。
坚持为每一个标为“数据”的问题提供单一数仓形态的答案,已不再是安全的选项。流式处理已经分裂了范式。那些将 Snowflake 放在需要整理和深度的位置、将 MongoDB(或等效技术)放在客户和决策所在位置的银行和保险公司,将停止用分析型人力去失败操作型 SLA。那些继续用一个团队和一个存储处理两类工作的机构,将继续在损失发生后和会话被放弃后发现,数仓回答了一个客户从未提出的问题。