数据源挂了怎么办:一套投资数据系统的容灾设计
真正的稳定,不是永远不出错,而是出错之后仍有路可走。前面几篇,我们讨论了投资速递如何组织信息、如何观察资金流,以及如何把上市公司公告变成结构化数据。


真正的稳定,不是永远不出错,而是出错之后仍有路可走。
前面几篇,我们讨论了投资速递如何组织信息、如何观察资金流,以及如何把上市公司公告变成结构化数据。但这些能力都有一个前提:数据得先拿得到。
假设到了更新时段,资金流接口迟迟没有响应,期指持仓返回空表,一份重要公告又下载失败。此时,系统是继续等待、让页面空着,还是换一条路径?如果只能显示历史数据,读者能否看出它与最新结果的区别?
这就是容灾设计要回答的问题。它不是保证外部数据源永远正常,而是在出现异常时,明确下一步如何处理。本文沿着《每日投资速递—模块数据源汇总表 v3.9》的设计,看看主源、备源、缓存、告警和回补如何相互配合。

“接口失败了就换一个”,听起来很简单。真正落到系统里,首先要回答:怎样才算失败?
原方案给出了统一触发条件:主接口超时超过5秒,或者连续3次出现 HTTP 5xx 服务端错误,就进入切换流程;主备切换延迟的总体目标是小于30秒。同时,各模块允许设置特殊阈值。
例如,资金流和期指持仓模块都把“超过10秒仍未响应”或“返回空数据”列为切换条件;上市公司公告又有“连续两次返回空”的规则。不同数据项并没有被强行塞进同一套等待时间。
从这些规则可以看出,系统不仅要识别报错,也要识别“没有拿到可用结果”。能连上接口,不等于已经完成采集。
这里的秒数是方案中的配置与目标,不是已经证明的线上成绩。容灾设计要把触发条件写清楚,也要把性能目标与实际运行效果分开。
二、主源、备源、缓存,承担的是不同任务在原方案的分层设计里,主来源负责日常采集,备份来源1优先接替,备份来源2承担后续兜底;外部链路全部失败后,再尝试使用缓存。它们不是四份可以随意互换的“同样数据”。
以资金流模块为例,主源是 AKShare;备1包含东方财富直连接口、新浪财经资金流向,以及用于历史趋势的 MySQL 历史库;备2列为 Tushare Pro。不同来源对应不同子功能,并不是每个来源都能替代整个模块。
这点很重要:能补全市场资金流,不代表能直接补齐二级行业榜单;能提供历史趋势,也不代表拿到了当日更新。切换路线必须围绕具体数据项,而不是只围绕平台名称设计。
原方案还把需要 Token、Key 或授权的数据源放在最低备份层。这是该项目的来源优先级选择,不是在断言免费源一定优于付费源。
因此,容灾的重点不是“准备了多少个接口”,而是每个接口失效后,谁能接替什么,最后还能保留什么。
主来源→ 备份来源1 → 备份来源2 → 缓存降级
这是分层思路;具体路径仍按各模块的规则执行。

期指持仓模块提供了一个很有代表性的例子:主源通过 AKShare 获取数据,备1则直接下载中金所 CSV 文件。看上去,这是两条不同的采集路径。
但原文明确提醒,它们都依赖中金所这一上游。如果只是某个获取入口出现问题,备用入口可能有用;如果中金所整站故障,换成 CSV 下载,也没有离开同一个故障源。
所以,方案专门规定:遇到中金所整站故障时,跳过备1,直接进入备2。这不是机械地从第一个接口试到最后一个,而是根据故障发生的位置改变路线。
可以把它理解成:一栋楼有两扇门,不代表楼停电后,换一扇门进去就能恢复照明。入口不同,与上游独立,是两回事。
这条规则也不保证备2一定成功。它解决的是避免重复等待同一故障,而不是把不确定性彻底消除。真正值得检查的,是备份路径背后究竟还依赖谁。

如果所有外部来源都失败,系统还能怎么办?在资金流和期指模块中,原方案保留了 MySQL 历史数据兜底,并要求设置 is_degraded=true、在前端显示红色“缓存”角标,同时触发运营告警。
这套安排把两个问题分开了:一是页面能否继续提供已有信息,二是用户是否知道这些信息处于降级状态。继续展示历史记录,不等于成功拿到了当天的数据。
例如,近20个交易日的趋势图仍可能保留观察价值,但缺失的当日记录不会因为调用了缓存就自动出现。缓存能够返回什么,取决于系统此前真正保存了什么。
同样的原则也体现在公告解析中:某个字段匹配失败,原方案要求记录缺失项、显示“—”,并继续提取其他字段;关键字段缺失时,再尝试从备源补取。
这里的取舍很明确:保留有依据的部分,标明缺失和降级,不把“没有拿到”包装成“已经更新”。可靠性不仅体现在系统还能运行,也体现在它能诚实说明结果的边界。
异常场景与处理边界
异常场景
原方案中的处理
阅读结果时的边界
超时或连续服务端错误
按各模块阈值切入备源
接替是否成功,要看实际结果
期指上游整站故障
跳过同上游 CSV 备1
换入口不能绕开同一上游故障
外部全链路失败
历史缓存、降级标记和告警
缓存不等于当日更新
公告单字段缺失
显示“—”,继续提取其他字段
缺失值不能当作已取得的数据
依据:原文统一原则、资金流、期指及PDF异常处理规则。

还有一种问题,比接口直接报错更容易被忽略:请求完成了,但数据只回来一部分。
原文记录了2026年8月21日的一次资金流接口实测:即使把每页数量设成500,接口实际仍只返回100条,需要分页才能拉全。当次记录为496个混合板块,经白名单过滤后保留128个二级行业,并设置了128±10%的命中数量告警线。
这些数字是原文所记载的实测结果,不是对今天接口返回数量的断言。这个案例真正说明的是:任务显示成功,并不能替代完整性检查。
期指模块还有另一道检查:原始排名表包含官方合计行,计算时要先排除这行,再用它做交叉校验,否则可能发生重复计数。
换句话说,容灾不只是“断了就换源”。当结果缺失、数量异常或计算不一致时,系统也需要留下可发现、可核查的痕迹。否则,页面虽然没有停,输出的信息却未必可用。
六、一次降级之后,还要安排后续重试与回补显示“缓存”不是任务的终点。期指模块在原方案中安排了明确时序:16:40主采集,17:10重试,17:20信号计算,次日07:00回补;其 Redis 缓存有效期设置到次交易日12:00。
这段安排表明,首次采集、异常后的再次尝试,以及后续补齐缺失记录,是不同的工作。一次失败不应被当成“这一天已经处理完”。
资金流模块则安排在15:05采集,Redis 缓存有效期到次日09:00。两个模块采用了不同节奏,不能因为都叫“每日更新”,就共用一张调度时间表。
需要注意,原始汇总表列出了重试和回补时间,但没有展开完整的恢复验收流程。因此,本文不会把“到了下一次重试时间”写成“已经自动恢复成功”,也不会把计划中的信号计算当成一定具备有效输入。
把重试安排好,是设计的一部分;重试是否拿到数据、缺口是否真正补齐,仍要由实际结果证明。

一份投资速递的可靠性,不只取决于正常时能展示多少内容,还取决于异常时能否说清楚:为什么切换、下一层接替什么、哪些数据来自缓存、哪些字段仍然缺失,以及后续如何继续尝试。
主备切换、同上游识别、缓存标记、质量告警和定时回补,组合起来,才构成这份方案里的容灾思路。它不是“永远不断更”的承诺,而是一套面对失败时的处理安排。
对用户而言,真正值得信任的不是一张永远显得正常的页面,而是一套能够继续提供有依据的信息,并且不掩盖自身边界的系统。
真正的可靠,不是掩盖失败,而是让失败有清楚的去向。
本文基于项目设计文档介绍数据处理机制,不代表相关能力均已上线或完成故障演练,不构成投资建议。




