Data Pipeline Trade To Report
· · ·
题目进度 0 / 0 ✓ 0
ODTS-70: 数据管道——从交易录入到监管报送的全链路
目标读者:需要画出”一笔交易从成交到变成监管报表,中间经过哪些系统、哪些环节会断”的 BA/PM
核心论点:OTC 系统的真正难度不在”算价格”,而在”数据从 A 流到 Z 不出错”。每一个环节都是一次复制 + 转换,每复制一次就多一个出错点。本文按真实系统链(基于 03/19/53/57/61 文档)走一遍。
1. 全链路全景
① 交易录入 (trade capture) eds-web-app / 终端
↓ (簿记 booking)
② 交易库 (trade store) Oracle: EDS_TRADE / 各类交易表
↓ (EOD 批处理读取)
③ 估值 (pricing) 定价引擎 (见 69) → MTM / greeks
↓
④ 风险聚合 (risk aggregation) hedging-as → 敞口 / IM-VM (见 66/67)
↓ (结果写回)
⑤ 保证金/抵押品 (margin/collat) JUMS 追缴通知 + IPMP 收款 + Collateral 入账
↓
⑥ 监管报送 (regulatory report) sac-report (见 38) → 外汇/利率/信用衍生品报表 → 监管平台
↓
⑦ 对账 (reconciliation) 系统头寸 vs 对手方对账单 (手工→2022 自动化)
每条箭头都是一次”系统边界跨越”。边界越多,①数据格式转换 ②网络抖动 ③时序错位 的风险越高。
2. 七个环节,七个最容易断的点
① 交易录入 → 交易库
- 断点:录入员手输字段错(行权价多一位小数、币种选反)。
- 后果:错的交易进了库,后面全错。这是 10 文档”5 层字段链”的起点。
- 对照:FX Forward 交割指令 (见 68) 在这步录错 = 钱打错账户。
② 交易库 → EOD 批处理
- 断点:批处理窗口不够(结构化产品蒙特卡洛太慢,见 18/67)。
- 后果:第二天开盘估值还没算完 → 交易暂停 → 时间成本。
③ 定价 → 风险聚合
- 断点:vol surface / 曲线 ETL 断供(见 10/68)。
- 后果:期权估不出、IRS 全盘错。一个上游断 = 下游全瘫。
④ 风险 → 保证金
- 断点:IM/VM 参数与 CSA 不一致(见 66)。
- 后果:少收 = 敞口暴露,多收 = 客户流失。
⑤ 保证金 → 抵押品
- 断点:JUMS 追缴通知发了但客户没收到(Email 丢、SMS 网关堵,见 03 文档 3 个月手工追缴)。
- 后果:该收的抵押品没到账 = 违约时拿不回钱。
- 对照:IPMP 收款 (见 53) 与 Collateral 入账 (见 61) 任一步对账不上 = 抵押品”账上有、实际没到”。
⑥ 风险 → 监管报送
- 断点:sac-report 从交易库抽数时,抽取逻辑和监管口径不一致。
- 后果:报表数字和监管预期对不上 → 监管质询 / 罚款。这是 19 文档讲的核心:报送是”不可协商的输出”。
- 真实代价(基于 38 文档):sac-report 从 2020-11 起独立成服务,正是为了把”报送抽数”和”业务库”解耦——业务库天天改,报送口径不能天天变。
⑦ 全链路 → 对账
- 断点:系统算的 vs 对手方给的,永远有微小差异(时区、四舍五入、估值方法)。
- 后果:不人工核对 = 差异累积成大事。2022 年前这是手工活(见 03),现在部分自动化,但争议处理仍要人(见 26)。
3. 一条数据管道失败的代价估算
假设 FX Forward 交割日的场景:
- ② 批处理没跑完 → ③ 汇率没更新 → ⑥ 报送的汇率用了昨天的 → 监管报表数字错 → 监管质询 + 内部排查 3 天 × 5 人。
- 同时 ① 交割指令币种录反 → ⑦ 对账发现时钱已打错账户 → 跨行退款 + 汇率损失 + 运营事故记录。
这串连锁就是 52 文档”17 系统失败爆炸半径矩阵”的一个具体实例:一个源头错误,沿管道放大 7 倍。
4. PM/BA 的管道设计原则
- 每个边界都要有”对不上了怎么办”(对账/校验),不是”相信上游永远对”。
- 上游断供要有降级方案:vol surface 断了,是暂停交易还是用上一日值?要提前定(见 18 文档 EOD 设计)。
- 报送口径要”冻结”:业务库可以天天变,报送抽取逻辑改动要走变更流程(见 19/38)。
- 可追踪:每一笔数据从哪来、被谁改过,要能回溯(审计需求,见 19)。
一句话总结: OTC 系统的可靠性 = 数据管道每一跳都不丢、不错、不慢。BA 画架构图(见 25)时,箭头比方框更重要——箭头是风险,方框是成本。