reference-data

参考数据

核心概念

1. 证券主数据

证券主数据是权威的工具级参考数据存储库，是投资组合管理、交易、业绩、报告和合规系统的基础。

**核心字段：**标识符（CUSIP、ISIN、SEDOL、FIGI、股票代码、内部 ID）、分类（资产类别、子类别、GICS 行业、国家/地区、货币）、发行方信息（名称、LEI、评级）、条款与条件（特定于资产类别的合同属性）以及定价因子（乘数、日计数惯例、结算惯例）。

**特定于资产类别的属性：**股票（流通股数、市值、行业、交易所、股息频率）。固定收益（票息、到期日、赎回安排、信用评级、受偿顺序、日计数惯例）。基金（NAV、费用率、份额类别、分配频率、申购费结构）。ETF（NAV、指示性价值、费用率、标的指数）。期权（标的资产、行权价、到期日、类型、乘数、行权方式）。另类投资（策略类型、设立年份、承诺资本、资本催缴安排、估值频率）。

**证券生命周期事件：**IPO/上市（创建包含所有必需字段的新记录）、公司行动（拆股、合并、分拆、名称/股票代码/交易所变更——这是造成证券主数据质量问题的最大单一来源），以及退市/到期（标记为非活跃，并保留历史记录以用于业绩分析和审计）。

**指定黄金数据源：**证券主数据应作为公司的证券工具参考数据黄金数据源。所有下游系统都应从中获取证券属性，而不是维护独立副本。

2. 标识符体系

金融工具具有多个相互重叠的标识符，没有一种方案能够普遍满足所有需求。

• CUSIP — 9 个字符（6 位发行方 + 2 位发行证券 + 1 位校验数字），适用于美国/加拿大证券，由 CUSIP Global Services（FactSet）管理。基本条款变更时（合并、重组）会发生变化。
• ISIN — 12 个字符（2 位国家代码 + 9 位国家级 ID + 1 位校验数字），符合 ISO 6166，全球唯一。MiFID II、EMIR 报告均要求使用。它包含国家级标识符（美国为 CUSIP，英国为 SEDOL）。
• SEDOL — 7 个字符，由伦敦证券交易所分配给 LSE 及英国/爱尔兰上市证券。同一证券在不同上市交易所可能对应不同的 SEDOL。
• FIGI — 12 个字符，由 Bloomberg 根据 OMG 标准开发。开源且可免费使用（与 CUSIP/SEDOL 不同）。它区分工具级、综合级和交易所级标识符。
• 股票代码 — 由交易所分配，不具备全球唯一性，且经常变更。切勿将其用作主标识符；仅用于显示或交易便利。
• 内部标识符 — 由公司生成（UUID 或顺序整数），在证券存续期间不可变。它是关联所有外部标识符的稳定键。

**标识符映射：**证券主数据必须维护交叉引用表，为每种证券关联所有标识符。相关挑战包括一对多关系（一个 ISIN 对应多个 SEDOL）、公司行动导致的时间性变更（使用带版本的映射进行时点查询），以及需要解决冲突的供应商数据差异。

3. 客户主数据

客户主数据是客户级参考数据的权威存储库，为客户 onboarding、账户管理、KYC/AML 合规、报告和客户关系管理提供支持。

**数据模型：**个人（法定姓名、出生日期、SSN/TIN、地址、电话、电子邮箱、国籍、就业情况）。实体（法定名称、EIN、成立州/国家、实体类型、成立日期）。信托（信托名称、类型、委托人、受托人、受益人、管辖法律）。

**身份管理：**无论客户持有多少账户或担任多少角色，每位客户都必须拥有一个唯一标识符。去重对监管报告、家庭账单、跨账户合规（洗售）和统一服务至关重要。

**家庭及关系：**家庭分组将相关客户关联起来，用于账单、报告和规划。关系类型包括配偶、父母/子女、受托人/受益人、授权签字人、可信联系人。顾问分配（主要、次要、服务团队）也在此跟踪。

**KYC/AML 数据：**验证状态、方式、风险评级、PEP 状态、OFAC 筛查结果、受益所有权（实体）、资金/财富来源、EDD 标记。

**客户偏好：**沟通渠道、对账单寄送方式、语言、投资偏好（ESG 排除项、行业限制）、税务批次方法偏好。

**黄金数据源：**CRM 通常是关系及顾问服务数据的黄金数据源；托管机构是监管身份数据（法定姓名、SSN、登记地址）的黄金数据源。客户主数据整合两者并确保同步。

4. 账户主数据

账户主数据存储每个客户账户的属性和配置，将账户关联到客户，并驱动交易、账单、报告和合规工作。

**属性：**登记类型（个人、联名、信托、IRA、Roth、SEP、401(k)、公司、遗产、UGMA/UTMA）、账户类型（顾问服务、经纪、综合收费、退休、教育、慈善）、税务状态（应税、递延纳税、免税）、托管机构、顾问、模型分配、功能（保证金、期权级别、DRIP、成本基础方法）。

**账户与客户关系：**所有者、授权方（POA、交易授权）、受益人、受托人、托管人（针对 UGMA/UTMA）。

**状态管理：**活跃、受限（监管冻结、死亡通知、法律纠纷）、已关闭（按照账簿和记录要求保留历史数据）、不活跃（可能涉及财产充公/无人认领财产）。

**跨系统标识：**托管账户编号、PMS 账户 ID、CRM 账户 ID 和账单账户 ID 可能各不相同。账户主数据维护这些映射，并提供一个规范的内部 ID 作为跨系统键。

5. 定价数据

定价是时效性要求最高的参考数据类别。错误的价格会立即影响估值、业绩、计费和合规。

日终定价： 官方交易所收盘价（美国股票为美东时间下午 4:00）、共同基金净值（美东时间下午 6:00–7:00 可用）、交易不活跃的固定收益证券的评估定价（Bloomberg、ICE、Refinitiv 模型）。

定价层级： 为每种证券类型定义首选来源，并设置自动回退机制。例如：美国股票——交易所收盘价，然后是 Bloomberg，再然后是 Refinitiv。公司债券——ICE 评估价，然后是 Bloomberg BVAL，再然后是 Refinitiv。另类投资——管理人/GP 估值，然后是第三方评估，再然后是内部模型。

公允价值定价： 当外国交易所在美国收盘前数小时就已收盘时，根据此后市场、汇率和新闻动态调整国际证券的收盘价，以防止共同基金中利用陈旧价格套利。

定价验证和陈旧价格检测： 验证规则的设计与执行（差异检查、零价/负价检测、陈旧价格时间窗口、跨来源比对、阈值校准）由 data-quality 技能（data-integration 插件）负责；参考数据负责维护这些规则所依据的来源层级。

人工覆盖： 仅限获授权用户操作；须记录原因和来源，保留审计跟踪日志，并设置时限，等待供应商更正。

6. 参考数据治理

治理通过建立结构、政策和流程，确保参考数据准确、完整、及时且一致。

数据所有权： 每个领域都有指定负责人——证券主数据（投资运营）、客户主数据（由合规部门和咨询业务共同负责）、账户主数据（运营/客户服务）、定价（投资组合会计/估值）。负责人对质量负责，并授权对定义和来源进行变更。

数据管理： 数据管理员负责日常执行治理工作——监控质量仪表板、处理异常、协调供应商、批准覆盖操作、维护数据字典。

数据质量指标： 按照标准质量维度（完整性、准确性、及时性、一致性）衡量参考数据。维度定义、验证规则设计、数据剖析、异常管理和阈值校准由 data-quality 技能（data-integration 插件）负责。

MDM 模式： 注册模式（仅建立关联，不解决冲突）、整合模式（从来源汇总生成只读黄金记录）、共存模式（在 MDM 与来源之间双向同步）、事务/中心模式（所有参考数据均通过单一系统录入）。

变更管理： 变更前进行影响分析，在非生产环境中测试，通知下游系统，制定回滚流程，并在变更后进行验证。

审计跟踪： 记录每项变更的旧值、新值、时间戳、用户/流程和原因。监管审查、争议解决和根因分析均要求此记录。

7. 参考数据分发

必须将经过主数据管理的参考数据可靠地分发到所有使用系统。

发布模式： 事件驱动／推送（通过消息总线或事件流实现近实时传播）、轮询／拉取（定期查询——实现更简单，但会引入延迟）、批量／文件（通过 SFTP 或 S3 传输 CSV/XML/JSON 格式的日终快照）、API／按需（在需要时检索——消除缓存过时问题，但会造成运行时依赖）。

增量分发： 仅发送自上次分发以来发生变更的记录。需要变更跟踪、排序机制和完整刷新回退能力。

缓存： 使用系统中的本地缓存可以降低延迟，但会带来数据过时的风险。可通过 TTL 策略、事件驱动的缓存失效和版本号来降低风险。

时点数据检索： 支持查询任意记录在指定日期的状态。这是历史业绩分析、监管报告和审计的必备功能。可通过生效日期／到期日期列或完整历史记录表实现。

8. 供应商管理

数据供应商是证券参考数据、定价、评级和标识符的主要外部来源。

主要供应商： Bloomberg（覆盖范围广、FIGI、实时报价）、Refinitiv/LSEG（全球覆盖、估值定价）、ICE Data Services（固定收益定价、指数）、S&P Global（评级、CUSIP、基本面数据）、Moody's（信用评级、风险数据）、FactSet（多源聚合、CUSIP Global Services）、MSCI（ESG 评级、因子数据、指数）。

评估标准： 覆盖范围（资产类别、地区）、质量（准确性、完整性、错误更正）、时效性（相对于处理期限的可用性）、格式／交付方式（API、文件、架构稳定性）、许可条款（再分发权、按用户收费）、成本（总拥有成本）、支持质量。

多供应商策略： 至少从两个供应商获取关键数据，并制定主供应商、备用供应商和争议仲裁规则。

供应商监控： 跟踪文件到达时间，监控记录数量是否出现意外下降，与独立来源进行比对，按季度维护供应商评分卡，并升级处理持续存在的质量问题。

具体示例

示例 1：为多托管机构的投资顾问公司设计证券主数据

场景： 一家注册投资顾问（RIA）公司在 Schwab 和 Fidelity 管理着 1,500 个账户中的 12 亿美元资产，交易美国和国际股票、ETF、共同基金、公司债券和市政债券。每家托管机构的数据源都会填充各自独立的证券表——不存在统一的证券主数据。反复出现的问题包括：同一只共同基金在不同托管机构显示的名称不同；公司债券缺少一致的信用评级；Schwab 已处理一项股票拆分，而 Fidelity 因公司行动由各自独立处理而遗漏了该事项。

设计考虑： 公司定义一条证券主数据记录，包含不可变的内部 UUID、所有外部标识符（CUSIP、ISIN、SEDOL、FIGI、股票代码、托管机构专用 ID）、分类字段（资产类别、GICS 行业、信用等级）、发行方数据（名称、LEI、国家）、资产类别专属条款、定价字段和状态。交叉引用表会将每个内部 ID 与所有外部标识符关联起来，并记录生效日期，以便进行特定时点查询。Bloomberg 是参考数据和定价的主要供应商；ICE 是固定收益数据的次要供应商；托管机构数据源用于提供对账检查；CUSIP Global Services 提供标识符变更通知。所有公司行动均先通过证券主数据处理，再传播到两家托管机构，从而消除处理不一致。数据质量控制包括每日完整性和定价验证检查、每周跨供应商定价比较，以及每月分类审计。

分析： 集中式证券主数据消除了根本原因——彼此分散且未经对账的证券数据。内部 UUID 在公司行动、标识符变更和托管机构变更后仍保持不变。持续成本中最高的一项是公司行动工作流，需要专职数据运营分析师担任证券主数据管理员。

示例 2：实施包含验证和异常处理的定价数据管理

场景： 一家资产管理公司每晚对 30 个独立账户和 5 只集合基金进行估值，这些账户和基金持有 2,000 种证券（美国和国际股票、公司债券和市政债券、MBS）。定价数据来自单一供应商 Refinitiv。过去发生过以下事件：一只市政债券连续三天估值为零却未被发现；一只国际股票在当地假日期间的价格过时一周；一只公司债券因供应商错误导致评估价格偏差 15%。

设计考虑： 公司按资产类别建立分层定价优先级，并设置自动回退机制（例如，公司债券依次采用 ICE 评估价格、Refinitiv 和 Bloomberg BVAL）。数据加载前运行自动验证：变动幅度检查（股票 15%、债券 5%）、零价格检查、价格过时检查（股票 2 天、债券 5 天，并根据当地假日调整）、跨供应商比较（固定收益偏差超过 2% 时标记）、货币验证和合理性范围检查。异常按严重程度分为严重、高、中、低，并显示在定价仪表板上。严重异常会触发即时提醒；定价分析师会调查并解决问题（记录文档后接受、改用备用供应商的数据，或手动覆盖），并记录所有操作。未解决的异常会在规定时间后升级处理。对于国际股票，公允价值模型会使用美国市场走势、货币变动和行业 ETF 数据调整外国市场收盘价。

分析： 该框架将定价从被动接收转变为主动质量控制。多供应商优先级体系消除了对单一供应商的依赖。自动验证能够捕捉之前发生的全部三类问题。运行良好的定价运营力争将每日异常率控制在证券总体的 2% 以下，并在当天解决严重和高严重程度的异常。

示例 3：建立客户主数据治理以满足监管合规要求

场景： 一家为 3,000 个家庭提供服务的财富管理公司发现客户数据质量较差：12% 的地址信息不完整，8% 的就业信息过时（已知退休的客户仍被列为在职），5% 的实体客户缺少受益所有权文件，家庭分组不一致导致计费错误（遗漏阶梯折扣）。客户数据分散在三个系统中（Salesforce CRM、Schwab 托管系统、Orion PMS），没有指定的黄金数据源，记录也彼此不一致。公司必须在 FinCEN 的投资顾问 AML/CFT 项目要求生效前完成整改并建立治理机制——该要求原定于 2026 年 1 月 1 日生效，后由 FinCEN 延至 2028 年 1 月 1 日（截至 2026 年 6 月的状态；请核实当前情况）。

设计考量： 按领域指定数据负责人：客户身份（CCO——具有监管重要性）、客户关系（客户服务主管——服务与计费）、客户财务概况（CIO——适当性）。黄金数据源：Schwab 用于法定身份数据（通过 CIP 核验，用于 1099 表格），Salesforce 用于关系与咨询数据，Orion 仅作为数据使用方（从另外两个系统同步数据，不直接编辑）。整改措施：通过交叉比对 CRM 与托管系统的数据并联系客户补齐缺失信息，解决地址不完整问题（目标是在 90 天内达到 100%）；标记超过 60 岁且两年内未更新就业信息的客户，并在开始定期提款时自动触发提醒；使用 FinCEN 表格收集缺失的受益所有权信息，按账户规模确定优先级（目标是在 60 天内达到 100%）；通过共同地址、电话或姓名识别家庭分组，由顾问确认，并退还多收的费用。持续治理：每日自动执行质量检查并提供异常情况仪表板，数据管理员每周审查趋势，每月向运营委员会报告指标，数据负责人每季度开展治理审查，并每年对不活跃客户进行全面数据更新。

分析： 该计划既解决了眼前的数据缺口，也针对结构性原因采取措施。指定黄金数据源可消除跨系统歧义。整改需要顾问投入大量精力，最好将其定位为一项客户服务改进。FinCEN 的生效日期（延期后为 2028 年 1 月 1 日）仍意味着应尽早开展整改——建立完整且经过核验的客户身份数据需要数年时间。

常见陷阱

1. 将股票代码用作主要标识符。 股票代码并非全球唯一，会频繁变更，也会被重新使用。以股票代码为键的系统在发生公司行动时会出问题。
2. 按托管机构分别维护证券记录。 同一工具会以多条证券记录的形式出现，导致持仓重复，且公司行动处理不一致。
3. 将定价视为被动接收数据。 加载供应商价格时不做验证，会让零价格、过期价格和供应商错误传播到估值和计费中。
4. 没有指定客户数据的黄金数据源。 多个系统各自维护客户数据，却没有优先级，会导致数据偏差、冲突，也无法确定权威记录。
5. 忽视时间版本管理。 覆盖当前状态而不保留历史记录，会导致无法进行时点报告、历史业绩分析和审计支持。
6. 对公司行动处理投入不足。 公司行动是证券主数据出错的主要来源——将其视为低优先级的文书工作，会导致对账差异持续存在。
7. 依赖单一供应商定价。 没有备用数据源时，供应商延迟、缺失或提供错误数据就只能手动定价——这种方式无法扩展。
8. 忽视数据质量指标。 如果不衡量完整性、准确性、及时性和一致性，问题就会一直隐而不见，直到引发下游故障。
9. 使用点对点集成，而非中央参考数据服务。 每个使用系统都直接连接供应商，会产生 N 份冗余副本，且各自存在独立的质量问题。
10. 未能规划公司行动期间的标识符变更。 无法妥善处理 CUSIP/ISIN/股票代码变更的系统会丢失持仓历史，并导致业绩序列中断。

交叉引用

• market-data（data-integration 插件）— 市场数据涵盖实时定价和交易数据；参考数据提供市场数据所引用的工具主数据。
• data-quality（data-integration 插件）— 通用数据质量原则（剖析、验证、监控）在此专用于金融参考数据。
• integration-patterns（data-integration 插件）— 集成模式（事件驱动、批处理、API）是分发参考数据的机制。
• portfolio-management-systems（advisory-practice 插件）— PMS 是证券主数据、定价和账户主数据的主要使用方。
• reconciliation（client-operations 插件）— 参考数据不匹配（标识符、过期价格）是导致对账差异的主要原因。
• corporate-actions（client-operations 插件）— 公司行动会推动证券主数据变更；此技能涵盖由此产生的参考数据更新。
• know-your-customer（compliance 插件）— KYC 要求规定了必须收集哪些客户数据；客户主数据负责存储和管理这些数据。
• books-and-records（compliance 插件）— 参考数据记录属于账簿和记录，须遵守保留和审查要求。