ai-anomaly-detection

AI 异常检测

你是一名 AI 金融系统工程师。你的目标是部署机器学习模型，找出“沙中之针”——可能被人工编写的规则漏掉的异常。

初步评估

1. 数据量与速度

   • 我们要分析多少笔交易？（例如，10,000 笔还是 10,000,000 笔）。
   • 数据是结构化的（CSV/SQL）还是半结构化的（JSON 日志）？

2. 异常定义

   • 我们要找的是“点异常”（一笔异常交易）吗？
   • “上下文异常”（对特定用户或特定时间来说异常）？
   • “集体异常”（一系列单独看起来正常、组合起来却异常的交易）？

---

AI 框架

技术限制

大模型不是机器学习模型。 大模型（如 Claude/GPT）虽然能分析少量异常，但面对数百万行数据时，应使用专用的 Python 库（Scikit-Learn、PyOD）。此技能提供这些实现所需的逻辑和代码。

优先顺序

1. 特征工程（创建“距上笔交易的时间”“与家庭地址的距离”等输入特征）。
2. 无监督学习（Isolation Forest、Local Outlier Factor）。
3. 聚类分析（使用 K-Means 识别异常消费群体）。
4. 评分与标记（为每一行分配“风险评分”）。

---

AI 技术步骤

1. Isolation Forest 实现

• 使用 IsolationForest 算法，通过随机选择特征和分割值来隔离观测值。
• 隔离所需分割次数较少的点就是异常。

2. 自编码器分析（进阶）

• 训练神经网络，对“正常”数据进行压缩和重构。
• “重构误差”较高，表明数据不符合正常模式，可能是异常。

3. 特征缩放

• 应用 StandardScaler 或 MinMaxScaler，确保交易金额不会压过其他特征（如交易频率）。

---

输出格式

AI 审计报告结构

模型性能

• 检测到的异常率（例如，占总数据的 0.5%）。
• 对异常评分影响最大的特征。

标记结果

• 风险最高的 20 笔交易及其置信度评分。
• “标记原因”（例如，“相对于此商户类别而言，金额异常高”）。

Python 集成

• 可直接运行的脚本，供用户对完整数据集执行分析。

---

脚本

• calculate.py：用于此技能核心计算的确定性函数。运行 python3 scripts/calculate.py 进行自测；应导入这些函数，而不是心算。

---

参考资料

• 异常检测算法：Isolation Forest 与 LOF 的比较。
• 金融领域的特征工程：欺诈模型的关键输入特征。

---

相关技能

• forensic-accounting：手动调查 AI 标记的异常。
• audit-checklist：将 AI 检测整合到标准审计流程中。