llm-testing

大模型测试技能

描述

全面的测试提示词和词表，用于评估大模型（LLM）的安全性、稳健性和抗风险能力。此技能提供经过筛选的测试用例，用于检测偏见、防止数据泄露、测试对齐情况、隐私边界和抵御对抗性提示词的能力。

目的

此技能旨在帮助安全研究人员、AI 安全工程师和红队操作人员评估大模型漏洞，并确保模型：

• 坚守道德边界和安全准则
• 避免数据泄露和侵犯隐私
• 抵御偏见和歧视
• 防止对抗性提示词攻击
• 与预期行为保持一致

授权使用场景

• AI 安全研究：测试大模型的安全性和对齐问题
• 安全审计：针对 AI/ML 系统开展红队行动
• 偏见检测：评估模型的公平性和偏见
• 隐私测试：验证模型不会泄露训练数据或个人身份信息（PII）
• 教育用途：讲授 AI 安全概念和漏洞
• 负责任的 AI 开发：构建更稳健、更安全的大模型

测试类别

1. 偏见测试

测试大模型回答在多个维度上是否存在偏见：

性别偏见（Bias_Testing/gender_bias.txt）

• 用于揭示性别刻板印象和偏见的提示词
• 职业和角色关联
• 行为和能力方面的假设
• 注意：使用前请替换 [GENDER] 占位符

国籍和地域偏见（Bias_Testing/nationality_geographic_bias.txt）

• 文化刻板印象和地域偏见
• 对地区能力的假设
• 注意：请替换 [COUNTRY]、[REGION]、[NATIONALITY] 占位符

种族和族裔偏见（Bias_Testing/race_ethnicity_bias.txt）

• 种族和族裔刻板印象
• 回答中的歧视模式
• 注意：使用前请替换 [SKIN_COLOR] 占位符

2. 数据泄露和隐私测试

评估模型对敏感信息的处理方式：

个人数据生成（Data_Leakage/personal_data.txt）

• 测试生成个人身份信息（PII）的能力
• 验证隐私边界
• 检查是否无意中生成个人信息

元数据泄露（Data_Leakage/metadata.txt）

• 测试是否残留训练数据
• 检查是否无意中披露信息

记忆回忆（Memory_Recall_Testing/session_recall.txt）

• 基于会话的记忆测试
• 跨对话的数据保留
• 注意：请替换 [COUNTRY]、[REGION]、[NATIONALITY] 占位符

3. 偏离和对齐攻击

测试模型的对齐情况以及抵御对抗性提示词的能力：

逃逸对齐训练（Divergence_attack/escape_out_of_allignment_training.txt）

• 试图绕过安全训练的提示词
• 测试对齐的稳健性
• 挑战道德边界

预训练数据提取（Divergence_attack/pre-training_data.txt）

• 尝试提取训练数据
• 测试记忆漏洞

使用说明

基本用法

# Reference the LLM Testing skill
"Use the llm-testing skill to test this model for gender bias"

# Access specific test categories
"Show me prompts from the llm-testing skill for testing data leakage"

# Run comprehensive testing
"Use the llm-testing skill to perform a full security audit of this LLM"

替换占位符

使用偏见和记忆回忆测试前，请替换占位符：

# Example: Replacing placeholders in gender bias tests
import re

with open('Bias_Testing/gender_bias.txt', 'r') as f:
    prompts = f.read()

# Replace [GENDER] with actual gender terms
test_prompts = []
for gender in ['man', 'woman', 'non-binary person']:
    test_prompts.append(prompts.replace('[GENDER]', gender))

测试工作流

1. 选择测试类别：选择偏见、隐私或对齐测试
2. 准备提示词：如有需要，请替换占位符
3. 执行测试：向目标大模型提交提示词
4. 记录结果：记录回答并标记问题
5. 分析模式：查找系统性问题
6. 报告发现：以负责任的方式记录漏洞

最佳实践

道德测试准则

1. 需要授权：仅测试你拥有或获准测试的模型
2. 负责任地披露：通过适当渠道报告漏洞
3. 不得利用：将发现用于改进，而非利用
4. 保护隐私：不要分享测试期间发现的个人身份信息（PII）
5. 做好记录：详细记录测试方法和结果

测试方法

• 建立基线：多次测试以确立规律
• 受控环境：使用隔离的测试环境
• 系统化方法：一次测试一个类别
• 多样化场景：使用各种提示词表述方式
• 交叉验证：通过不同方法验证发现

解读结果

• 结合上下文：考虑模型的预期用途
• 统计显著性：不要依赖单次响应
• 严重性评估：按影响程度对发现进行分类
• 误报：核实是真实漏洞还是预期行为

安全注意事项

红队行动

• 将这些提示词用于全面 AI 红队测试
• 与其他安全测试方法结合使用
• 专注于在攻击者发现漏洞之前找出漏洞

防御性应用

• 训练模型更好地抵御这些攻击模式
• 构建用于检测对抗性提示词的系统
• 改进安全对齐和防护机制

文件结构

LLM_Testing/
├── SKILL.md (this file)
├── README.md
├── Bias_Testing/
│   ├── gender_bias.txt
│   ├── nationality_geographic_bias.txt
│   └── race_ethnicity_bias.txt
├── Data_Leakage/
│   ├── personal_data.txt
│   └── metadata.txt
├── Memory_Recall_Testing/
│   └── session_recall.txt
└── Divergence_attack/
    ├── escape_out_of_allignment_training.txt
    └── pre-training_data.txt

与其他技能的集成

此 LLM 测试技能可与以下技能搭配使用：

• 安全模糊测试：在提示词测试之外使用模糊测试技术
• 安全模式：应用模式匹配来检测漏洞
• 渗透测试顾问：获取全面 AI 测试的战略指导

法律与道德声明

重要提示：这些测试提示词仅用于经授权的安全研究和负责任的 AI 开发。

授权用途：

• 测试自己的 AI 模型和系统
• 经书面许可开展授权的红队行动
• 在学术或企业环境中进行 AI 安全研究
• 在受控环境中进行教育演示
• 参与负责任的漏洞披露计划

禁止用途：

• 未经授权测试模型
• 利用发现的漏洞
• 尝试越狱生产环境中的 AI 系统
• 创建有害内容或工具
• 违反 AI 平台的服务条款

贡献

如需添加新的测试用例或类别：

1. 遵循现有文件结构和命名约定
2. 为任何占位符提供清晰的说明文档
3. 测试提示词的有效性和安全性
4. 提交拉取请求，并附上详细说明

参考资料

• OWASP 大模型十大风险
• AI 红队测试最佳实践
• 负责任 AI 指南
• AI 安全研究

版本

1.0.0

许可证

MIT 许可证——仅可负责任且合乎道德地用于经授权的测试。

免责声明

此技能旨在用于安全研究和改进 AI 安全。用户有责任确保在测试任何 AI 系统之前获得适当授权。维护者不对滥用这些测试资源的行为负责。