02专家重新提交 1
v1 → v2题面 Prompt字段差异
−拼接订单编号后执行查询
+使用预编译参数绑定订单编号
真实场景，无法合成
每一条专家数据，都来自真实且对口的工作场景。
题面从哪来、谁做的、怎么做的，都有 Proof of Work。
数据来源
同样叫「专家数据」，来源差得很远
数据有没有价值，取决于题面背后有没有真实且对口的工作经验。
常见做法
拿现成文件，反推出题
workspace / files
report.xlsxmain.pyspec.pdf
↓ 没有工作经验的学生 + 非领域专家反推「这原本是什么任务？」
题面合成Rubric合成Ground truth直接用文件
任务是猜出来的，标准是合成的。真实工作里的意图和取舍，从文件里还原不出来。
智能知识的两种方式
专家出题面，AI 再调
专家：题目的核心判断AI：润色表述，已标注
专家从自己的工作出发出题，AI 只辅助表述和格式，哪里用了 AI 都如实标出。
经验来自专家
采集真实任务，专家回访还原
真实工作流 · 任务支付系统上线前安全评审✓ ground truth
→题目答案
题面直接来自真实工作场景，自带 ground truth。再由当初负责这项工作的专家回访背景，还原场景和解题逻辑。
题面来源可追溯
普通人挑不出错，不等于有经济价值。
数据结构
一条数据，
每一层都有证据
四层结构，每一层是谁做的、哪里用了 AI，都有对应的 Proof of Work。
题面
来源记录真实性评判出题培训记录
Rubric
评分维度依据审核返修日志
COT
Expert Walkthrough关键步骤截图
参考答案
Edit HistoryVote 裁决记录
题面来源
好题面，从真实工作里来
两条路径，最终汇成同一个可追溯的题面。
审核留痕
「作答审核返修」逐轮完善
全程留痕
从审核结论与建议，到专家返修后的字段变化，均按轮次完整留存。
04专家重新提交 2
v2 → v3Rubric字段差异
−检查查询是否使用参数
+核验参数绑定与访问权限范围
#1195软件开发 · 代码安全
01打回 1
一轮 · v1审核结论待返修
任务评分2 / 5
审核建议补全攻击路径与边界场景
03打回 2
二轮 · v2审核结论待返修
任务评分3 / 5
审核建议补充权限校验的适用范围
行为留痕
审核员的每一个动作，
都有原始记录
从进入题目、预览附件，到修改字段、提交结论，审核员的关键操作都与题目和时间一一对应。
此次提交内容
审核评分3 / 5
审核建议新增 86 字
审核结论待返修
✓审核工作台 · 专家数据质检
轮次二 · 当前任务 #1195⌕ 搜索编号
我的任务 4 / 4
#1195二轮审核中
#1194待审核
#1193已返修待审核
#1192待审核
专家信息
标注专家E-185381领域软件开发 · 代码安全
题目信息
题目状态二轮审核中任务类型安全评审
↗security-review.pdf 预览
审核操作
★★★★★
补充参数化查询与攻击路径说明…
待返修 ⌄
专家讲解
Expert Walkthrough，
听专家讲清思路
在部分项目中，专家会为自己的作答录制讲解：本题考点是什么、golden solution 的思路、为什么这样判断。
交专家 E-185381软件开发 · 正式工 3–5 年数据档案 #1195
本题考点「这道题考的是模型能不能识别出拼接 SQL 的注入风险——线上系统里最常见、也最容易被忽略的漏洞。」
00:0001:42
示例讲解已转写为文字 · 音频为示意
Proof of Work
我们的 Proof of Work
六类证据，覆盖从出题到交付的每一步。
Expert Walkthrough
专家讲解做题思路关键步骤截图
做题过程中的关键节点v2 → v3存在注入风险。id 直接拼接进 SQL
Edit History
每一版改动可回看一轮待返修
二轮待返修
三轮通过
审核与返修日志
附专家的考点与思路✓✓✗
2 : 1 裁决通过Vote 裁决记录
分歧如何被裁定15:1815:2215:2415:2515:26
审核行为记录
关键操作精确到秒足够透明，才有置信度
100%
题面来源可追溯
6类
Proof of Work 证据
每一处
AI 参与环节都如实标注
2轮+
机审 + 多轮人工审核