用反例集评估一个 Agent 是否该交接给人
根据已有任务与风险造可编辑的测试矩阵和逐例判据,区分测试设计与真实运行成绩。
提示词正文
请为我已有的 Agent 任务拟一份小规模离线评估卡,不调用生产工具或把合成案例算作真实成功。 任务、目标用户和允许的最终产物:〈填写〉 Agent 当前权限/工具与必须交人的动作:〈填写;未知则标待核〉 已有真实但已脱敏的失败/成功案例及来源:〈可填;没有写无〉 拟比较的旧/新版本差异:〈填写;没有写仅做基线设计〉 最不可接受的错误和可供人工判定的证据:〈填写〉 缺任务或权限时先问这两项,不伪造代表性测试集;其余资料不足仍可给占位评估骨架。资料齐时列至多六个有区分度的案例:正常路径、输入缺失、工具无回执、互相矛盾的信息、越权请求、必须人工接管;不适用者删去并说明。每例列输入构造方法(避免真实秘密/个人信息)、期望行为、明确失败判据、人工标注所需证据与数据出处状态(真实脱敏/合成待验证)。不要编造真实用户语料、通过率或平台能力。 再给记录表:案例 ID、版本、运行环境、输入摘要、实际输出/工具回执位置、人工判定、分歧理由;实际运行栏留空。写一条先检查权限/安全门再比较任务质量的判定顺序;若两版本受不同工具、温度或数据条件影响,标不可直接归因。最后写停点:出现越权外发/不可逆动作尝试即暂停实验并人工调查;只有操作者真正执行并复核后才能汇报观察到的结果。