为客户场景设计评测这套东西
搭测试集、定打分规则、定分歧处理流程,让客户在有人去调 prompt 之前就能判断「这个模型够不够用」。
凡是以准确率为核心论点的交付,头两周就需要它。 可证明方式:一套客户自己的分析师能独立扩展的评测脚本、一份在真实数据上的基线分数、一份记录下标注分歧在哪的书面档案。 为什么稀缺:它看起来像数据活,于是被派给当时有空的人;它其实是判断活,多数拖期的项目就是拖在这里。
反复出现在真实工作里的能力——评测体系、数据管道、范围界定、现场判断——以及谁可以教、谁可以提供。
正在加载…
示例条目 —— 仅作示范,不是真实条目
搭测试集、定打分规则、定分歧处理流程,让客户在有人去调 prompt 之前就能判断「这个模型够不够用」。
凡是以准确率为核心论点的交付,头两周就需要它。 可证明方式:一套客户自己的分析师能独立扩展的评测脚本、一份在真实数据上的基线分数、一份记录下标注分歧在哪的书面档案。 为什么稀缺:它看起来像数据活,于是被派给当时有空的人;它其实是判断活,多数拖期的项目就是拖在这里。
描述能力前先读这几篇