可判定的输出,核心不是“答案写得像不像”,而是把题目改造成一份带输入、步骤和验收信号的工单:给定素材与约束,要求学员产出可被第三方复核的动作与结论。前提变化时,判据也要换,否则你测到的只是记忆,不是判断力。
常见做法是让学员复述“影响收录的因素”“内链该怎么布”,再用标准答案对照。前提稳定时,这种题能筛出记忆差异;一旦业务前提变了,比如站点从内容站转成带商品筛选的目录站,原来的标准答案就失去参照。此时会出现两种相反现象:有人照旧背出条目却给不出动作,有人写得零散但能指出先查什么、先改什么。前者不是不会,后者也未必真会,关键在于输出没有绑定可验证的判据。
解释一:学员确实没掌握,输出空洞是因为缺少可迁移的知识结构。解释二:题目不可判定,标准答案只覆盖旧前提,学员只能靠猜出题人意图。区分办法是换一次素材、保留同一要求,看输出是否出现可复核的动作链。
如果换素材后仍能指出“先核对抓取日志中的状态码分布,再按目录聚合看差异”,说明是知识结构问题;如果换素材后只改名词、动作链不变,说明原先得分来自背答案。这个区分会直接改变下一步:前者补案例训练,后者重写题目。
让每道题都产出三层内容,缺一层就无法判定:
一个假设例子:题目给出一份含大量参数页的抓取记录,要求学员判断是否应优先处理参数页。可判定输出应包含:先按参数组合数量分组,再区分有搜索需求的组合与纯筛选组合,最后给出“先处理哪一组、用什么信号确认处理有效”。若学员直接写“全部屏蔽参数页”,即使方向常见,也因缺少分组依据而不可判定为合格。
前提变化前后应采取不同决策,这一点必须写进评分表。变化前,判据可以偏“是否覆盖常见知识点”;变化后,判据应偏“是否识别出新前提下的约束”。
实际操作上,可以给同一道题配两份互斥的素材:一份符合旧前提,一份引入新约束。要求学员分别输出动作,并说明两份输出的差异来自哪个前提。若差异说不清,说明判据还停留在记忆层。这个动作的结果会告诉你,下一步是补素材还是补讲解。
批改时逐条核对,任一条不满足,该题只能记为“待补充”,不能记为“已掌握”:
最后一条容易被忽略:抓取量、请求量或某项统计归零,不能单独证明处理正确,也可能是采集窗口变化、统计口径调整或外部因素所致。要求学员写出至少一种替代解释,能避免把相关性当因果,也能让输出真正可判定。