墨闻 新闻传播学科大模型

汕头大学 · 新闻与传播学院 · 2026

评测看板 · 评测先于训练

评测集在训练开始前抽样封存,标准答案经两套标注比对与学科专家逐条裁定后封版,此后不再改动。 本页所有数字直接来自评测程序输出文件,人工不改写。

一 · 标准答案

标准答案是怎么产生的

五步走完才算一份可以拿来评分的答案;每一步都留有时间戳和数字,可回溯。

二 · 评测集构成

私有评测集:三个码本任务、五个评分字段

分层列为「高置信 / 边界 / 复核」三层篇数。边界层与复核层是人和模型都容易判错的样本,专门多抽。

任务 码本 篇数 分层(高/边/复) 评分字段 年份跨度
两套标注的字段一致率

字段 所属任务 一致率 比对项数
三 · 对应通知要求

通知要求的四项评测 ↔ 本项目安排

按《通知》评测要求逐项列出本项目的做法与当前状态,未完成的如实标注。

评测项 本项目安排 状态
四 · 公开评测集

四套公开评测集:检查通用能力不退化

学科微调容易「顾此失彼」。四套公开集用来证明微调后通用中文能力和新闻类任务没有退步。

五 · 对照结果

基座 vs 学科微调 · 同一评测程序

阶段 对照臂 A(基座) 对照臂 B(学科微调) 控制条件
六 · 硬规矩

五条不可越过的评测规矩