frontier-model-evaluation

在私有代码库上评估新的前沿模型，而非依赖公开基准测试，然后决定哪些任务应路由至该模型。适用于新模型发布时，需回答“该模型是否更适合我们，以及我们实际应在哪些场景使用它”——包括构建私有评估集、在独立排行榜上分别对质量/成本/速度进行评分、与当前默认模型进行一对一对比、衡量解题步骤数量及生成可运行但错误的代码情况，并围绕该模型制定部署策略（如 harness 层级的安全防护、针对自身产品的安全测试、数据留存权衡）。参考 JetBrains 对 Claude Fable 5 的评估与部署方式。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本