leak-audit
检测并消除 LLM 评估数据集中的“真实标签泄露”问题——即被评估模型能够看到包含或强烈暗示预期答案的内容,从而导致评估分数虚高、无法反映真实能力的情况
共 399666 条已上架资产
检测并消除 LLM 评估数据集中的“真实标签泄露”问题——即被评估模型能够看到包含或强烈暗示预期答案的内容,从而导致评估分数虚高、无法反映真实能力的情况
恢复反编译器退化的局部变量的有意义变量名并修正类型(如 v1→msg_len,_QWORD→void*)
在 CPU、Apple Silicon 和消费级 GPU(无需 NVIDIA 硬件)上运行 LLM 推理
用于在使用 PagedAttention 和 vLLM 内存管理优化 Transformer 推理 KV 缓存时
将LLM优化观察结果转化为操作员选择的候选方案,并配以基线评估;用于检查优化报告
只读查看 LLM 支出、令牌使用情况和节省证据;当被问及监控工具发现了什么或支出去向时,使用此功能
使用 LLM API 构建
提供使用Slime(Megatron+SGLang)进行LLM训练后基于强化学习(RL)的指导
使用 NVIDIA TensorRT 优化 LLM 推理,实现最大吞吐量和最低延迟
用于构建多模态 AI 流水线,通过编码器和投影层将视觉和音频数据直接输入大语言模型(LLM)
用作构建全栈 AI SaaS 平台的操作手册,集成 LLM 编排、事件驱动消息传递和订阅计费功能
使用 Wanda 和 SparseGPT 等剪枝技术减小 LLM 规模并加速推理
Cursor 规则适用于 next-type-llm
用于追踪、评估和监控的LLM可观测性平台
用于通过 GPTQ 和 AWQ 等量化算法以及 GGUF 格式压缩 LLM 权重时
开源 AI 可观测性平台,用于 LLM 追踪、评估和监控
为 typescript-llm-tech-stack 设置的光标规则
生产就绪的 LLM 应用构建模式,灵感来源于
BullMQ 专家,擅长基于 Redis 的作业队列、后台任务处理
在讨论 LLM API 成本时主动使用(或应该使用)