heretic-abliteration

Heretic — 全自动 LLM 审查移除（消融）并通过 Ollama 提供服务。封装了 p-e-w/heretic：方向性消融（均值差异拒绝方向，对 attn.o_proj + mlp.down_proj 进行正交化），并结合 Optuna/TPE 搜索共同最小化拒绝次数和 KL 散度。自动化完整的本地工作流，包含依赖项和设备修复以确保实际运行：干净虚拟环境安装（+ kernels/jinja2 修复）、设备适配运行（Apple Silicon 上使用 CPU —— MPS 因 PyTorch GQA 矩阵乘法 bug 被阻塞；真实模型使用 CUDA），以及 HF→GGUF→Ollama 转换桥梁。包含无需计算的快速路径：直接将预消融的 GGUF 模型拉取到 Ollama 中。适用场景：（1）在本地对开源权重 LLM 进行去审查/解除审查，（2）运行 heretic-llm 时遇到安装或 MPS/CUDA 错误，（3）将 Heretic/已消融的 HF 模型转换为 GGUF 并通过 Ollama CLI 提供服务，（4）将现成的已消融模型拉入 Ollama，（5）理解消融作为评估器主导（EGRI）优化循环的过程。触发关键词：'heretic', 'abliteration', 'abliterate', 'decensor', 'uncensor', 'remove refusals', 'refusal direction', 'heretic-llm', 'uncensored model', 'ollama abliterated', 'run heretic locally'。不适用于训练/微调安全机制，也不适用于仅限 API 访问的模型（消融需要本地权重）。

存档时间线

版本索引永久保留；内容副本只保留最新 1 份，更早版本仅留索引与哈希（存档时间线的证据链不会因此断裂）。

下载存档内容副本