abliterationCartographier les directions qu'un modèle encode, et lever ses refus sans le dégrader.
Cartographie d'activations, suivi du drift en fine-tuning, ablation directionnelle préservante
Dans un LLM, des concepts comme le refus correspondent à des directions dans les activations. Le projet les extrait, les cartographie et suit leur dérive pendant le fine-tuning (effondrement, intrication, perte de capacité), puis permet une ablation directionnelle du refus qui préserve la négation et les capacités agentiques. Sur Qwen2.5-3B-Instruct (variante préservante, couche 22) : refus 90 % → 7 % environ en revue humaine, négation 93 % → 96 %, score agentique 97 % → 100 %.
PythonMIT230+ tests
Voir sur GitHub ↗