Heretic LLM devine și mai puternic: Suport universal pentru modele noi + eliminarea restricțiilor pe GLM-4.6V-Flas

Dacă urmărești blogul ăsta sau canalul de Telegram, știi deja că sunt obsedat de ideea de a rula modele AI puternice local, fără restricții stupide de „safety” impuse de companii. De aceea, de ceva timp joc cu Heretic tool-ul care elimină automat cenzura din LLMs păstrând capabilitățile intacte (KL divergence aproape de zero).

Ei bine, am dus lucrurile un nivel mai sus și vreau să vă povestesc ce am făcut.

Problema clasică

Când apare un model nou și exotic pe Hugging Face (gen GLM, DeepSeek, Qwen etc.), Heretic dă eroare de tip „unrecognized config”. Trebuia să modifici manual codul, să înregistrezi clasele  pierdere de timp și enervant rău, mai ales când vrei să testezi rapid.

Ce am rezolvat eu

Am adăugat o funcție de auto-registration dinamică în Heretic (fork-ul meu personal). Acum, când Transformers nu recunoaște configurația:

• Citește config.json din repo
• Importă automat clasele corecte (config, model, tokenizer)
• Le înregistrează on-the-fly
• Reîncearcă încărcarea → modelul pornește fără probleme!

Necesită doar transformers ≥ 5.0.0rc0. Atât.

Test real: GLM-4.6V-Flash (multimodal, 10B parametri)

Am rulat pe un singur RTX 4090 și a mers perfect.

După abliteration cu Heretic modificat:

• KL divergence = 0.0000 (identic cu originalul)
• Refuzuri pe prompturi sensibile: de la 100/100 → doar 63/100

Adică răspunde acum la chestii pe care nici versiunile vechi de Heretic nu le acceptau. Multimodalitatea (viziune + text) rămâne intactă.

Poți testa chiar tu modelul abliterationat: https://huggingface.co/AiAsistent/GLM-4.6V-Flash-heretic

Alte îmbunătățiri pe care le-am băgat

În config.py:

• Am trecut pe prompturi „good” de tip ORCA (mai robuste)
• Am extins lista de refusal markers (prinde mai multe tipuri de refuzuri)
• System prompt updatat pentru optimizare mai bună
• Număr de trial-uri Optuna ridicat la 300 default (am testat și cu 500 pe modele mai încăpățânate)

Rezultatul? Convergență mai rapidă și refuzuri mai puține în general.

Unde găsești totul

Am explicat pas cu pas, cu cod și patch-uri, în thread-ul detaliat în română de pe forumul meu: https://forumai.ro/threads/heretic-llm-suport-pentru-glm-4-6-z-ai-acum-poti-elimina-orice-restrictie-la-modelele-glm.113/

Acolo găsești și link către GitHub dacă vrei să clonezi direct,  știu că mulți sunteți precauți (și bine faceți) când descărcați cod de pe forum.

De ce contează asta pentru noi, românii care rulăm local

Vrem modele puternice, rapide, fără limitări artificiale și fără să trimitem datele noastre pe servere străine. Cu modificarea asta, Heretic devine cu adevărat future-proof  indiferent ce arhitectură nouă apare mâine, îl poți „debloca” imediat.

Urmează să integrez și suport Ollama – ca să fie și mai ușor de rulat.

Dacă ai încercat GLM-4.6V-Flash sau alte modele noi cu fork-ul meu, lasă un comentariu mai jos sau pe forum – sunt curios ce rezultate ai tu!

Mulțumesc că citiți și că susțineți direcția asta open-source și uncensored. Hai să continuăm să împingem limitele! 

Alex