검열 없는 LLM사용법
웹기반 LLM모델들은 검열이 심합니다, 정치적 이슈 기타 민족분쟁 그외 성인물 위험물 이런것에 대한 질문은 회피하는 케이스가 많죠, 그렇다고 로컬 llm들이 검열이 심하지 않은 것도 아닙니다. 기본적으로 제공해주는 로컬 llm gemma qwen등도 기본 검열이 심한편입니다, 성인 간편 소설 만들어주라고해도 안만들어줍니다.
그러나 이를 우회해서 무검열로 해주는 방법이 있습니다.
먼저 LM Studio를 설치 하세요 https://lmstudio.ai/
설치를 다하고 나면 bionic을 끄고 용량큰 드라이브 아무대나 llm model을 다운받아 설치할 폴더를 만드세요
aaa라는 폴더를 만들었다 칩시다.
자 그럼 이제 허깅페이스로 가봅시다.
https://huggingface.co/mradermacher/Qwen3.8-9B-Distill-uncensored-heretic-GGUF/tree/main
이건 qwen 3.8을 16기가 이하 그래픽카드에서 원할하게 돌리는 무검열 양자화 버전들을 모아논 페이지 입니다.
여러분 그래픽카드가 16기가나 8기가여도 용량 제일작은 Qwen3.8-9B-Distill-uncensored-heretic.Q2_K.gguf 이걸로 설치하면 응답 추론 속도가 매우 빨라집니다 단점은 정확도가 떨어지는것만 아쉽죠, 이 모델은 4050이나 3050급에서도 작동하는 모델입니다.
이걸 다운받아서 아까 만든 aaa폴더로 가서 파일명과 같은 폴더를 만들어서 거기에 저 모델을 넣습니다. 만일 비전 모델을 사용하고 싶다면 비전 모델이란 여러분이 이미지를 넣어주고 분석받고싶을때 사용하는 모델입니다. 링크의 허깅페이스 페이지 하단에보면 Qwen3.8-9B-Distill-uncensored-heretic.mmproj-Q8_0.gguf 624mb짜리 파일이 잇을 겁니다 이게 비전화시켜주는 파일입니다 이갈 다운받고나서 파일명 앞에 mmproj 이걸 붙여주고 이 파일을 Qwen3.8-9B-Distill-uncensored-heretic.Q2_K.gguf 이 파일이 잇는 폴더에 같이 넣어 줍니다

댓글 2