https://modu-print.com/tags/localllm/Hugoko-KRWed, 16 Sep 2026 09:53:07 +0900https://modu-print.com/posts/17886/Tue, 15 Sep 2026 12:36:08 +0900https://modu-print.com/posts/17886/GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm - antirez/ds4 Redis 개발자로 유명한 Antirez의 ds4.c 가 정말 하루가 다르게 엄청나게 발전을 하고 하나둘씩 다양한 모델을 지원하기 시작하면서 ..https://modu-print.com/posts/16948/Sun, 24 May 2026 20:15:36 +0900https://modu-print.com/posts/16948/GitHub - antirez/ds4: DeepSeek 4 Flash local inference engine for Metal and CUDA DeepSeek 4 Flash local inference engine for Metal and CUDA - antirez/ds4 DwarfStar4 (ds4.c) DeepSeek v4 Flash만을 위한 추론 엔진 앞서 DS4.c 에 대해 간단히 글을 작성 했는데요, 대략 거의 코딩을 위한 로컬LLM은 Claude Code + DS4.c(Deepseek-v4-flash) 만으로 2주를 보낸 것 같습니다.https://modu-print.com/posts/16908/Fri, 15 May 2026 15:49:54 +0900https://modu-print.com/posts/16908/앞서 몇몇 글에서도 DeepSeek v4 Flash 에 대해서 좀 기대를 하고 있단 말을 적었습니다만 .. 아직 llama.cpp 쪽에서 deepseek v4 에 대해서 작업이 끝나지 못해서 인지 어떤 이유인지 모르지만 아직 LM Studio 나 Ollama 에 클라우드용 모델외에 직접 다운로드 해서 쓸수 있는 형태로 업데이트가 올라오고 있진 않습니다. 이미 HuggingFace 에 이런저런 양자화 모델로 등장을 하고 있는지도 꽤 지났는데 말이죠 .. 그런 와중에 제 기준으론 꽤 반가운 놈이 출시가 되어서 어제부터 이짓 저짓에 매우 열심히 써보고 있습니다.https://modu-print.com/posts/16787/Sun, 03 May 2026 10:07:21 +0900https://modu-print.com/posts/16787/다양한 모델을 테스트하며 2주간 1억 토큰 이상의 개발 작업을 진행해 본 결과, 당분간은 Qwen 3.6 35b a3b 모델을 LM Studio와 Claude Code 환경에서 주력으로 사용할 계획입니다. Deepseek-V4 Flash가 기대되긴 하지만, 어째서인지 아직 LM Studio에는 관련 업데이트가 진행되지 않고 있습니다. Hugging Face에는 이미 모델들이 올라오고 있음에도 말이죠. 현재 제 활용 범위에서는 LM Studio를 벗어날 이유가 없기에 조금 더 기다려보려 합니다. DeepSeek-V4 Pro의 경우 양자화를 타협한다면 구동은 가능할 것입니다. 다만 타협을 잘 해도 2-bit 양자화 정도가 한계일 텐데, 아무리 MoE 구조로 1.6T 파라미터 중 49B만 활성화된다고 해도 30B급 Dense 모델들이 보통 10~20 TPS 내외인 점을 고려하면, 49B 활성 파라미터 모델의 속도 또한 충분히 예측 가능합니다. 따라서 실사용하기에는 다소 답답할 것으로 보입니다.https://modu-print.com/posts/16765/Fri, 24 Apr 2026 11:33:53 +0900https://modu-print.com/posts/16765/qwen-3.6-27b 모델을 Unsloth 에서 파인튜닝한 모델을 받아서 돌려 봤습니다. 양자화는 Q8_K_XL 입니다. 앞서 글 올린 Qwen-3.6-36b-a3b 는 MoE 모델이라 대충 70~80Tps 정도의 속도가 나왔는데, 역시나 Dense모델인 27b는 속도가 생각보다 많이 느리네요. 물론 Metal 가속을 사용하는 맥의 특성일수도 있고 Nividia랑 친한 Unsloth 에서 파인튜닝한 UD모델을 사용해서 더 그럴순 있겠습니다만. 앞서 글 올린 Qwen-3.6-35b-a3b 의 경우도 동일하게 Unsloth 에서 파인튜닝한 Q8_K_XL UD 모델이었습니다.https://modu-print.com/posts/16738/Fri, 24 Apr 2026 06:52:51 +0900https://modu-print.com/posts/16738/최근 오픈소스 AI 모델은 중국쪽이 열일 하는 느낌입니다. 클로드 코드를 학습하고 있다느니 어쩌느니 이러쿵 저러쿵 말도 많긴 합니다만, 현실적으로 개인 사용자들이 사용 가능한 범주 내에서 의미 있는 모델을 주기적으로 계속 배포하고 있는 면에서는 Qwen이 가장 활발한 편이라고 볼 수 있겠네요. Qwen 3.6 과 관련해서는 클라우드 서비스 쪽에 Qwen 3.6 Plus 연나.. 여튼 클라우드 전용 모델로 먼저 공개된 모델이 평이 워낙 좋았어서 기대는 하고 있었습니다.https://modu-print.com/posts/16489/Sat, 04 Apr 2026 09:47:35 +0900https://modu-print.com/posts/16489/LocalLLM 을 활용하다 보면 가장 많이 하게 되는 짓이 수 많은 모델들 중에 무엇을 사용해야 할지와 다운로드 받은 모델이 쓸만 할지 판단하는게 꽤나 귀찮은 일입니다. 저는 최근에는 Claude Code 의 환경변수와 설정파일을 수정해서 Claude Code 는 Opus, Sonnet, Haiku 인주 알고 돌겠지만 실제로는 제 Mac Studio M3 Ultra(512gb ram)에서 동작중인 LM Studio 의 모델들로 돌아가게 되는 식으로 설정을 변경해서 사용중인데요.. 이게 모델 교체를 해서 쓰려면 환경변수든 설정파일이든 수정을 해서 써야하는데 꽤 귀찮기도하고 ..https://modu-print.com/posts/16187/Tue, 03 Mar 2026 19:21:19 +0900https://modu-print.com/posts/16187/여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM Studio, Ollama, mlx-ml, llama.cpp, exo 등에서 사용을 해봤습니다만 .. Openai API 를 통한 채팅 기반의 사용에서는 어떤 모델이든 대체로 큰 문제 없이 사용이 가능합니다만 ..https://modu-print.com/posts/16094/Sat, 21 Feb 2026 11:38:33 +0900https://modu-print.com/posts/16094/이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 ..https://modu-print.com/posts/16072/Sat, 21 Feb 2026 09:53:26 +0900https://modu-print.com/posts/16072/앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 Qwen3-Coder-Next-4bit 라는 모델을 hf download 명령으로 다운로드 받았습니다. https://huggingface.co/mlx-community/Qwen3-Coder-Next-4bit Bash hf download mlx-community/Qwen3-Coder-Next-4bit hf download mlx-community/Qwen3-Coder-Next-4bit Qwen/Qwen3-Coder-Next 모델을 mlx 로 변환한 모델입니다. 파일크기는 44.8기가 정도이구요.https://modu-print.com/posts/16045/Fri, 20 Feb 2026 09:45:15 +0900https://modu-print.com/posts/16045/이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다운로드받는데 2시간 가까이 걸리는 관계로 .. ollama pull 걸어두고 자고 일어났네요. 우선 제가 뭘 잘못 한건지 ollama 문제인지 mlx 모델이 아닌 gguf 모델을 써서 그런지는 모르겠습니다만.. 좀 뭔가 이상해요..https://modu-print.com/posts/16017/Thu, 19 Feb 2026 20:54:55 +0900https://modu-print.com/posts/16017/애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정보를 좀 공유해보겠습니다. qwen3-coder-next 모델에 대한 정보는 아래 링크에서 확인하시구요. https://ollama.com/library/qwen3-coder-next 에이전틱 코딩 워크플로과 로컬 개발에 최적화된 모델이라 해서 사용해보고 있습니다.https://modu-print.com/posts/15972/Wed, 18 Feb 2026 15:58:53 +0900https://modu-print.com/posts/15972/어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다. 어쩌면 개인이 넘볼 수 있는 LocalLLM용의 가장 이상적인 장치일 순 있겠으나 .. 개인이 사비로 들여 놓기엔 매우 부담스러운 가격인 놈이긴 합니다. M3 Ultra 512g 통합 메모리 모델 기준 4TB Sdd면 1600만원 가량, 저장공간을 16TB 까지 간다치면 2200만원이 좀 안되는 금액이니 쉽게 구입을 할 수 있는 가격대가 아닌건 사실이죠.. 저는 감사하게도 회사에서 지원을 해줘서 사비로 들이기엔 부담스러울 이놈을 책상위에 놓고 쓰게 되었는데요..