https://modu-print.com/tags/mac-studio-m3-ultra-512g/Hugoko-KRWed, 16 Sep 2026 09:53:07 +0900https://modu-print.com/posts/17886/Tue, 15 Sep 2026 12:36:08 +0900https://modu-print.com/posts/17886/GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm - antirez/ds4 Redis 개발자로 유명한 Antirez의 ds4.c 가 정말 하루가 다르게 엄청나게 발전을 하고 하나둘씩 다양한 모델을 지원하기 시작하면서 ..https://modu-print.com/posts/16948/Sun, 24 May 2026 20:15:36 +0900https://modu-print.com/posts/16948/GitHub - antirez/ds4: DeepSeek 4 Flash local inference engine for Metal and CUDA DeepSeek 4 Flash local inference engine for Metal and CUDA - antirez/ds4 DwarfStar4 (ds4.c) DeepSeek v4 Flash만을 위한 추론 엔진 앞서 DS4.c 에 대해 간단히 글을 작성 했는데요, 대략 거의 코딩을 위한 로컬LLM은 Claude Code + DS4.c(Deepseek-v4-flash) 만으로 2주를 보낸 것 같습니다.https://modu-print.com/posts/16787/Sun, 03 May 2026 10:07:21 +0900https://modu-print.com/posts/16787/다양한 모델을 테스트하며 2주간 1억 토큰 이상의 개발 작업을 진행해 본 결과, 당분간은 Qwen 3.6 35b a3b 모델을 LM Studio와 Claude Code 환경에서 주력으로 사용할 계획입니다. Deepseek-V4 Flash가 기대되긴 하지만, 어째서인지 아직 LM Studio에는 관련 업데이트가 진행되지 않고 있습니다. Hugging Face에는 이미 모델들이 올라오고 있음에도 말이죠. 현재 제 활용 범위에서는 LM Studio를 벗어날 이유가 없기에 조금 더 기다려보려 합니다. DeepSeek-V4 Pro의 경우 양자화를 타협한다면 구동은 가능할 것입니다. 다만 타협을 잘 해도 2-bit 양자화 정도가 한계일 텐데, 아무리 MoE 구조로 1.6T 파라미터 중 49B만 활성화된다고 해도 30B급 Dense 모델들이 보통 10~20 TPS 내외인 점을 고려하면, 49B 활성 파라미터 모델의 속도 또한 충분히 예측 가능합니다. 따라서 실사용하기에는 다소 답답할 것으로 보입니다.https://modu-print.com/posts/16765/Fri, 24 Apr 2026 11:33:53 +0900https://modu-print.com/posts/16765/qwen-3.6-27b 모델을 Unsloth 에서 파인튜닝한 모델을 받아서 돌려 봤습니다. 양자화는 Q8_K_XL 입니다. 앞서 글 올린 Qwen-3.6-36b-a3b 는 MoE 모델이라 대충 70~80Tps 정도의 속도가 나왔는데, 역시나 Dense모델인 27b는 속도가 생각보다 많이 느리네요. 물론 Metal 가속을 사용하는 맥의 특성일수도 있고 Nividia랑 친한 Unsloth 에서 파인튜닝한 UD모델을 사용해서 더 그럴순 있겠습니다만. 앞서 글 올린 Qwen-3.6-35b-a3b 의 경우도 동일하게 Unsloth 에서 파인튜닝한 Q8_K_XL UD 모델이었습니다.https://modu-print.com/posts/16445/Sat, 28 Mar 2026 22:47:16 +0900https://modu-print.com/posts/16445/비개발자들은 Ai를 업무 자동화나 채팅을 통한 정보수집? 문제해결? 그런 용도로 가장 많이 사용하지만 개발자들의 경우 IDE에서 코드작성시 코드 자동완성에 도움을 주는 방식으로도 많이 사용하십니다. Github의 Copilot이 어찌보면 선두주자였는데 지금은 좀 아쉽죠? 물론 클로드 코드 등장으로 코드작성은 개발자가 더이상 하지 않아도 된다느니 딸깍? 해줘? 하면 그만이고 코드한줄 보지 않고 무언갈 완성 했다느니 하는 시절이긴 합니다만.. 그럼에도 불구하고 세상의 모든 개발자들이 더이상 코드작성을 하지 않고 ide를 사용하지 않는건 아니니까요.https://modu-print.com/posts/16359/Wed, 18 Mar 2026 17:24:28 +0900https://modu-print.com/posts/16359/Introducing Unsloth Studio | Unsloth Documentation Run and train AI models locally with Unsloth Studio. 최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다. 그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는https://modu-print.com/posts/16296/Fri, 13 Mar 2026 23:04:42 +0900https://modu-print.com/posts/16296/DGX-Spark 를 클러스터로 사용중인 지인이 한분 계신데요 몇일 전에 Nemotron 새 모델이 나왔다고 꽤 쓸만 하다는 말씀을 해주셔서.. 간단히 테스트를 하는 중입니다. 사실 llama-nemotron 계열 모델은 잠시 사용을 해봤었는데 일단 llama 자체가 저와는 좀 안맞는 모델이어서 아무리 nvidia 가 파인튜닝을 했다 한들 근본이 어디 가진 않을거라 생각 해서 nemotron 은 그리 관심을 두지 않았습니다. 그래도 llama가 아닌 nvidia 가 처음부터 학습 시켰다는 글들을 보고 몇 달 전에 나온 Nemotron-3-nano 의 경우에는 사용을 잠시 해봤습니다만. 아무래도 제가 사용하는 장치가 NVIDIA 가 아닌 애플 Metal 기반 장치다보니 자잘한 문제가 있었습니다.