https://modu-print.com/categories/ai/Hugoko-KRThu, 22 Oct 2026 13:31:53 +0900https://modu-print.com/posts/18163/Fri, 16 Oct 2026 16:42:46 +0900https://modu-print.com/posts/18163/구글은 현재 Ultra 하나 Pro 하나 이렇게 2개 계정을 돌리고 있습니다만 .. 사용량 자체를 Gemini 4 Argon 은 아에 분리를 해 두긴 했습니다만. 진짜 .. 작업물 수준은 Flash 모델들 대비해서 꽤 좋게 올라온건 사실인데. 문제는 ..https://modu-print.com/posts/18142/Thu, 15 Oct 2026 08:42:33 +0900https://modu-print.com/posts/18142/ds4.c 가 Deepseek 모델 외에도 Glm, Qwen 다양한 모델을 지원하기 시작하면서 부터는 기존에 같이 사용하던 omlx, llama.cpp, mlx-ml등 다른 추론엔진들은 전부 제거하고 ds4.c 하나만 local llm에 사용중입니다. 앞서 다른 글에서도 언급한적 있지만 Deepseek v4 flash 0731와 Dspark가 적용된 뒤로는 ds4.c에 남은 아쉬움 이라고는 모델 자체가 vision을 지원하지 않는다는 것, 별도로 나온 Deepseek v4 vision의 경우 기본적인 지능이 0731과 차이가 나서 코딩 작업에 사용하기 좀 아쉬웠다?https://modu-print.com/posts/17886/Tue, 15 Sep 2026 12:36:08 +0900https://modu-print.com/posts/17886/GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm - antirez/ds4 Redis 개발자로 유명한 Antirez의 ds4.c 가 정말 하루가 다르게 엄청나게 발전을 하고 하나둘씩 다양한 모델을 지원하기 시작하면서 ..https://modu-print.com/posts/17288/Sun, 26 Jul 2026 21:12:20 +0900https://modu-print.com/posts/17288/GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm - antirez/ds4 일전에 ds4.c 관련해서 꽤나 긍정적인 방향으로 글을 몇 번 써 왔습니다만. 여전히 ds4.c를 통해 LocalLLM으로 Deepseek-v4-flash를 잘 사용하고 있습니다.https://modu-print.com/posts/16988/Tue, 09 Jun 2026 10:19:37 +0900https://modu-print.com/posts/16988/최근에 DS4.c 를 활용해서 LocalLLM 으로 Deepseek v4 Flash 모델을 정말 잘 활용 해 오고 있었습니다. 그런 와중에 DS4.c 에서 Pro 모델에 대한 지원도 추가를 해줘서 Pro 모델도 살짝 돌려보긴 했습니다만. Flash 모델의 경우도 25tps 정도로 약간 답답한 속도를 보여 줫는데 Pro 모델의 경우 모델을 로딩만 해도 일단 512g 의 통합 메모리인 맥 스튜디오 m3 Ultra 라 해도 1M 컨텍스트는 꿈도 못꿉니다. 컨텍스트 타협을 해야 돌려는 볼 수 있고 속도 자체도 5~7tps 정도로 나와서 .. 사실 실 사용 하기엔 좀 많이 답답합니다.https://modu-print.com/posts/16948/Sun, 24 May 2026 20:15:36 +0900https://modu-print.com/posts/16948/GitHub - antirez/ds4: DeepSeek 4 Flash local inference engine for Metal and CUDA DeepSeek 4 Flash local inference engine for Metal and CUDA - antirez/ds4 DwarfStar4 (ds4.c) DeepSeek v4 Flash만을 위한 추론 엔진 앞서 DS4.c 에 대해 간단히 글을 작성 했는데요, 대략 거의 코딩을 위한 로컬LLM은 Claude Code + DS4.c(Deepseek-v4-flash) 만으로 2주를 보낸 것 같습니다.https://modu-print.com/posts/16908/Fri, 15 May 2026 15:49:54 +0900https://modu-print.com/posts/16908/앞서 몇몇 글에서도 DeepSeek v4 Flash 에 대해서 좀 기대를 하고 있단 말을 적었습니다만 .. 아직 llama.cpp 쪽에서 deepseek v4 에 대해서 작업이 끝나지 못해서 인지 어떤 이유인지 모르지만 아직 LM Studio 나 Ollama 에 클라우드용 모델외에 직접 다운로드 해서 쓸수 있는 형태로 업데이트가 올라오고 있진 않습니다. 이미 HuggingFace 에 이런저런 양자화 모델로 등장을 하고 있는지도 꽤 지났는데 말이죠 .. 그런 와중에 제 기준으론 꽤 반가운 놈이 출시가 되어서 어제부터 이짓 저짓에 매우 열심히 써보고 있습니다.https://modu-print.com/posts/16787/Sun, 03 May 2026 10:07:21 +0900https://modu-print.com/posts/16787/다양한 모델을 테스트하며 2주간 1억 토큰 이상의 개발 작업을 진행해 본 결과, 당분간은 Qwen 3.6 35b a3b 모델을 LM Studio와 Claude Code 환경에서 주력으로 사용할 계획입니다. Deepseek-V4 Flash가 기대되긴 하지만, 어째서인지 아직 LM Studio에는 관련 업데이트가 진행되지 않고 있습니다. Hugging Face에는 이미 모델들이 올라오고 있음에도 말이죠. 현재 제 활용 범위에서는 LM Studio를 벗어날 이유가 없기에 조금 더 기다려보려 합니다. DeepSeek-V4 Pro의 경우 양자화를 타협한다면 구동은 가능할 것입니다. 다만 타협을 잘 해도 2-bit 양자화 정도가 한계일 텐데, 아무리 MoE 구조로 1.6T 파라미터 중 49B만 활성화된다고 해도 30B급 Dense 모델들이 보통 10~20 TPS 내외인 점을 고려하면, 49B 활성 파라미터 모델의 속도 또한 충분히 예측 가능합니다. 따라서 실사용하기에는 다소 답답할 것으로 보입니다.https://modu-print.com/posts/16765/Fri, 24 Apr 2026 11:33:53 +0900https://modu-print.com/posts/16765/qwen-3.6-27b 모델을 Unsloth 에서 파인튜닝한 모델을 받아서 돌려 봤습니다. 양자화는 Q8_K_XL 입니다. 앞서 글 올린 Qwen-3.6-36b-a3b 는 MoE 모델이라 대충 70~80Tps 정도의 속도가 나왔는데, 역시나 Dense모델인 27b는 속도가 생각보다 많이 느리네요. 물론 Metal 가속을 사용하는 맥의 특성일수도 있고 Nividia랑 친한 Unsloth 에서 파인튜닝한 UD모델을 사용해서 더 그럴순 있겠습니다만. 앞서 글 올린 Qwen-3.6-35b-a3b 의 경우도 동일하게 Unsloth 에서 파인튜닝한 Q8_K_XL UD 모델이었습니다.https://modu-print.com/posts/16738/Fri, 24 Apr 2026 06:52:51 +0900https://modu-print.com/posts/16738/최근 오픈소스 AI 모델은 중국쪽이 열일 하는 느낌입니다. 클로드 코드를 학습하고 있다느니 어쩌느니 이러쿵 저러쿵 말도 많긴 합니다만, 현실적으로 개인 사용자들이 사용 가능한 범주 내에서 의미 있는 모델을 주기적으로 계속 배포하고 있는 면에서는 Qwen이 가장 활발한 편이라고 볼 수 있겠네요. Qwen 3.6 과 관련해서는 클라우드 서비스 쪽에 Qwen 3.6 Plus 연나.. 여튼 클라우드 전용 모델로 먼저 공개된 모델이 평이 워낙 좋았어서 기대는 하고 있었습니다.https://modu-print.com/posts/16489/Sat, 04 Apr 2026 09:47:35 +0900https://modu-print.com/posts/16489/LocalLLM 을 활용하다 보면 가장 많이 하게 되는 짓이 수 많은 모델들 중에 무엇을 사용해야 할지와 다운로드 받은 모델이 쓸만 할지 판단하는게 꽤나 귀찮은 일입니다. 저는 최근에는 Claude Code 의 환경변수와 설정파일을 수정해서 Claude Code 는 Opus, Sonnet, Haiku 인주 알고 돌겠지만 실제로는 제 Mac Studio M3 Ultra(512gb ram)에서 동작중인 LM Studio 의 모델들로 돌아가게 되는 식으로 설정을 변경해서 사용중인데요.. 이게 모델 교체를 해서 쓰려면 환경변수든 설정파일이든 수정을 해서 써야하는데 꽤 귀찮기도하고 ..https://modu-print.com/posts/16445/Sat, 28 Mar 2026 22:47:16 +0900https://modu-print.com/posts/16445/비개발자들은 Ai를 업무 자동화나 채팅을 통한 정보수집? 문제해결? 그런 용도로 가장 많이 사용하지만 개발자들의 경우 IDE에서 코드작성시 코드 자동완성에 도움을 주는 방식으로도 많이 사용하십니다. Github의 Copilot이 어찌보면 선두주자였는데 지금은 좀 아쉽죠? 물론 클로드 코드 등장으로 코드작성은 개발자가 더이상 하지 않아도 된다느니 딸깍? 해줘? 하면 그만이고 코드한줄 보지 않고 무언갈 완성 했다느니 하는 시절이긴 합니다만.. 그럼에도 불구하고 세상의 모든 개발자들이 더이상 코드작성을 하지 않고 ide를 사용하지 않는건 아니니까요.https://modu-print.com/posts/16426/Wed, 25 Mar 2026 03:26:02 +0900https://modu-print.com/posts/16426/mlx-ml, vLLM, Ollama 등도 새버전이 나오곤 하면 테스트겸 가끔 사용하긴 합니다만, 주력으로 사용중인건 LM Studio 인데요. LLM관련은 업데이트가 워낙 잦고 주기도 빠른지라 하루가 멀다하고 새버전이 나옵니다. 앱 자체의 기능 추가나 버그수정일수도 있고 llama.cpp 같은 Ai 관련 런타임의 변경일수도 있습니다만.. LM Studio의 경우에는 실행시 새버전이 존재하면 업데이트 여부를 묻고 자동으로 업데이트를 진행 하도록 만들어진 프로그램인데요, 희한한 현상을 하나 겪어서 공유합니다.https://modu-print.com/posts/16377/Thu, 19 Mar 2026 23:44:09 +0900https://modu-print.com/posts/16377/제가 무슨 유명한 유튜버도 아니고 유튜브 영상은 주로 모두의 프린터 사용법 관련된 영상을 만드는게 전부긴 합니다만, 그래도 최근에는 TTS 를 통한 음성도 영상에 포함해서 만들고 있습니다. 최근에는 Typecast 라는 서비스를 구독해서 음성을 만들곤 햇습니다만, 영상을 자주 만드는 것도 아니고 보통은 기존 영상에 수정이 필요한 몇 분 내외의 음성데이터만 필요한데 계속 구독을 하는 것도 좀 돈이 아깝긴 하더라구요. 보통 TTS 에 필요한 모델들은 코딩 에이전트등에 쓰이는 추론 모델들에 비해서는 매우 크기가 작은 편에 속합니다. 보통 8기가 이상의 VRAM 을 가진 NVIDIA GPU 라면 돌려 볼 수 있는 모델들이 꽤 있으니 512GB의 맥 스튜디오를 사용하는 제 입장으론 TTS 쪽은 직접 설치해서 써도 충분한 영역이긴 합니다.https://modu-print.com/posts/16359/Wed, 18 Mar 2026 17:24:28 +0900https://modu-print.com/posts/16359/Introducing Unsloth Studio | Unsloth Documentation Run and train AI models locally with Unsloth Studio. 최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다. 그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는https://modu-print.com/posts/16296/Fri, 13 Mar 2026 23:04:42 +0900https://modu-print.com/posts/16296/DGX-Spark 를 클러스터로 사용중인 지인이 한분 계신데요 몇일 전에 Nemotron 새 모델이 나왔다고 꽤 쓸만 하다는 말씀을 해주셔서.. 간단히 테스트를 하는 중입니다. 사실 llama-nemotron 계열 모델은 잠시 사용을 해봤었는데 일단 llama 자체가 저와는 좀 안맞는 모델이어서 아무리 nvidia 가 파인튜닝을 했다 한들 근본이 어디 가진 않을거라 생각 해서 nemotron 은 그리 관심을 두지 않았습니다. 그래도 llama가 아닌 nvidia 가 처음부터 학습 시켰다는 글들을 보고 몇 달 전에 나온 Nemotron-3-nano 의 경우에는 사용을 잠시 해봤습니다만. 아무래도 제가 사용하는 장치가 NVIDIA 가 아닌 애플 Metal 기반 장치다보니 자잘한 문제가 있었습니다.https://modu-print.com/posts/16236/Fri, 06 Mar 2026 10:51:59 +0900https://modu-print.com/posts/16236/최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. Bash minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound Tokens/Second: 45.72 Time to First Token: 13.356s Prompt Tokens: 6057 Predicted Tokens: 166 Total Tokens: 6223 minimax-m2.5:4Bit - lmstudio-community Prediction Stats: Stop Reason: eosFound Tokens/Second: 38.61 Time to First Token: 9.598s Prompt Tokens: 6153 Predicted Tokens: 1217 Total Tokens: 7370 minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound Tokens/Second: 45.72 Time to First Token: 13.356s Prompt Tokens: 6057 Predicted Tokens: 166 Total Tokens: 6223 minimax-m2.5:4Bit - lmstudio-community Prediction Stats: Stop Reason: eosFound Tokens/Second: 38.61 Time to First Token: 9.598s Prompt Tokens: 6153 Predicted Tokens: 1217 Total Tokens: 7370https://modu-print.com/posts/16223/Fri, 06 Mar 2026 10:42:29 +0900https://modu-print.com/posts/16223/앞서 qwen3 계열 모델들이 Tool calling 에 문제가 있다는 글을 여러번 작성 했는데요 .. 현재까지 제가 찾아보고 해본 정보로는 qwen3 모델의 경우 qwen 전용 툴로 학습되었다는 것이고 .. chat template 를 수정해서 극복 가능하지 않을까 라는 생각으로 여러 짓을 해봤으나 .. 그리 결과가 좋지는 못했습니다. 현재까지는 tps의 이점 때문에 gguf/mlx 모델을 선호해 왔습니다만 .. 아무래도 mlx 진영이 Ai 모델 시장에서는 사용자가 소수인 상황이라 상대적으로 발전이 느린 느낌이네요 ..https://modu-print.com/posts/16187/Tue, 03 Mar 2026 19:21:19 +0900https://modu-print.com/posts/16187/여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM Studio, Ollama, mlx-ml, llama.cpp, exo 등에서 사용을 해봤습니다만 .. Openai API 를 통한 채팅 기반의 사용에서는 어떤 모델이든 대체로 큰 문제 없이 사용이 가능합니다만 ..https://modu-print.com/posts/16150/Sat, 28 Feb 2026 01:58:26 +0900https://modu-print.com/posts/16150/맥 스튜디오 M3 Ultra 512g 모델로 이런짓 저런짓을 좀 해보고 있는 와중에 중간 중간 관련 글을 정리해 올려보고 있습니다. Bash pirogom@pirogom-Mac-Studio ~ % lms ls You have 12 models, taking up 599.66 GB of disk space. LLM PARAMS ARCH SIZE DEVICE google/gemma-3-27b (1 variant) 27B gemma3 16.87 GB Local llama-3.3-70b-instruct@4bit 70B Llama 39.71 GB Local llama-3.3-70b-instruct@8bit 70B Llama 74.98 GB Local llama-4-scout-17b-16e@4bit 17B llama4 61.14 GB Local llama-4-scout-17b-16e@8bit 17B llama4 115.46 GB Local minimax/minimax-m2.5 (1 variant) 230B minimax_m2 128.68 GB Local qwen2.5-coder-3b-instruct-mlx 3B Qwen2 1.75 GB Local qwen3-coder-next@4bit qwen3_next 44.86 GB Local qwen3-coder-next@8bit qwen3_next 84.67 GB Local zai-org/glm-4.6v-flash (1 variant) 9B glm4v 7.09 GB Local zai-org/glm-4.7-flash (1 variant) 30B glm4_moe_lite 24.36 GB Local EMBEDDING PARAMS ARCH SIZE DEVICE text-embedding-nomic-embed-text-v1.5 Nomic BERT 84.11 MB Local pirogom@pirogom-Mac-Studio ~ % lms ls You have 12 models, taking up 599.66 GB of disk space. LLM PARAMS ARCH SIZE DEVICE google/gemma-3-27b (1 variant) 27B gemma3 16.87 GB Local llama-3.3-70b-instruct@4bit 70B Llama 39.71 GB Local llama-3.3-70b-instruct@8bit 70B Llama 74.98 GB Local llama-4-scout-17b-16e@4bit 17B llama4 61.14 GB Local llama-4-scout-17b-16e@8bit 17B llama4 115.46 GB Local minimax/minimax-m2.5 (1 variant) 230B minimax_m2 128.68 GB Local qwen2.5-coder-3b-instruct-mlx 3B Qwen2 1.75 GB Local qwen3-coder-next@4bit qwen3_next 44.86 GB Local qwen3-coder-next@8bit qwen3_next 84.67 GB Local zai-org/glm-4.6v-flash (1 variant) 9B glm4v 7.09 GB Local zai-org/glm-4.7-flash (1 variant) 30B glm4_moe_lite 24.36 GB Local EMBEDDING PARAMS ARCH SIZE DEVICE text-embedding-nomic-embed-text-v1.5 Nomic BERT 84.11 MB Localhttps://modu-print.com/posts/16110/Sat, 21 Feb 2026 22:16:02 +0900https://modu-print.com/posts/16110/이런 저런 ai 서비스 업체들의 모델들도 사용하면서 LocalLLM 을 병행하거나 휴일에는 100% LocalLLM 만 가지고 에이전트를 물리거나 하는 등의 실험? 프로젝트를 돌려보고 있습니다. 클로드 코드가 익숙해서 가능하면 클로드 코드를 사용하고 싶지만 .. 클로드 코드의 경우 LocalLLM 을 사용하기 위한 환경변수 설정을 하더라도 Opus, Sonnet, Haiku 같은 모델 명칭으로 픽스된 내부 기능들의 경우 LocalLLM 커넥션인 상태에선 문제가 발생하기도 해서 Opencode 를 좀 활용해 볼까 하고 .. 이짓 저짓을 해보고 있습니다.https://modu-print.com/posts/16094/Sat, 21 Feb 2026 11:38:33 +0900https://modu-print.com/posts/16094/이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 ..https://modu-print.com/posts/16072/Sat, 21 Feb 2026 09:53:26 +0900https://modu-print.com/posts/16072/앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 Qwen3-Coder-Next-4bit 라는 모델을 hf download 명령으로 다운로드 받았습니다. https://huggingface.co/mlx-community/Qwen3-Coder-Next-4bit Bash hf download mlx-community/Qwen3-Coder-Next-4bit hf download mlx-community/Qwen3-Coder-Next-4bit Qwen/Qwen3-Coder-Next 모델을 mlx 로 변환한 모델입니다. 파일크기는 44.8기가 정도이구요.https://modu-print.com/posts/16045/Fri, 20 Feb 2026 09:45:15 +0900https://modu-print.com/posts/16045/이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다운로드받는데 2시간 가까이 걸리는 관계로 .. ollama pull 걸어두고 자고 일어났네요. 우선 제가 뭘 잘못 한건지 ollama 문제인지 mlx 모델이 아닌 gguf 모델을 써서 그런지는 모르겠습니다만.. 좀 뭔가 이상해요..https://modu-print.com/posts/16017/Thu, 19 Feb 2026 20:54:55 +0900https://modu-print.com/posts/16017/애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정보를 좀 공유해보겠습니다. qwen3-coder-next 모델에 대한 정보는 아래 링크에서 확인하시구요. https://ollama.com/library/qwen3-coder-next 에이전틱 코딩 워크플로과 로컬 개발에 최적화된 모델이라 해서 사용해보고 있습니다.https://modu-print.com/posts/15925/Mon, 09 Feb 2026 08:50:14 +0900https://modu-print.com/posts/15925/워낙 많은 언어와 윈도,맥,리눅스등 여러 플랫폼에 대한 개발을 하다보니.. Ai 관련은 플러그인 연동이나 기타 여러 상황상 Vs code에서 진행을 한 경우가 많았습니다...만;; 아무래도 Jetbrains의 IDE가 Vscode 대비 불필요한 설정에 에너지를 덜 쓰기 때문에 최근에는 Jetbrains 의 Goland를 주력으로 사용하고 있습니다. Jetbrains에선 Java, js, c, c#등 정말 다양한 언어를 위한 ide를 판매중이지만 개인적인 경험으론 뭐라도 하나 유료구독을 하면 나머지 기타 언어들은 플러그인 설치만 하더라도 필요한 대부분의 기능은 사용할 수 있습니다.