https://modu-print.com/tags/mlx/Hugoko-KRThu, 19 Mar 2026 07:43:16 +0900https://modu-print.com/posts/16359/Wed, 18 Mar 2026 17:24:28 +0900https://modu-print.com/posts/16359/Introducing Unsloth Studio | Unsloth Documentation Run and train AI models locally with Unsloth Studio. 최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프로젝트는 어쨌든 Nvidia GPU와 CUDA와 좀더 친한건 사실인데요. 그래서 mlx 모델들 대비 mlx 지원 않는 GGUF 모델이 1~20% 정도 성능이 떨어집니다. 그럼에도 불구하고 맥스튜디오 M3 Ultra, 그러니까 애플 실리콘 기반의 컴퓨터로 LocalLLM을 구동하고 있는 제가 Hugging Face 의 mlx-community에도 꽤 빠릿하게 mlx 모델들이 제공되고 있음에도 Unsloth의 모델들을 주로 사용중인 이유는https://modu-print.com/posts/16236/Fri, 06 Mar 2026 10:51:59 +0900https://modu-print.com/posts/16236/최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. Bash minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound Tokens/Second: 45.72 Time to First Token: 13.356s Prompt Tokens: 6057 Predicted Tokens: 166 Total Tokens: 6223 minimax-m2.5:4Bit - lmstudio-community Prediction Stats: Stop Reason: eosFound Tokens/Second: 38.61 Time to First Token: 9.598s Prompt Tokens: 6153 Predicted Tokens: 1217 Total Tokens: 7370 minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound Tokens/Second: 45.72 Time to First Token: 13.356s Prompt Tokens: 6057 Predicted Tokens: 166 Total Tokens: 6223 minimax-m2.5:4Bit - lmstudio-community Prediction Stats: Stop Reason: eosFound Tokens/Second: 38.61 Time to First Token: 9.598s Prompt Tokens: 6153 Predicted Tokens: 1217 Total Tokens: 7370https://modu-print.com/posts/16223/Fri, 06 Mar 2026 10:42:29 +0900https://modu-print.com/posts/16223/앞서 qwen3 계열 모델들이 Tool calling 에 문제가 있다는 글을 여러번 작성 했는데요 .. 현재까지 제가 찾아보고 해본 정보로는 qwen3 모델의 경우 qwen 전용 툴로 학습되었다는 것이고 .. chat template 를 수정해서 극복 가능하지 않을까 라는 생각으로 여러 짓을 해봤으나 .. 그리 결과가 좋지는 못했습니다. 현재까지는 tps의 이점 때문에 gguf/mlx 모델을 선호해 왔습니다만 .. 아무래도 mlx 진영이 Ai 모델 시장에서는 사용자가 소수인 상황이라 상대적으로 발전이 느린 느낌이네요 ..https://modu-print.com/posts/16094/Sat, 21 Feb 2026 11:38:33 +0900https://modu-print.com/posts/16094/이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 ollama 의 mlx 가 아닌 gguf 모델의 간단한 숫자야구 게임 코드 작성의 결과는 ..https://modu-print.com/posts/16072/Sat, 21 Feb 2026 09:53:26 +0900https://modu-print.com/posts/16072/앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 Qwen3-Coder-Next-4bit 라는 모델을 hf download 명령으로 다운로드 받았습니다. https://huggingface.co/mlx-community/Qwen3-Coder-Next-4bit Bash hf download mlx-community/Qwen3-Coder-Next-4bit hf download mlx-community/Qwen3-Coder-Next-4bit Qwen/Qwen3-Coder-Next 모델을 mlx 로 변환한 모델입니다. 파일크기는 44.8기가 정도이구요.https://modu-print.com/posts/15972/Wed, 18 Feb 2026 15:58:53 +0900https://modu-print.com/posts/15972/어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다. 어쩌면 개인이 넘볼 수 있는 LocalLLM용의 가장 이상적인 장치일 순 있겠으나 .. 개인이 사비로 들여 놓기엔 매우 부담스러운 가격인 놈이긴 합니다. M3 Ultra 512g 통합 메모리 모델 기준 4TB Sdd면 1600만원 가량, 저장공간을 16TB 까지 간다치면 2200만원이 좀 안되는 금액이니 쉽게 구입을 할 수 있는 가격대가 아닌건 사실이죠.. 저는 감사하게도 회사에서 지원을 해줘서 사비로 들이기엔 부담스러울 이놈을 책상위에 놓고 쓰게 되었는데요..