https://modu-print.com/tags/minimax/Hugoko-KRFri, 06 Mar 2026 10:52:46 +0900https://modu-print.com/posts/16236/Fri, 06 Mar 2026 10:51:59 +0900https://modu-print.com/posts/16236/최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. Bash minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound Tokens/Second: 45.72 Time to First Token: 13.356s Prompt Tokens: 6057 Predicted Tokens: 166 Total Tokens: 6223 minimax-m2.5:4Bit - lmstudio-community Prediction Stats: Stop Reason: eosFound Tokens/Second: 38.61 Time to First Token: 9.598s Prompt Tokens: 6153 Predicted Tokens: 1217 Total Tokens: 7370 minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound Tokens/Second: 45.72 Time to First Token: 13.356s Prompt Tokens: 6057 Predicted Tokens: 166 Total Tokens: 6223 minimax-m2.5:4Bit - lmstudio-community Prediction Stats: Stop Reason: eosFound Tokens/Second: 38.61 Time to First Token: 9.598s Prompt Tokens: 6153 Predicted Tokens: 1217 Total Tokens: 7370https://modu-print.com/posts/16187/Tue, 03 Mar 2026 19:21:19 +0900https://modu-print.com/posts/16187/여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM Studio, Ollama, mlx-ml, llama.cpp, exo 등에서 사용을 해봤습니다만 .. Openai API 를 통한 채팅 기반의 사용에서는 어떤 모델이든 대체로 큰 문제 없이 사용이 가능합니다만 ..