카테고리 :: LocalLLM
전체 24개
mlx-ml/Qwen3-Coder-Next-4Bit
앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 …
Ollama/qwen3-coder:480b/GGUF
이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다 …
Ollama/qwen3-coder-next/80b/GGUF
애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정 …
Mac Studio M3 Ultra 512g 와 함께하는 LocalLLM
어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다. 어쩌면 개인이 넘볼 수 있는 LocalLLM …