태그 :: LocalLLM
전체 13개
DWARFSTAR(ds4.c) 최근 사용기..
GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA …
DS4.c(DwarfStar 4) - Deepseek-v4-flash 2주 사용후기
GitHub - antirez/ds4: DeepSeek 4 Flash local inference engine for Metal and CUDA DeepSeek 4 Flash local inference engine for Metal and CUDA - antirez/ds4 …
DwarfStar4 (ds4.c) DeepSeek v4 Flash만을 위한 추론 엔진
앞서 몇몇 글에서도 DeepSeek v4 Flash 에 대해서 좀 기대를 하고 있단 말을 적었습니다만 .. 아직 llama.cpp 쪽에서 deepseek v4 에 대해서 작업이 끝나지 못해서 인지 어떤 이유인지 모르지만 아직 LM Studio 나 Ollama 에 클라우드용 모델외에 직 …
Qwen 3.6 / 35b a3b / 27b / 4bit, 8bit, mlx / etc
다양한 모델을 테스트하며 2주간 1억 토큰 이상의 개발 작업을 진행해 본 결과, 당분간은 Qwen 3.6 35b a3b 모델을 LM Studio와 Claude Code 환경에서 주력으로 사용할 계획입니다. Deepseek-V4 Flash가 기대되긴 하지만, 어째서인지 아직 LM …
Unsloth/Qwen-3.6-27b
qwen-3.6-27b 모델을 Unsloth 에서 파인튜닝한 모델을 받아서 돌려 봤습니다. 양자화는 Q8_K_XL 입니다. 앞서 글 올린 Qwen-3.6-36b-a3b 는 MoE 모델이라 대충 70~80Tps 정도의 속도가 나왔는데, 역시나 Dense모델인 27b는 속도가 생각보다 많 …
LM Studio + Unsloth/Qwen-3.6-35b-a3b
최근 오픈소스 AI 모델은 중국쪽이 열일 하는 느낌입니다. 클로드 코드를 학습하고 있다느니 어쩌느니 이러쿵 저러쿵 말도 많긴 합니다만, 현실적으로 개인 사용자들이 사용 가능한 범주 내에서 의미 있는 모델을 주기적으로 계속 배포하고 있는 면에서는 Qwen이 가장 활발한 편이라고 볼 수 …
LM Studio + Claude Code + AdamBench prompt
LocalLLM 을 활용하다 보면 가장 많이 하게 되는 짓이 수 많은 모델들 중에 무엇을 사용해야 할지와 다운로드 받은 모델이 쓸만 할지 판단하는게 꽤나 귀찮은 일입니다. 저는 최근에는 Claude Code 의 환경변수와 설정파일을 수정해서 Claude Code 는 Opus, …
Mac Studio M3 Ultra 512g + LocalLLM + Agents
여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM …
LM Studio/Qwen3-Coder-Next/80b/mlx
이것저것 해보는김에 .. LM Studio 를 다시 업데이트하고 앞서 Ollama 와 mlx-ml 로 테스트 해본 Qwen3-Coder-Next의 MLX 버전 모델을 LM Studio에 올려 봤습니다. 기왕 하는김에 4Bit, 8Bit 차이도 궁금해서 둘다 받아 봤습니다. 기존에 …
mlx-ml/Qwen3-Coder-Next-4Bit
앞서 작성한 글들에서 mlx-ml 은 불안정 해서 사용하지 못하고 있다는 내용을 작성한적 있습니다. 그래도 일단 애플 하드웨어에서 mlx의 성능차이가 궁금하신 분들이 계실겁니다. 몇몇 분은 데이터좀 알려달라고 하시기도 했구요 .. 일단 허깅페이스의 mlx커뮤니티에서 …
Ollama/qwen3-coder:480b/GGUF
이번에는 많은 곳에서 언급하곤 하는 좀 큰 모델에 대한 기록을 남겨봅니다. qwen3-coder의 480b 모델이구요.. 여러 블로그나 유튭 영상등에서 제 맥스튜디오와 동일사양에서 이 모델을 올려 쓴다느니 하는 글을 봐서 받아본 모델입니다. 일단 모델 파일 용량만 290GB 정도라 다 …
Ollama/qwen3-coder-next/80b/GGUF
애플 맥 스튜디오 M3 Ultra 512GB 모델과 Ollama를 통해 LocalLLM 을 구성해 사용하다보니 이런저런 모델을 사용해보곤 합니다. 따로 특별히 기록을 하지 않고 그냥 그때그때 막 바꿔 쓰다보니 전에 사용하던 모델이랑 어떤 차이가 나는지 알기가 힘들어서 기록 차원에서 정 …
Mac Studio M3 Ultra 512g 와 함께하는 LocalLLM
어쩌다 보니 .. 회사에서 Apple Mac Studio M3 Ultra 512gb 모델을 사줘서 Local LLM을 구성해서 기존에 사용하던 클로드 코드나 코덱스등의 구독형 Ai 서비스와 병행해서 이런저런 짓을 한달 넘게 해보고 있습니다. 어쩌면 개인이 넘볼 수 있는 LocalLLM …