카테고리 :: AI
전체 26개
Google Gemini 4 Argon 짧은 소감.
구글은 현재 Ultra 하나 Pro 하나 이렇게 2개 계정을 돌리고 있습니다만 .. 사용량 자체를 Gemini 4 Argon 은 아에 분리를 해 두긴 했습니다만. 진짜 .. 작업물 수준은 Flash 모델들 대비해서 꽤 좋게 올라온건 사실인데. 문제는 ..
ds4.c(DwarfStar 4) + Deepseek-v4.1-flash 사용기
ds4.c 가 Deepseek 모델 외에도 Glm, Qwen 다양한 모델을 지원하기 시작하면서 부터는 기존에 같이 사용하던 omlx, llama.cpp, mlx-ml등 다른 추론엔진들은 전부 제거하고 ds4.c 하나만 local llm에 사용중입니다. 앞서 다른 글에서도 언급한적 있지 …
DWARFSTAR(ds4.c) 최근 사용기..
GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA …
DWARFSTAR(ds4.c) DSpark 업데이트
GitHub - antirez/ds4: DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA and ROCm DeepSeek 4 Flash and PRO local inference engine for Metal, CUDA …
Deepseek v4 API 서비스 사용기
최근에 DS4.c 를 활용해서 LocalLLM 으로 Deepseek v4 Flash 모델을 정말 잘 활용 해 오고 있었습니다. 그런 와중에 DS4.c 에서 Pro 모델에 대한 지원도 추가를 해줘서 Pro 모델도 살짝 돌려보긴 했습니다만. Flash 모델의 경우도 25tps 정도로 약간 …
DS4.c(DwarfStar 4) - Deepseek-v4-flash 2주 사용후기
GitHub - antirez/ds4: DeepSeek 4 Flash local inference engine for Metal and CUDA DeepSeek 4 Flash local inference engine for Metal and CUDA - antirez/ds4 …
DwarfStar4 (ds4.c) DeepSeek v4 Flash만을 위한 추론 엔진
앞서 몇몇 글에서도 DeepSeek v4 Flash 에 대해서 좀 기대를 하고 있단 말을 적었습니다만 .. 아직 llama.cpp 쪽에서 deepseek v4 에 대해서 작업이 끝나지 못해서 인지 어떤 이유인지 모르지만 아직 LM Studio 나 Ollama 에 클라우드용 모델외에 직 …
Qwen 3.6 / 35b a3b / 27b / 4bit, 8bit, mlx / etc
다양한 모델을 테스트하며 2주간 1억 토큰 이상의 개발 작업을 진행해 본 결과, 당분간은 Qwen 3.6 35b a3b 모델을 LM Studio와 Claude Code 환경에서 주력으로 사용할 계획입니다. Deepseek-V4 Flash가 기대되긴 하지만, 어째서인지 아직 LM …
Unsloth/Qwen-3.6-27b
qwen-3.6-27b 모델을 Unsloth 에서 파인튜닝한 모델을 받아서 돌려 봤습니다. 양자화는 Q8_K_XL 입니다. 앞서 글 올린 Qwen-3.6-36b-a3b 는 MoE 모델이라 대충 70~80Tps 정도의 속도가 나왔는데, 역시나 Dense모델인 27b는 속도가 생각보다 많 …
LM Studio + Unsloth/Qwen-3.6-35b-a3b
최근 오픈소스 AI 모델은 중국쪽이 열일 하는 느낌입니다. 클로드 코드를 학습하고 있다느니 어쩌느니 이러쿵 저러쿵 말도 많긴 합니다만, 현실적으로 개인 사용자들이 사용 가능한 범주 내에서 의미 있는 모델을 주기적으로 계속 배포하고 있는 면에서는 Qwen이 가장 활발한 편이라고 볼 수 …
LM Studio + Claude Code + AdamBench prompt
LocalLLM 을 활용하다 보면 가장 많이 하게 되는 짓이 수 많은 모델들 중에 무엇을 사용해야 할지와 다운로드 받은 모델이 쓸만 할지 판단하는게 꽤나 귀찮은 일입니다. 저는 최근에는 Claude Code 의 환경변수와 설정파일을 수정해서 Claude Code 는 Opus, …
IDE 자동완성용 모델 추천 - Qwen2.5-coder-3b-instruct
비개발자들은 Ai를 업무 자동화나 채팅을 통한 정보수집? 문제해결? 그런 용도로 가장 많이 사용하지만 개발자들의 경우 IDE에서 코드작성시 코드 자동완성에 도움을 주는 방식으로도 많이 사용하십니다. Github의 Copilot이 어찌보면 선두주자였는데 지금은 좀 아쉽죠? 물론 클로드 …
LM Studio 업데이트 후 TPS 급감현상
mlx-ml, vLLM, Ollama 등도 새버전이 나오곤 하면 테스트겸 가끔 사용하긴 합니다만, 주력으로 사용중인건 LM Studio 인데요. LLM관련은 업데이트가 워낙 잦고 주기도 빠른지라 하루가 멀다하고 새버전이 나옵니다. 앱 자체의 기능 추가나 버그수정일수도 있고 …
TTS/Voice Clone MimikaStudio
제가 무슨 유명한 유튜버도 아니고 유튜브 영상은 주로 모두의 프린터 사용법 관련된 영상을 만드는게 전부긴 합니다만, 그래도 최근에는 TTS 를 통한 음성도 영상에 포함해서 만들고 있습니다. 최근에는 Typecast 라는 서비스를 구독해서 음성을 만들곤 햇습니다만, 영상을 자주 만드는 …
Unsloth Studio 출시..
Introducing Unsloth Studio | Unsloth Documentation Run and train AI models locally with Unsloth Studio. 최근에 올린 LLM 관련 글들에서 Unsloth 를 많이 언급해 왔습니다. 아직까지 Unsloth 프 …
NVIDIA Nemotron-3-Super
DGX-Spark 를 클러스터로 사용중인 지인이 한분 계신데요 몇일 전에 Nemotron 새 모델이 나왔다고 꽤 쓸만 하다는 말씀을 해주셔서.. 간단히 테스트를 하는 중입니다. 사실 llama-nemotron 계열 모델은 잠시 사용을 해봤었는데 일단 llama 자체가 저와는 좀 안맞는 …
minimax-m2.5 / mlx vs unsloth
최근 주로 사용하는 minimax m2.5 모델의 gguf/mlx 모델과 unsloth 모델의 단순 프롬프트 tps 차이에 대해서 기록을 남깁니다. Bash minimax-m2.5:Q4_K_S - unsloth Prediction Stats: Stop Reason: eosFound …
Qwen3-coder-next / mlx vs unsloth
앞서 qwen3 계열 모델들이 Tool calling 에 문제가 있다는 글을 여러번 작성 했는데요 .. 현재까지 제가 찾아보고 해본 정보로는 qwen3 모델의 경우 qwen 전용 툴로 학습되었다는 것이고 .. chat template 를 수정해서 극복 가능하지 않을까 라는 생각으로 여 …
Mac Studio M3 Ultra 512g + LocalLLM + Agents
여전히 클로드코드니 코덱스니 이런저런 다양한 놈들을 사용하는 와중에 틈틈히 LocalLLM 만으로 어느정도 수준까지 사용이 가능하지에 대한 많은 연구와 테스트를 해보고 있습니다. 새로운 모델이 등장하는 텀이 좀 길어지는 느낌이긴 합니다만 .. 현재까지 정말 다양한 모델을 LM …
LM Studio + Opencode + OMO + 이런저런 모델들
맥 스튜디오 M3 Ultra 512g 모델로 이런짓 저런짓을 좀 해보고 있는 와중에 중간 중간 관련 글을 정리해 올려보고 있습니다. Bash pirogom@pirogom-Mac-Studio ~ % lms ls You have 12 models, taking up 599.66 GB of …