LM Studio 업데이트 후 TPS 급감현상

mlx-ml, vLLM, Ollama 등도 새버전이 나오곤 하면 테스트겸 가끔 사용하긴 합니다만, 주력으로 사용중인건 LM Studio 인데요.

LLM관련은 업데이트가 워낙 잦고 주기도 빠른지라 하루가 멀다하고 새버전이 나옵니다. 앱 자체의 기능 추가나 버그수정일수도 있고 llama.cpp 같은 Ai 관련 런타임의 변경일수도 있습니다만..

LM Studio의 경우에는 실행시 새버전이 존재하면 업데이트 여부를 묻고 자동으로 업데이트를 진행 하도록 만들어진 프로그램인데요, 희한한 현상을 하나 겪어서 공유합니다.

LM Studio 의 Setting 창을 띄우면 System 영역에 Runtime 메뉴가 있습니다. 이 메뉴에서 현재 LM Studio의 구동에 사용중인 각종 런타임에 대한 정보를 확인 가능합니다.

제 경우 Apple Mac Studio M3 Ultra 를 사용중이라 Apple MLX 엔진과 메탈 가속 llama.cpp 엔진이 설치되어 있습니다. 얼마전에 NVIDIA 의 Nemotron-3-Super 이 새로 출시되면서 런타임을 업데이트를 해야 했고 자동으로 업데이트를 마쳤습니다만 ...

업데이트 이후에 기존에 사용중이던 모든 모델의 TPS 가 급감하는 현상이 발생 했습니다. 보통 50 tps 전후가 나오던 Minimax m2.5 의 경우 5 tps 정도, 30~40tps 정도 나오던 Qwen3-Coder-next 의 경우도 3 tps 내외로 거의 TPS 가 1/10토막이 나버렸습니다. Unsloth 의 GGUF 모델을 사용한다 쳐도 매우 비정상적인 성능이라 ..

macmon으로 CPU/GPU 사용량을 띄우고 프롬프트를 때려보니 ..

원래 프롬프트가 간단하던 복잡하던 일단 모델에 뭔가 할일이 주어지면 CPU 사용은 거의 없고 GPU 만 100%를 사용합니다. 작업의 복잡도에 따라서 얼마나 오랜시간이 걸리느냐 차이는 나더라도 일단 GPU 는 100%를 쓴다고 보는게 맞는데 ..

GPU를 거의 10%도 사용 않하고 CPU를 2~30%씩 사용을 하고 있더군요 ..

LM Studio 의 문제인가 싶어서 Ollama 를 띄워봅니다.. 근데 Ollama도 GPU를 제대로 못씁니다. llama.cpp 도 mlx-ml 도 .. 똑 같이 GPU를 제대로 못쓰고 있어서.. 하나하나 전부 다 다시 싹다 지우고 설치도 해보고 ..

모델들도 전부 다 새로 받아보고. Local LLM 사용하시는 분들은 아시겠지만 수십 수백기가가 넘는 모델파일들 새로 받는다는게 사실 ;; 시간이 엄청나게 소요됩니다. 원래 사용하던 모델들 전부 다 다시 받는데 거의 3일 꼬박 걸린것 같네요.

그렇게 별에 별짓을 다 해보다 ..

설마.. 혹시.. 뭔가 OS에 뻑나서 리붓해야 되는 상황인가?? 라는 생각으로 그냥 맥 스튜디오를 완전히 종료하고 다시 켰습니다.

그러고나니 ..

리붓후에 LM Studio의 Setting에서 지금 위 스샷에 Lastest version 이라 적혀진 부분에 "Fix 어쩌구" 라는 파란 버튼이 활성화가 되어 있었습니다. 그 버튼을 눌러서 뭔가가 수정된 후에야 전과 같이 제대로 GPU를 사용하기 시장하네요.

저는 맥을 주로 사용하는 사람이 안니고 최근들어 맥 스튜디오를 LLM용도로 사용하면서 맥을 병행해 사용하고 있을 뿐 .. 그래도 BSD 기반으로 새로 쌓아올린 MacOS 라는 놈도 간혹 리붓을 해야지만 뭔가 제대로 돌아가는 그런 일이 있을 거라곤 생각을 못했네요.

( 상대적으로 MS윈도를 사용하는 개발 컴퓨터는 몇달씩 리붓 한번 없이 절전모드만 사용해도 별탈 없이 사용하곤 합니다만.. )

맥에서 LLM돌리시다 GPU를 제대로 사용 못해서 TPS가 떨어지는 상황이 발생하시면 ..

저같이 이짓저짓 삽질 하시기 전에 우선 리붓먼저 해보세요.

이상입니다.