반응형

로컬llm 2

맥북 M3 Max에서 Qwen3.8 27B 로컬 실행하기: Ollama vs MLX 속도 비교 (실측 3.4배 차이)

최근 로컬 LLM에 관심이 많아지면서 MacBook에서도 어느 정도 수준의 AI 모델을 직접 실행할 수 있는지 테스트하고 있다. 특히 코딩과 디버깅 용도로 사용할 수 있는 모델을 찾고 있었는데, 최근 공개된 Alibaba Qwen 시리즈의 Qwen3.8이 상당히 흥미로웠다. 사용하는 MacBook Pro는 M3 Max, 30-core GPU, Unified Memory 36GB 사양이다. 이 환경에서 Qwen3.8 27B 모델을 Ollama로 실행해 보고, 일반 버전과 MLX 버전의 속도를 직접 비교했다.테스트 결과 요약Qwen3.8 27B 일반 버전9.74 tokens/secQwen3.8 27B MLX 버전33.26 tokens/sec약 3.41배 빠른 생성 속도동일한 프롬프트, 동일한 Context,..

Development 2026.09.29

[로컬 LLM 성능 비교] 맥북 M3 Max 36GB vs 고성능 워크스테이션 (Ollama, Qwen3-Coder 30B 테스트 결과)

실무에서 시스템 아키텍처를 설계하고 C++ 기반의 코드를 작성하다 보면, 생산성 향상을 위해 자연스럽게 AI 코딩 어시스턴트의 도입을 고려하게 된다. 하지만 기업의 핵심 자산인 소스 코드, 특히 자동차 제어 및 보안과 직결된 민감한 데이터를 외부 클라우드 서버(OpenAI, Anthropic 등)로 전송하는 것은 엄격한 보안 규정상 허용되지 않는 경우가 많다. 이러한 제약을 극복하고 안전한 개발 환경을 구축하기 위해 외부 인터넷 연결 없이 오프라인으로 동작하는 로컬 LLM(Local Large Language Model) 을 고려하고 있다. 이 글에서는 개인적으로 사용 중인 두 가지 이질적인 컴퓨팅 환경, 즉 Apple MacBook M3 Max 36GB 모델과 AMD Threadripper Pro 79..

Development 2026.09.07
728x90
반응형