AMD MI300X 단일 가속기로 구현한 DeepSeek V4 Flash 구동 사례와 시사점
고성능 AI 가속기인 AMD MI300X 한 대에서 DeepSeek V4 Flash 모델을 구동하는 기술적 시도와 그 효율성을 살펴봅니다. 오픈소스 생태계에서의 하드웨어 범용성 확장을 검토합니다.
-
-
저사양 GPU로 거대 언어 모델(LLM) 구동하기: AirLLM을 활용한 70B 모델 추론 도입 검토 가이드
고가의 고성능 GPU 없이도 단일 4GB VRAM 환경에서 70B 규모의 LLM을 추론할 수 있게 해주는 오픈소스 도구, AirLLM를 분석합니다. AI 자동화 및 스타트업 개발 환경에서의 실질적인 활용 가능성과 성능 한계를 검토합니다.
-
8GB GPU로 구현하는 초경량 LLM 사후 학습(SFT, DPO, GRPO) 실험 가이드
고가의 A100/H100 없이 8GB VRAM 환경에서도 SFT, DPO, GRPO 등 핵심적인 LLM 사후 학습(Post-Training) 과정을 실험할 수 있는 오픈소스 프로젝트를 분석합니다. 모델의 망각 현상과 강화학습 효과를 저사양 환경에서 어떻게 검증할 수 있는지 기술적 관점에서 정리했습니다.
-
당신은 관리자, 에이전트는 팀원: Agent Teams AI로 구축하는 멀티 에이전트 워크플로우
사용자가 고수준의 명령만 내리면 여러 AI 에이전트가 스스로 업무를 수행하고, 서로 소통하며 코드를 리뷰하는 ‘AI 회사’ 모델을 소개합니다. Kanban 보드로 진행 상황을 관리하며 75개 이상의 LLM 제공사와 200개 이상의 모델을 활용할 수 있는 Agent Teams AI의 특징과 도입 전 검토 사항을 정리합니다.
