멀티모달 AI의 드로잉 에이전트 성능 비교: GPT, Claude, Gemini, Grok의 모나리자 재현 실험

단순 생성을 넘어 ‘행동’하는 멀티모달: 드로잉 아레나의 등장

멀티모달 AI의 패러다임이 변화하고 있습니다. 기존의 텍스트-이미지(Text-to-Image) 모델이 프롬프트를 입력하면 완성된 결과물을 출력하는 ‘결과 중심적’ 방식이었다면, 최신 트렌드는 에이전트가 직접 도구를 조작하며 목표를 달성해 나가는 ‘행동형 멀티모달(Actionable Multimodal)’로 진입했습니다.

최근 진행된 ‘드로잉 아레나(Drawing Arena)’ 실험은 이러한 변화를 극명하게 보여줍니다. 모델에게 빈 캔버스와 색연필이라는 물리적 도구를 부여하고, 목표 이미지인 ‘모나리자’를 그리도록 지시합니다. 이 과정에서 모델은 단순히 픽셀을 생성하는 것이 아니라 다음과 같은 구체적인 행동을 수행해야 합니다.

• 도구 제어: 색상 선택, 펜촉 너비(Tip width) 조절, 필압(Pressure) 결정
• 드로잉 액션: 선 긋기(Stroke), 문질러서 번지게 하기(Smudge)
• 수정 및 관리: 지우개로 수정하기(Erase), 작업물 확인(view_canvas)을 통한 피드백 루프 수행

이 실험의 핵심은 모델이 시각적 정보를 단순히 인식하는 수준을 넘어, 이를 물리적인 붓질 동작으로 치환하여 실행할 수 있는 ‘실행 능력’을 갖추었는지 검증하는 데 있습니다.

에이전트로서의 역량: 이미지 생성과 드로잉 에이전트의 차이

우리는 왜 기존의 이미지 생성 모델(DALL-E, Midjourney 등) 대신 이 ‘드로잉 에이전트’ 방식에 주목해야 할까요? 그 이유는 워크플로우의 구조적 차이에 있습니다. 기존 방식은 결과물이 마음에 들지 않으면 프롬프트를 다시 써야 하는 단발성 구조인 반면, 드로잉 에이전트는 ‘반복적 루프(Iterative Loop)’를 통해 스스로 오류를 수정하며 완성도를 높여갑니다.

실무적인 관점에서 주목해야 할 핵심 변화는 다음과 같습니다.

이러한 ‘자기 피드백’ 능력은 향후 AI가 소프트웨어 도구를 직접 조작하여 복잡한 태스크를 수행하는 자동화 환경에서 가장 중요한 성능 지표가 될 것입니다.

모델별 비교를 위한 3대 검증 지표

이번 실험에서 GPT-5.6(가칭/차세대 모델), Claude, Gemini, Grok 등 주요 LLM의 성능을 평가하기 위해 설정된 핵심 지표는 다음과 같습니다. 단순히 최종 결과물이 모나리자와 닮았는지를 보는 것이 아니라, 그 과정에서의 논리적 타당성을 검증합니다.

1. 도구 제어 정밀도 (Tool-use Precision): 모델이 의도한 색상과 필압을 얼마나 세밀하게 조절하는가? 예를 들어, 부드러운 명암 표현을 위해 스머징(Smudge) 기능을 적절히 사용하는지 여부를 확인합니다.
2. 자기 피드백 루프의 유효성 (Feedback Loop Effectiveness): view_canvas를 통해 자신의 작업물을 확인한 후, 오류를 발견했을 때 이를 지우개로 수정하거나 덧칠하는 등의 논리적 대응이 이루어지는가?
3. 목표 이미지 재현성 (Target Fidelity): 텍스트 프롬프트의 모호함을 극복하고, 시각적 타겟(모나리자)의 형태와 구성을 얼마나 오차 없이 구현해내는가?

도입 검토: 실무 적용 시 고려해야 할 변수

멀티모달 에이전트 기술을 업무 자동화 파이프라인에 도입하고자 한다면, 단순히 “그림을 잘 그린다”는 느낌만으로 판단해서는 안 됩니다. 실제 운영 환경에서는 다음과 같은 ‘신뢰성 지표’를 검토해야 합니다.

첫째, 수정 프로세스의 예측 가능성입니다. 모델이 색상을 잘못 선택했을 때 이를 인지하고 이전 단계로 논리적으로 되돌아갈 수 있는지(Error Recovery) 확인해야 합니다. 수정 과정이 무작위적이라면 인간의 개입(Human-in-the-loop)이 빈번해져 자동화 효율이 급감합니다.

둘째, 자원 소모 대비 정밀도입니다. 에이전트 방식은 여러 번의 도구 호출(view_canvas, stroke 등)을 수반하므로 토큰 소모와 연산 비용이 발생합니다. 목표 품질에 도달하기까지 필요한 ‘스트로크(Stroke)의 횟수’가 효율적인지 검토할 필요가 있습니다.

데이터 기반 검증: 결과물보다 중요한 사고 과정

실험 결과에서 나타날 수 있는 오류 중 하나는 ‘우연한 일치’입니다. 모델이 복잡한 과정을 생략하고 텍스트 지시사항만으로 그럴듯한 이미지를 뽑아내는 것은 에이전트로서의 능력을 증명하지 않습니다. 따라서 성능 검증 시에는 반드시 다음 항목을 확인해야 합니다.

• 지침 이행의 일관성: 특정 질감을 구현하기 위해 설정한 팁 너비(Tip width)가 작업 내내 유지되거나 의도에 따라 변화하는가?
• 오류 인지 메커니즘: view_canvas를 호출한 직후, 모델이 출력된 이미지의 결함을 텍스트로 정확히 기술하고 이를 수정하기 위한 구체적인 명령을 내리는가?

만약 모델이 자신의 실수를 인지하지 못한 채 무작위로 색상을 변경하거나 획을 남발한다면, 이는 시각적 결과물이 우수하더라도 실제 복잡한 업무를 수행할 수 있는 ‘에이전트’로서의 신뢰도는 낮다고 판단해야 합니다.

요약: AI 에이전트 도입 전 체크리스트

새로운 멀티모달 모델을 워크플로우에 통합하기 전, 다음 질문들에 대한 답을 확보했는지 확인하십시오.

• 도구 제어력: 색상, 압력, 펜 두께를 목표 작업의 특성에 맞게 조절할 수 있는가?
• 자기 수정 능력: 시각적 피드백을 통해 오류를 인지하고 지우기/덧칠하기 등의 수정을 수행하는가?
• 논리적 일관성: 작업 단계가 무작위적이지 않고, 목표 이미지에 접근하는 전략적인 순서를 따르는가?
• 비용 효율성: 원하는 품질을 얻기 위해 투입되는 도구 호출(API Call) 횟수가 운영 가능한 수준인가?