PromptCharm: 다중 모달 프롬프트 및 세분화를 통한 텍스트-이미지 생성

생성형 AI의 최근 발전은 텍스트-이미지 생성 분야를 크게 진전시켰습니다. 최신 텍스트-이미지 모델인 Stable Diffusion은 지금 고품질 이미지와 강한 미적 감각을 가진 이미지를 합성할 수 있습니다. 따라서 모델의 해석과 사용자의 의도에 부합하는 텍스트 프롬프트 작성이 매우 중요해졌습니다. 그러나 Stable Diffusion 모델의 복잡성과 텍스트 프롬프트를 반복적으로 편집·세분화하는 데 드는 적잖은 노력 때문에 초보 사용자에게는 프롬프트 작성이 여전히 어렵습니다. 이러한 문제를 해결하기 위해, 우리는 다중 모달 프롬프트 설계 및 세분화를 통해 텍스트-이미지 생성을 돕는 혼합 주도 시스템인 PromptCharm을 제안합니다. 초보 사용자를 지원하기 위해 PromptCharm은 먼저 사용자의 초기 프롬프트를 자동으로 세분화하고 최적화합니다. 또한 대규모 데이터베이스 내에서 다양한 이미지 스타일을 탐색 및 선택할 수 있도록 도와줍니다. 사용자가 프롬프트와 이미지를 효과적으로 세분화하도록 지원하기 위해, PromptCharm은 모델의 주의(attention) 값을 시각화하여 모델 설명을 제공합니다. 생성된 이미지에서 불만족스러운 부분이 발견되면, 사용자는 PromptCharm의 풍부한 피드백 루프 내에서 모델 주의 조정이나 이미지 임페인팅을 통해 이미지를 추가로 세분화할 수 있습니다. PromptCharm의 효과성과 사용성을 평가하기 위해 12명의 참가자와 함께 통제된 사용자 연구를, 또 다른 12명의 참가자와 탐색적 사용자 연구를 수행했습니다. 두 연구 모두 PromptCharm을 사용한 참가자들이 상호작용이나 시각화 지원이 없는 PromptCharm의 두 변형 모델보다 더 높은 품질과 사용자 기대에 잘 부합하는 이미지를 생성할 수 있음을 보여줍니다.