Stability AI가 가중치를 공개한 텍스트-이미지 생성 모델로, 서비스로만 쓰는 Midjourney·DALL-E와 달리 내 컴퓨터에서 직접 돌리고 고칠 수 있다. 원하는 화풍을 학습시키거나 포즈·구도를 정확히 맞출 때, 이미지를 대량으로 싸게 만들 때 쓴다.
| 구분 | 스테이블 디퓨전 | Midjourney·DALL-E |
|---|---|---|
| 제공 방식 | 가중치 공개, 로컬 실행 | 서비스·API로만 |
| 세부 제어 | LoRA·ControlNet 등 확장이 많음 | 제공하는 기능 범위 안에서 |
| 비용 | 내 GPU면 장당 비용 없음 | 구독료나 사용량 과금 |
| 시작 난이도 | 설치·설정 필요 | 바로 사용 |
이미지를 픽셀 단위로 바로 만들지 않고, 크게 압축한 잠재 공간에서 노이즈를 조금씩 걷어내며 그림을 만든 뒤 마지막에 이미지로 복원한다(Latent Diffusion). 이 덕분에 계산량이 크게 줄어 데이터센터가 아닌 일반 게이밍 GPU에서도 실행된다. 다만 그래픽 메모리(VRAM)가 적으면 해상도를 낮춰야 하거나 느려지므로, 큰 모델일수록 넉넉한 GPU가 필요하다.
| 방법 | 어디서 | 이럴 때 |
|---|---|---|
| Automatic1111 WebUI | 브라우저 화면 | 처음 시작, 버튼으로 간단히 생성 |
| ComfyUI | 노드를 잇는 화면 | 작업 흐름을 짜 두고 반복 재사용 |
diffusers | Python 코드 | 스크립트·서비스에 넣어 자동화 |
| Stability AI API | 클라우드 | GPU 없이 서비스에 통합 |
로컬에서는 보통 이 순서로 쓴다. 모델 파일(체크포인트)을 받아 도구에 넣고, 프롬프트와 빼고 싶은 요소(네거티브 프롬프트)를 적는다. 그다음 해상도와 생성 단계 수를 정해 여러 장 뽑고, 마음에 드는 것을 고른다.
| 기능 | 하는 일 | 이럴 때 쓴다 |
|---|---|---|
| LoRA | 작은 추가 학습으로 화풍·캐릭터 입히기 | 브랜드 스타일, 같은 캐릭터 반복 |
| ControlNet | 포즈·윤곽·깊이로 구도 고정 | 정해진 자세, 레이아웃 맞추기 |
| img2img | 기존 이미지를 바탕으로 다시 그리기 | 스케치를 완성 그림으로 |
| inpainting | 일부 영역만 다시 그리기 | 손·배경 등 잘못된 부분 수정 |
게임 에셋, 마케팅 시안, UI 목업처럼 같은 스타일로 여러 장이 필요한 작업에 특히 잘 맞는다. 반대로 한두 장만 빨리 필요하면 설치 없이 쓰는 서비스형 도구가 더 편하다.
버전마다 라이선스가 달라 상업적으로 쓸 수 있는 조건도 다를 수 있다. 쓰려는 기본 모델과 커뮤니티 LoRA의 라이선스를 각각 확인해야 한다. 학습 데이터를 둘러싼 저작권 논란도 있으니 실존 인물이나 특정 작가의 화풍을 흉내 낸 결과물은 조심해서 쓴다. 손가락이나 글자처럼 세밀한 부분은 틀리기 쉬워서, inpainting으로 다듬는 시간을 미리 잡아 두는 게 좋다.
가장 흔한 방식은 내 GPU에 WebUI나 ComfyUI를 깔고, LoRA·ControlNet을 조합해 원하는 그림을 반복해서 뽑는 것이다. 개발자는 diffusers나 API로 이미지 생성을 서비스에 붙여 자동화한다.
| 어디서 | 어떻게 쓰나 |
|---|---|
| 개인 창작 | WebUI에서 체크포인트와 커뮤니티 LoRA를 바꿔 가며 화풍 실험 |
| 게임·디자인 작업 | 캐릭터 LoRA와 ControlNet으로 같은 캐릭터·구도의 에셋과 시안을 여러 장 |
| 이미지 편집 | inpainting으로 잘못된 부분만 다시 그리고, img2img로 스케치를 완성 그림으로 |
| 앱·서비스 개발 | diffusers 스크립트나 Stability AI API로 이미지 생성 기능을 넣어 자동화 |