모델

스테이블 디퓨전

Stable Diffusion

Stability AI가 가중치를 공개한 텍스트-이미지 생성 모델로, 서비스로만 쓰는 Midjourney·DALL-E와 달리 내 컴퓨터에서 직접 돌리고 고칠 수 있다. 원하는 화풍을 학습시키거나 포즈·구도를 정확히 맞출 때, 이미지를 대량으로 싸게 만들 때 쓴다.

구분스테이블 디퓨전Midjourney·DALL-E
제공 방식가중치 공개, 로컬 실행서비스·API로만
세부 제어LoRA·ControlNet 등 확장이 많음제공하는 기능 범위 안에서
비용내 GPU면 장당 비용 없음구독료나 사용량 과금
시작 난이도설치·설정 필요바로 사용

일반 GPU에서도 돌아간다

이미지를 픽셀 단위로 바로 만들지 않고, 크게 압축한 잠재 공간에서 노이즈를 조금씩 걷어내며 그림을 만든 뒤 마지막에 이미지로 복원한다(Latent Diffusion). 이 덕분에 계산량이 크게 줄어 데이터센터가 아닌 일반 게이밍 GPU에서도 실행된다. 다만 그래픽 메모리(VRAM)가 적으면 해상도를 낮춰야 하거나 느려지므로, 큰 모델일수록 넉넉한 GPU가 필요하다.

쓰는 방법은 네 갈래

방법어디서이럴 때
Automatic1111 WebUI브라우저 화면처음 시작, 버튼으로 간단히 생성
ComfyUI노드를 잇는 화면작업 흐름을 짜 두고 반복 재사용
diffusersPython 코드스크립트·서비스에 넣어 자동화
Stability AI API클라우드GPU 없이 서비스에 통합

로컬에서는 보통 이 순서로 쓴다. 모델 파일(체크포인트)을 받아 도구에 넣고, 프롬프트와 빼고 싶은 요소(네거티브 프롬프트)를 적는다. 그다음 해상도와 생성 단계 수를 정해 여러 장 뽑고, 마음에 드는 것을 고른다.

확장 기능으로 원하는 그림에 맞춘다

기능하는 일이럴 때 쓴다
LoRA작은 추가 학습으로 화풍·캐릭터 입히기브랜드 스타일, 같은 캐릭터 반복
ControlNet포즈·윤곽·깊이로 구도 고정정해진 자세, 레이아웃 맞추기
img2img기존 이미지를 바탕으로 다시 그리기스케치를 완성 그림으로
inpainting일부 영역만 다시 그리기손·배경 등 잘못된 부분 수정

게임 에셋, 마케팅 시안, UI 목업처럼 같은 스타일로 여러 장이 필요한 작업에 특히 잘 맞는다. 반대로 한두 장만 빨리 필요하면 설치 없이 쓰는 서비스형 도구가 더 편하다.

라이선스와 결과물은 직접 확인한다

버전마다 라이선스가 달라 상업적으로 쓸 수 있는 조건도 다를 수 있다. 쓰려는 기본 모델과 커뮤니티 LoRA의 라이선스를 각각 확인해야 한다. 학습 데이터를 둘러싼 저작권 논란도 있으니 실존 인물이나 특정 작가의 화풍을 흉내 낸 결과물은 조심해서 쓴다. 손가락이나 글자처럼 세밀한 부분은 틀리기 쉬워서, inpainting으로 다듬는 시간을 미리 잡아 두는 게 좋다.

내 GPU에서 원하는 그림을 반복해 뽑는다

가장 흔한 방식은 내 GPU에 WebUI나 ComfyUI를 깔고, LoRA·ControlNet을 조합해 원하는 그림을 반복해서 뽑는 것이다. 개발자는 diffusers나 API로 이미지 생성을 서비스에 붙여 자동화한다.

어디서어떻게 쓰나
개인 창작WebUI에서 체크포인트와 커뮤니티 LoRA를 바꿔 가며 화풍 실험
게임·디자인 작업캐릭터 LoRA와 ControlNet으로 같은 캐릭터·구도의 에셋과 시안을 여러 장
이미지 편집inpainting으로 잘못된 부분만 다시 그리고, img2img로 스케치를 완성 그림으로
앱·서비스 개발diffusers 스크립트나 Stability AI API로 이미지 생성 기능을 넣어 자동화
#이미지생성#오픈소스#Stability AI
참고 자료
관련 영상
← AI Wiki에서 더 보기
updated at 2026-10-20