디퓨전 모델

잡음에서 출발해 노이즈를 한 겹씩 걷어내며 이미지·영상·음성을 만드는 생성 모델로, 글로 원하는 그림이나 영상을 만드는 생성 AI 대부분이 이 방식으로 돌아간다. 한 번에 완성작을 그리는 방식보다 배우기 쉬워서 학습이 안정적이고 결과물도 다양하게 나온다.

설정값 세 개로 결과를 조절한다

"고양이"라고 치면 고양이가 나오는 건 프롬프트가 노이즈를 지우는 방향을 정해 주기 때문이다. 실제로 그림을 만들 때는 아래 설정을 주로 만진다.

마음에 드는 구도가 나오면 시드를 고정하고 프롬프트만 조금씩 고치는 것이 기본 작업 방식이다. "저품질, 손가락 왜곡" 같은 네거티브 프롬프트를 넣으면 그 반대 방향으로 그림이 나온다.

diffusers로 시작하고, LoRA로 내 스타일 입히기

가장 쉬운 시작점은 Hugging Face의 diffusers 라이브러리다. 파이프라인을 불러와 프롬프트를 넣으면 몇 줄로 생성되고, 스케줄러·스텝 수·CFG를 바꿔 가며 품질과 속도 사이에서 맞는 지점을 찾으면 된다.

특정 화풍이나 캐릭터, 자기 얼굴을 넣고 싶다면 모델 전체를 다시 학습할 필요가 없다. LoRA 어댑터에 이미지 수십 장을 학습시키면 되고, 결과물은 수십 MB짜리 파일이라 쉽게 공유하고 섞어 쓸 수 있다.

압축과 직선 경로로 더 빨라졌다

Stable Diffusion은 원본 픽셀 대신 압축한 작은 공간(잠재 공간)에서 노이즈를 지우고, 마지막에만 픽셀로 되돌린다. 이 덕분에 일반 소비자용 GPU에서도 이미지를 만들 수 있게 됐다. 최근 모델은 잡음에서 그림까지 거의 직선 경로를 배워, 더 적은 단계로 같은 품질을 낸다.

이미지를 넘어 영상·음악·텍스트로

같은 방식이 영상 생성(Sora 등)과 음악 생성으로 넓어졌다. 최근에는 문장 전체를 잡음에서 한꺼번에 다듬는 디퓨전 언어 모델도 나와, 한 토큰씩 쓰는 LLM보다 빠르다고 내세운다.

글로 그림을 뽑고, 일부만 다시 그린다

가장 흔한 건 프롬프트로 이미지를 여러 장 뽑아 고르는 방식이다. 마음에 드는 결과가 나오면 시드를 고정해 다듬고, 고칠 곳만 골라 다시 그리게 하기도 한다.