딥러닝

신경망 층을 여러 겹 쌓아, 무엇이 중요한 특징인지 모델이 데이터에서 직접 알아내게 하는 기계학습 방법이다. 사람이 특징을 하나하나 설계하던 단계를 없앴고, 이미지·음성·글처럼 규칙을 사람이 정하기 어려운 데이터를 다룰 때 쓴다.

층이 깊을수록 더 추상적인 것을 본다

고양이 사진이라면 얕은 층은 선과 모서리를, 중간 층은 눈·귀 같은 부분을, 깊은 층은 '고양이'라는 개념을 잡아낸다. '딥'은 바로 이 층의 깊이를 뜻한다.

학습은 오답 노트 쓰기와 같다. 모델이 예측하면 정답과의 차이를 계산하고, 그 차이를 줄이는 방향으로 수많은 가중치를 아주 조금씩 고친다. 이 과정을 수없이 반복하는 것이 학습의 전부다.

ChatGPT·Claude도 딥러닝이다

LLM은 딥러닝과 다른 무언가가 아니라, 다음 단어를 맞히도록 학습한 아주 큰 딥러닝 모델이다. 이미지 생성 모델도 마찬가지다. 그래서 프롬프트, RAG, 파인튜닝 같은 응용 기술도 모두 같은 원리 위에 있다. 이 원리를 알면 모델이 왜 그럴듯한 거짓말(환각)을 하는지, 파인튜닝이 왜 만능이 아닌지 이해하기 쉽다.

직접 쓸 때는 받아서 다듬는다

요즘은 신경망을 처음부터 학습시키는 일이 드물다. Hugging Face에서 미리 학습된 모델을 받아 내 데이터로 파인튜닝하는 게 기본이고, 도구는 대부분 PyTorch를 쓴다. 처음부터 학습하는 것보다 데이터와 시간이 훨씬 적게 든다.

표 데이터에는 늘 답이 아니다

엑셀 같은 표 형태 데이터에서는 XGBoost 같은 그래디언트 부스팅이 딥러닝보다 나은 경우가 많다. 딥러닝은 이미지·음성·글처럼 특징을 사람이 정하기 어려운 데이터에서 강하다. 문제에 맞는 도구를 고르는 것이 먼저다.

대부분은 이미 학습된 모델로 만난다

대부분의 사람은 딥러닝을 직접 학습시키지 않고, 이미 학습된 모델을 불러 쓰는 방식으로 접한다. 내 일에 딱 맞춰야 할 때만 미리 학습된 모델을 받아 내 데이터로 파인튜닝한다.