잠재 공간 추론

LLM이 중간 생각을 문장으로 쓰는 사고의 사슬(CoT)과 달리, 생각을 글자로 바꾸지 않고 모델 내부 벡터(은닉 상태) 그대로 다음 단계로 넘겨 단어 하나를 고를 때마다 생기는 정보 손실을 줄이는 추론 방식이다. 되돌아가며 계획을 다시 짜야 하는 문제를 생각 토큰을 덜 쓰고 풀고 싶을 때 연구되고 있다.

마지막 은닉 상태를 다시 입력으로 넣는다

대표 방식인 Coconut(Chain of Continuous Thought)은 두 모드를 오간다. 언어 모드에서는 평소처럼 토큰을 하나씩 만들고, 특수 토큰으로 잠재 모드가 시작되면 마지막 은닉 상태를 단어로 풀지 않고 바로 다음 입력 임베딩으로 넣는다. 끝을 알리는 특수 토큰이 나오면 다시 글로 답을 쓴다.

한 LessWrong 글은 이렇게 요약한다. 트랜스포머는 이미 의미가 가득 담긴 벡터를 갖고 있는데, CoT는 그걸 매번 토큰 하나라는 좁은 통로로 짜낸다는 것이다.

되돌아가야 하는 문제에서 강하다

벡터 하나에 다음 단계 후보를 여러 개 담을 수 있어서, 모델은 한 길로 서둘러 정하지 않고 넓이 우선 탐색처럼 여러 길을 함께 본다. 단계가 지날수록 유망한 쪽에 확률을 몰아 주고 나머지는 쳐낸다. 그래서 계획 중에 되돌아갈 일이 많은 논리 문제에서 CoT보다 나은 결과를 냈고, 생각 토큰도 덜 썼다.

프롬프트가 아니라 학습으로 얻는다

"속으로 생각해"라고 지시한다고 되는 기능이 아니다. 모델이 벡터를 다시 받아 쓰도록 따로 학습시켜야 한다. 직접 해 보려면 논문 공개 코드와 서베이 논문, Awesome-Latent-CoT 같은 논문 목록에서 시작하면 된다. 요즘은 이미지와 글을 섞어 추론하는 연구나, 여러 에이전트가 텍스트 대신 잠재 벡터로 정보를 주고받는 멀티 에이전트 연구로도 넓어지고 있다.

속을 들여다보기 어렵다는 대가

글로 쓴 CoT는 사람이 읽고 잘못된 추론을 잡아낼 수 있다. 잠재 추론은 이 감시 통로가 사라져 안전 연구자들이 우려하고, 연속된 생각을 해석하는 방법은 아직 연구 단계다. 추론 과정을 감사하거나 검토해야 하는 서비스라면 지금은 텍스트 CoT를 유지하는 편이 안전하다.

아직은 연구자가 직접 학습시켜 실험하는 단계

챗봇이나 API에서 옵션으로 켜는 기능이 아니라, 연구자가 공개 코드로 모델을 직접 학습시켜 실험하는 기법이다. 그래서 주로 연구 현장에서 CoT와 비교하는 기준 실험이나 새 응용을 찾는 데 쓰인다.