펠리컨 벤치마크

사이먼 윌리슨이 만든 비공식 LLM 테스트로, "자전거 타는 펠리컨 SVG를 그려라" 한 줄을 여러 모델에 똑같이 넣고 점수 없이 그림을 눈으로 비교한다. 새 모델이 나오면 코드 생성 능력과 공간 감각을 빠르게 훑어보는 가벼운 첫인상 테스트로 쓴다.

실제 프롬프트는 Generate an SVG of a pelican riding a bicycle 한 줄이다.

일부러 불가능한 그림을 시킨다

2024년 10월 윌리슨이 모델 비교가 너무 어렵다는 걸 꼬집는 농담으로 시작했다. 펠리컨을 고른 이유는 본인이 좋아해서였고, 그런 SVG가 인터넷에 거의 없어 학습 데이터에서 베껴 올 수 없다고 봤기 때문이다. 펠리컨은 실제로 자전거를 탈 수 없으니 정답을 외워서 맞힐 수도 없다. 바퀴 두 개, 프레임, 페달, 안장을 맞춰 붙이고 새의 몸을 그 위에 올리는 과정에서 모델의 실력이 드러난다.

직접 돌려 보는 세 가지 방법

원래 방식은 한 번 넣고 한 번 받는 것이다. 이후 조건을 더 붙인 버전과, 모델이 자기 그림을 보고 고치게 하는 에이전트 버전이 나왔다.

같은 모델이라도 추론 강도나 temperature를 바꿔 여러 번 돌려 보면 차이가 꽤 크다. 프롬프트가 짧을수록 추론 강도가 결과를 크게 좌우한다.

순위표보다 세대 비교에 쓴다

첫 1년쯤은 그림 수준이 모델 전반의 실력과 놀랍게 잘 맞았다. 하지만 21개월이 지나면서 윌리슨 스스로 그 연결이 거의 끊겼다고 말한다. 최상위 모델보다 한 단계 아래 모델이 더 좋은 펠리컨을 그리는 일이 생겼기 때문이다. 지금은 회사가 다른 모델끼리 줄 세우기보다 같은 모델 계열의 세대 변화를 보거나, 노트북에서 도는 작은 로컬 모델이 SVG를 제대로 내는지 확인할 때 더 쓸모 있다.

연구소가 맞춤 훈련을 할까

벤치마크가 유명해지자 연구소들이 펠리컨 그림만 따로 훈련한다는 '펠리컨맥싱' 의혹이 나왔다. 여러 동물과 탈것 조합으로 그림 천여 장을 만들어 비교한 분석에서는 펠리컨이나 자전거만 유독 잘 그린다는 증거가 나오지 않았다. 그래도 정답 기준이 없는 테스트라 결과는 참고용으로만 보고, 실제 맡길 작업으로 따로 검증하는 게 맞다.

새 모델이 나온 날 바로 돌려 본다

가장 흔한 건 새 모델 출시 직후 첫인상 확인이다. 같은 한 줄을 넣고 이전 그림과 나란히 놓아 보며, 결과는 순위가 아니라 참고용 감으로만 쓴다.