SAM 3

Meta가 공개한 이미지·영상 분할 모델로, "노란 스쿨버스" 같은 짧은 문구나 예시 이미지 하나로 해당 객체를 전부 찾아 마스크를 그리고 영상에서 따라간다. 레이블링 자동화나 영상 편집에서 객체를 일일이 클릭하기 번거로울 때 쓴다.

문구로 전부 찾고, 클릭으로 다듬는다

이전 SAM은 프롬프트 하나에 객체 하나만 잘라냈다. SAM 3는 "줄무늬 고양이"처럼 짧은 명사구를 주면 화면에 있는 해당 객체를 빠짐없이 찾아 각각 마스크를 만든다. 말로 설명하기 어려운 대상이면 객체 하나를 예시로 골라 비슷한 것을 모두 찾게 하면 된다.

결과가 틀리면 클릭으로 추가 지시를 줘서 고친다. "흰 옷 선수"와 "빨간 옷 선수"처럼 비슷한 문구도 구분하도록 설계됐고, SAM 2의 클릭 기반 분할 기능도 그대로 갖고 있다.

코드 없이 써 보거나, 내려받아 직접 돌린다

가중치가 공개된 모델이라 브라우저 체험부터 로컬 배포, 파인튜닝까지 모두 가능하다.

Sam3Tracker는 SAM 2와 API가 같아서, 기존 SAM 2 코드는 모델만 바꿔 끼우면 된다.

영상 속 객체가 많으면 느려진다

영상에서는 객체마다 따로 추적하기 때문에, 따라갈 객체 수가 늘수록 연산 비용도 그만큼 늘어난다. 비슷하게 생긴 객체가 가득한 장면에서는 속도와 정확도가 함께 떨어질 수 있다. 이 점을 보완해 실시간 영상 추적을 빠르게 만든 후속판이 SAM 3.1이라, 영상 위주라면 3.1 체크포인트를 먼저 써 보는 게 낫다.

사람들은 주로 이렇게 쓴다

가장 흔한 용도는 학습 데이터 레이블링이다. 같은 종류의 객체를 하나씩 손으로 칠하는 대신 문구 한 줄로 전부 잡은 뒤, 틀린 것만 사람이 고친다.