LangSmith는 LangChain이 만든 LLM 앱 관찰·평가 플랫폼으로, 모델 호출의 입력·출력·중간 단계를 기록해 이상한 답의 원인을 찾거나 프롬프트를 고친 뒤 품질이 떨어지지 않았는지 확인할 때 쓴다. 프롬프트와 에이전트를 감이 아니라 기록과 비교를 보며 고치고 싶을 때 맞는 도구다.
| 기능 | 하는 일 | 이럴 때 쓴다 |
|---|---|---|
| 트레이싱 | 단계별 입력·출력·소요 시간 기록 | 이상한 답의 원인 찾기 |
| 데이터셋·평가 | 같은 질문 묶음으로 버전끼리 비교 | 프롬프트 수정 전후 회귀 테스트 |
| 모니터링 | 운영 중 지연·오류·비용 추적 | 배포 후 품질 감시 |
| 프롬프트 관리 | 프롬프트 저장·버전 관리, 플레이그라운드 | 여럿이 함께 프롬프트를 다듬을 때 |
LangSmith 사이트에서 API 키를 발급받은 뒤, 환경변수로 추적을 켜고 키를 넣는다. 예전 이름인 LANGCHAIN_TRACING_V2=true, LANGCHAIN_API_KEY와 새 이름인 LANGSMITH_TRACING=true, LANGSMITH_API_KEY가 함께 쓰인다. LangChain이나 LangGraph 코드라면 코드를 고치지 않아도 모든 호출이 대시보드에 쌓인다.
LangChain을 쓰지 않아도 된다. Python SDK의 @traceable 데코레이터를 함수에 붙이거나 OpenAI 클라이언트를 래퍼로 감싸면, 직접 짠 코드도 같은 방식으로 기록된다.
평가 기능은 아래 순서로 쓸 때 효과가 가장 크다. 실제 사용자가 겪은 실패가 쌓일수록 테스트 세트가 쓸모 있어진다.
| 순서 | 할 일 | 방법 |
|---|---|---|
| 1 | 잘못된 답 찾기 | 운영 트레이스를 걸러서 보기 |
| 2 | 데이터셋에 추가 | 입력과 기대하는 답을 같이 저장 |
| 3 | 채점 기준 정하기 | 정답 비교, 규칙 검사, LLM 채점 |
| 4 | 바꿀 때마다 실험 | 이전 버전과 점수 비교 |
LLM에게 채점을 맡기면 편하지만 채점이 틀릴 때도 있다. 중요한 기준은 사람이 일부 결과를 직접 보고 채점과 맞는지 확인하는 게 좋다.
| 도구 | 성격 | 고를 때 |
|---|---|---|
| LangSmith | LangChain 공식 관리형 서비스 | LangChain·LangGraph를 쓰면 연동이 가장 쉽다 |
| Langfuse | 오픈소스 관찰 도구 | 내 서버에 직접 설치하고 싶을 때 |
| LangChain·LangGraph | 앱을 만드는 프레임워크 | 지켜보는 도구가 아니라 만드는 도구다 |
트레이스에는 사용자 입력과 모델 출력이 그대로 담긴다. 개인정보나 사내 데이터를 다루는 앱이라면 기록을 외부 서비스로 보내도 되는지 먼저 확인한다. 필요하면 민감한 값을 가리는 설정이나 기업용 자체 설치 방식을 검토한다. 호출이 많으면 기록이 늘어나는 만큼 비용도 커지므로, 운영 환경에서는 일부만 골라 기록하는 것도 고려한다.
가장 흔한 건 LangChain·LangGraph로 만든 에이전트의 디버깅 도구로 켜 두는 방식이다. 개발 때 켠 추적을 운영까지 이어 가면, 거기서 실패한 답이 다시 평가용 데이터셋이 된다.
| 어디서 | 어떻게 쓰나 |
|---|---|
| 에이전트 개발 | 환경변수로 추적을 켜고, 도구 호출이 어느 단계에서 꼬였는지 트레이스로 확인 |
| 프롬프트·모델 교체 전 | 데이터셋으로 실험을 돌려 이전 버전과 점수를 비교한 뒤 배포 |
| 운영 중인 챗봇·사내 문서 검색 | 지연·오류·비용을 지켜보고, 엉뚱한 답은 데이터셋에 추가해 다음 테스트에 사용 |