Sonnet 5로 갈아타고 한 주, 체감 차이 정리

도입

Claude Sonnet 5로 갈아탄 지 일주일 정도 지났습니다. 블로그·쇼츠 자동화 파이프라인을 Claude Code로 돌리고, Notion 연동 작업까지 이 모델로 처리하면서 느낀 점을 정리해보려 합니다. 벤치마크 점수보다는 실제로 손으로 만져본 체감 위주로 적겠습니다.

무엇이 달라졌다고 느꼈나

가장 먼저 체감한 건 작업을 끝까지 밀고 나가는 태도였습니다. 이전 모델(Sonnet 4.6)로 커스텀 슬래시 커맨드나 서브에이전트 작업을 시킬 때는, 중간에 애매한 지점에서 판단을 되묻거나 작업을 일부만 끝내고 멈추는 경우가 종종 있었습니다. Sonnet 5로 바꾼 뒤로는 같은 종류의 작업에서 중간에 멈추는 빈도가 눈에 띄게 줄었습니다. 예를 들어 PR 생성 커맨드처럼 여러 단계(브랜치 확인 → 커밋 메시지 생성 → 인라인 코드 리뷰 → PR 본문 작성)를 거치는 작업에서, 단계 사이 확인 없이 끝까지 진행한 뒤 결과를 한 번에 보여주는 흐름이 더 자연스러워졌습니다.

또 하나는 스스로 결과를 점검하는 태도입니다. 이미지 생성 파이프라인처럼 "생성 → 검증 → 필요시 재생성"을 반복해야 하는 작업에서, 명시적으로 검증 단계를 지시하지 않아도 결과물을 다시 열어 확인하는 흐름을 스스로 이어가는 경우가 많아졌습니다. 물론 매번 완벽하게 그런 건 아니고, 여전히 세세한 검증 기준은 프롬프트에 명시해두는 편이 안전합니다.

실무에서 체감한 변화

실제 작업 흐름에서 체감한 부분을 몇 가지로 나눠보면 다음과 같습니다.

긴 작업 세션에서의 안정감: Notion MCP로 여러 하위 페이지를 순서대로 생성하고, 중간에 웹서치로 최신 정보를 확인한 뒤 다시 문서를 수정하는 식의 다단계 작업에서, 앞서 지시한 규칙(예: 특정 속성명, 저장 규칙, 금지사항)을 끝까지 놓치지 않고 따라가는 느낌을 받았습니다. 이전에는 작업이 길어질수록 초반에 준 세부 규칙을 놓치는 경우가 있었는데, 그 빈도가 줄었습니다.

코드 작업에서의 맥락 유지: 여러 파일을 오가며 수정해야 하는 작업에서, 앞서 확인한 코드 구조나 변수명을 뒤에서도 일관되게 참조하는 느낌이 들었습니다. 다만 이 부분은 정량적으로 측정한 건 아니라 어디까지나 체감입니다.

속도와 비용: 응답 자체가 느려졌다는 인상은 없었고, 오히려 작업을 나눠서 여러 번 요청하던 것을 한 번에 끝내는 경우가 늘어 전체적으로 걸리는 시간은 줄어든 편입니다. 다만 이건 작업 성격에 따라 다를 수 있어 일반화하긴 조심스럽습니다.

참고: 공식 벤치마크는 어느 정도인가

앞서 적은 내용은 어디까지나 제 개인적인 체감이라, 수치로 뒷받침되는 기준도 가벼운 마음으로 참고만 공유합니다. Anthropic이 공개한 자료에 따르면 Sonnet 5는 에이전틱 코딩 벤치마크(SWE-bench Pro)에서 이전 버전보다 점수가 올랐고, 터미널 기반 작업을 측정하는 벤치마크(Terminal-Bench 2.1)에서는 그보다 더 큰 폭으로 점수가 올랐습니다. 제가 체감한 "작업을 중간에 멈추지 않고 끝까지 밀고 나가는 태도"와 방향은 비슷하게 가는 것 같습니다. 다만 이러한 벤치마크 수치는 특정 테스트 환경에서의 결과이므로, 실제 작업환경에서의 체감과 항상 일치하는 건 아닐 수 있다는 점을 감안하고 보시면 좋겠습니다.

아직은 확신이 서지 않는 부분

일주일이라는 기간이 모든 걸 판단하기엔 짧다고 생각합니다. 특히 아주 긴 세션이나 복잡한 멀티 에이전트 구조에서 안정성이 어떻게 나타나는지는 좀 더 지켜봐야 할 것 같습니다. 또 기존에 잘 동작하던 프롬프트나 커스텀 커맨드가 모델이 바뀌면서 미묘하게 다르게 반응하는 경우도 있어서, 완전히 같은 프롬프트를 그대로 재사용하기보다는 한 번씩 결과를 확인하며 넘어가는 편이 안전해 보입니다.

주의사항 / 흔한 실수

모델을 바꾼 직후에는 기존에 검증됐던 자동화 스크립트나 커맨드도 다시 한번 결과를 눈으로 확인하는 게 좋습니다. 특히 파일 생성이나 외부 서비스 연동처럼 되돌리기 어려운 작업이 포함된 파이프라인이라면, 모델 전환 초기에는 한 단계씩 결과를 확인하며 진행하는 게 안전합니다.

마무리

한 주 사용해본 소감을 요약하면, 작업을 중간에 멈추지 않고 끝까지 밀어붙이는 능력이 체감상 가장 크게 달라진 부분이었습니다. 정량적인 비교보다는 실무에서 자동화 파이프라인을 굴리는 입장에서 느낀 변화이니, 각자 작업 성격에 따라 체감은 다를 수 있다는 점을 감안해서 봐주시면 좋겠습니다.

---

[핵심요약] Sonnet 5 실사용 일주일, 에이전틱 완주력 체감