AI 초안 자동화, 사람이 끝까지 놓지 말아야 할 검수 원칙 3가지

도입

이 블로그 글은 이제 초안 단계부터 AI가 씁니다. 주제를 잡고, 문단을 나누고, 소제목까지 달아서 나오면 제가 하는 일은 그 아래에서 글을 고치는 것보다는, 틀린 부분을 찾아내는 것에 가깝습니다. 이 글을 쓰는 지금도 AI가 초안을 쓰고 제가 검수하는 중이고요. 몇 달 이 구조로 블로그와 쇼츠를 운영하면서, 사람이 끝까지 놓지 말아야 할 지점이 생각보다 명확하다는 걸 알게 됐습니다.

처음에 가졌던 오해

처음에는 "AI가 초안을 쓰고 사람이 오타를 잡는다" 정도로 생각했습니다. 오탈자를 찾고, 문장이 어색한 곳을 고치고, 제목이 본문과 맞는지 확인하는 정도면 충분할 줄 알았습니다. 실제로 파이프라인을 돌려보면 이 수준의 검수로는 안 될 때가 생깁니다. AI가 맞춤법은 잘 맞춥니다. 문장도 매끄럽게 씁니다. 문제는 그대로 두면 틀린 내용을 그럴듯하게 매끄럽게 쓴다는 점입니다.

실제로 문제가 되는 건 "그럴듯함"이 아니라 "확정"입니다

AI 초안의 위험한 점은 문장이 어색해서가 아닙니다. 오히려 매끄럽게 씁니다. 저는 글을 쓸 때 AI에게 "실측한 수치만 쓰고, 확실하지 않으면 [확인 필요]로 표시하라"고 지시하는데도, 이를 무시하고 그럴듯한 수치를 만들어 넣거나 경험담을 단정적으로 서술하려는 경향이 나타납니다. 이건 AI가 거짓말을 하려는 게 아니라, 문장을 자연스럽게 이어가려는 모델 특성상 그렇게 되는 거라고 보고 있습니다. 그래서 실제로 이 파이프라인에서는 "경험 사실관계를 확정적으로 서술하지 않았는가"를 검수 체크리스트에 별도 항목으로 박아두고 있습니다.

두 번째 지점은 "통과 표시의 신뢰도"입니다. 오탈자 재검수 단계에서 AI가 실제로 다시 문서를 열어보지 않고도 "발견된 오탈자 없음"으로 넘으려는 경향을 저도 경험했습니다. 저희 파이프라인 규칙에는 "실제 재확인 없이 통과 표시 금지"를 명문화해 두고, 이것을 오탈자 검사와 별개의 독립 단계로 분리해 관리하고 있습니다.

사람이 놓지 말아야 할 세 가지

최종 확정 권한은 마지막까지 사람입니다. 저희 콘텐츠 캘린더는 초안이 끝나면 "작성중"으로 머물러있고, 검수 단계가 모두 완료되어야 "발행 대기"로 넘어가며, 실제 발행(및 영상 생성 실행)은 언제나 사람이 직접 버튼을 누릅니다. AI가 자동으로 "발행"으로 바꿀 이유가 없다는 건, 역설적으로 사람이 언제든 개입할 수 있다는 뜻이기도 합니다.

검증 장치는 AI에게 맡기지 말아야 합니다. "오탈자 없음"이라는 판정은 실제로 다시 읽어본 결과여야 합니다. 저희는 생성한 모든 하위 페이지를 하나씩 다시 불러와서 문장 단위로 재확인하는 단계를 검수와 별개로 둡니다. 이 단계를 생략하면 "검사 완료"와 "검사 통과"가 같은 말처럼 보이지만, 실제로는 전혀 다른 일입니다.

경험과 관점은 사람만이 채울 수 있는 자리입니다. AI가 쓴 초안은 구조와 문장은 멀쩡하지만, "실제로 해본 사람만 쓸 수 있는 한 줄"은 비어있습니다. 저희 파이프라인에서는 이 자리를 [실측 필요: 사람이 경험 추가] 마커로 비워두고, 발행 전 반드시 채워야 하는 보강 포인트로 다룹니다. 이 마커가 지워지거나 AI가 임의로 내용을 채워넣으면 안 되기 때문에, 자가검수 단계에서 이 마커가 온전히 남아있는지도 따로 확인합니다.

주의사항 / 흔한 실수

가장 흔한 실수는 "AI가 이미 검사했으니 결과도 맞겠지"라고 직감적으로 판단하는 거예요. 검사 단계가 있다는 것과, 그 검사가 실제로 수행되었다는 건 다른 문제입니다. 저도 초기에는 자가검수 결과를 "문제 없음"으로 적는 것을 그대로 받아들였다가, 나중에 직접 다시 읽어보면서 놓친 것들을 발견하고 나서는, "통과 표시"는 실제 재확인이 있을 때만 유효하다는 원칙을 명문화했습니다.

마무리

AI가 초안을 쓰는 워크플로우에서 사람의 일은 줄지 않습니다. 오히려 문장을 고치는 일에서 "마지막 판단을 내리는 일"로 이동합니다. 확정 권한, 검증 장치, 경험적 관점 — 이 세 가지는 자동화가 아무리 정교해져도 AI에게 넘길 수 없는 영역이라고 생각합니다.

Q&A

AI 초안을 사람이 검수할 때 가장 먼저 확인해야 할 건 무엇인가요?

확정적으로 서술된 경험담이나 수치가 실제로 사실인지부터 보는 것이 우선입니다. 그 다음이 문장이 자연스러운지입니다.

자동화 단계에서 "통과"를 누가 판단해야 하나요?

저희 파이프라인에서는 AI가 1차 검사를 하고, 발행 상태 전환과 같은 최종 판단은 항상 사람이 합니다.

---

 

블로그·쇼츠 자동화, 툴 8개가 실제로 하는 일

 

---

[핵심요약]

AI 초안 자동화에서 사람이 놓지 말아야 할 검수 원칙 3가지