AI 문서 분석 결과를 믿기 전에 — 근거 인용 대조와 오류 잡는 법
AI가 문서를 읽고 "3조에 지연이자 조항이 없습니다"라고 말합니다. 그럴듯하지만, 실제로 그런지는 아무도 확인하지 않았습니다. AI 분석을 업무에 쓸 때 가장 큰 위험은 틀린 답 자체보다 틀린 답이 자신 있게 정돈된 형태로 나온다는 점입니다. 문서 분석기가 모든 결과에 원문에서 그대로 옮긴 근거 문장을 붙이는 이유가 이것이고, 이 글은 그 근거를 어떻게 활용해 결과를 검증하는지 정리한 것입니다.
1. 검증의 출발점: 근거 인용
결과에 근거 문장이 붙어 있으면 주장이 아니라 대조 가능한 사실이 됩니다. 검증은 다음 다섯 단계로 이뤄집니다.
- 인용문이 원문에 실제로 있는가 — 인용문 일부를 원본 문서에서 검색합니다(Ctrl+F). 없거나 표현이 다르면 AI가 문장을 만들어 냈거나 바꿔 썼다는 뜻입니다.
- 그 문장의 앞뒤 문맥은 무엇인가 — 인용은 맞아도 앞 문장에서 "다만 ~한 경우는 제외한다"가 붙어 있으면 결론이 뒤집힙니다.
- 주장이 인용에서 도출되는가 — "대금 지급 시기가 없다"는 주장에 붙은 인용이 실제로는 지급 방법만 말하고 있다면 근거로 부적절합니다.
- 심각도가 타당한가 — 사소한 표기 문제가 "치명"으로, 반대로 금전 손해로 이어질 누락이 "낮음"으로 매겨지지 않았는지 봅니다.
- 놓친 것은 없는가 — 가장 어려운 단계입니다. 3장에서 다룹니다.
1~4단계는 결과 행의 근거를 클릭해 열어 보는 것만으로 시작할 수 있습니다. 근거가 없거나 문맥과 맞지 않는 항목은 "해당 없음"으로 처리하면 됩니다.
2. AI 분석에서 자주 나오는 오류 유형
| 유형 | 예 | 잡는 방법 |
|---|---|---|
| 없는 내용을 지어냄 | 문서에 없는 조항 번호나 문구를 인용 | 인용문을 원문에서 검색 — 검색되지 않으면 의심 |
| 숫자·날짜 오독 | "30일"을 "3일"로, 금액 단위를 잘못 옮김 | 모든 숫자·날짜·금액은 원문과 직접 대조 |
| 문맥 무시 | 예외 조항·단서 문장을 빼고 결론을 냄 | 인용 앞뒤 2~3문장 확인 |
| 과잉 일반화 | 한 곳의 표현으로 문서 전체가 그렇다고 결론 | "전체적으로"·"항상" 같은 표현이 있는 주장은 다른 부분도 확인 |
| 서로 다른 것을 같은 것으로 봄 | 비슷한 이름의 두 조항·두 재화를 혼동 | 이름·번호가 정확히 일치하는지 확인 |
| 과잉 지적 | 기준에 없는 사항까지 문제로 삼음 | 기준(검사 항목)과 결과가 실제로 대응하는지 확인 |
근거 기반 질의응답 모드는 "올린 문서만 근거로 답하고, 문서에 없으면 답하지 않는다"는 원칙으로 설계됐지만, 이 원칙이 오류가 없다는 뜻은 아닙니다. 답마다 붙은 원문 인용과 출처를 열어 정말 그 질문의 답인지 확인하세요. 틀린 답은 "잘못된 답변 신고 / 교정"으로 올바른 답을 저장해 두면, 같은 질문에서 교정된 답이 맨 위에 표시됩니다(이 브라우저에만 저장).
3. 놓친 항목(누락)을 찾는 법
AI가 "이 문서에는 문제가 세 개 있습니다"라고 했을 때, 네 번째 문제가 있는지는 결과만 봐서는 알 수 없습니다. 누락을 줄이는 방법은 세 가지입니다.
- 체크리스트를 병행합니다. 문서 종류별 체크리스트(실무 가이드의 계약서·기획서·QA 보고서·정책·지원사업 서류 항목)를 사람이 훑어 AI 결과에 없는 항목이 있는지 봅니다.
- 기준을 다르게 표현해 다시 돌립니다. 같은 문서에 기준 표현을 바꿔 한 번 더 실행해 결과가 크게 다르면, 그 차이가 놓친 부분의 단서입니다.
- 알려진 문제로 시험합니다. 일부러 결함을 넣은 짧은 문서(정답을 알고 있는 문서)를 먼저 분석해 보고, 얼마나 잡는지 확인한 뒤 실제 문서에 씁니다.
4. 긴 문서가 만드는 특수한 한계
자료가 길면 이 도구는 문서를 여러 조각으로 나눠 순서대로 처리하고 진행률을 보여 줍니다. 이 방식에는 구조적 한계가 있습니다.
- 조각 경계를 가로지르는 모순은 놓치기 쉽습니다. 5페이지의 "환불 불가"와 40페이지의 "7일 내 환불 가능"이 서로 다른 조각에 있으면 모순으로 인식되지 않을 수 있습니다.
- 상호 참조("제12조에 따라")를 확인하려면 두 곳을 동시에 봐야 하는데, 조각이 다르면 어렵습니다.
- 대응책: 서로 연결된 부분을 한 조각에 모이도록 관련 장만 발췌해 다시 분석하거나, 모순·상호 참조는 사람이 직접 확인합니다.
5. 표본 검수: 어디까지 확인하면 충분한가
결과가 수십 건이면 전부 대조하기 어렵습니다. 다음 원칙으로 검수 범위를 정하세요.
| 대상 | 검수 범위 |
|---|---|
| 치명·높음(또는 최우선·긴급) 항목 | 전부 원문과 대조 |
| 보통 항목 | 무작위로 약 3분의 1 |
| 낮음 항목 | 몇 건만 표본으로 (오류율이 높으면 범위 확대) |
| 금액·날짜·수량이 들어간 항목 | 심각도와 무관하게 전부 |
표본에서 오류가 여러 건 발견되면 그 결과 전체를 신뢰하지 말고 기준을 고쳐 다시 실행하거나 수작업 비중을 높입니다.
6. 상태를 남기면 검증이 기록이 된다
각 항목에 미확인 → 확인함 → 처리 완료 / 해당 없음 상태와 담당자를 남겨 두세요. 이 기록이 있으면 "누가 이 결과를 언제 확인했는가"가 남아 다음 버전 검토 때 재활용됩니다. 결과는 보고서(인쇄→PDF)와 CSV로 내려받을 수 있습니다.
7. 위임해서는 안 되는 판단
- 법률·세무·의료·행정 자문 — 이 도구의 결과는 "무엇이 적혀 있고 무엇이 빠졌는지"를 짚는 것이지 자문이 아닙니다. 계약 체결이나 신청서 제출처럼 법적·재산적 효과가 생기는 일은 해당 분야 전문가의 검토를 받으세요.
- 최종 승인 — 문서를 통과시킬지 말지는 사람이 결정합니다.
- 스캔한 이미지 PDF — 글자를 읽을 수 없어 분석되지 않습니다. 원본 문서나 "텍스트 직접 입력"을 사용하세요. 텍스트 추출이 제대로 되었는지 처음 몇 줄을 확인하는 것도 좋습니다.
AI 분석의 가치는 "정답을 대신 내 주는 것"이 아니라 사람이 볼 곳을 먼저 좁혀 주고, 볼 때 근거를 함께 보여 주는 것입니다. 근거를 열어 보지 않고 결과만 옮기는 순간 그 가치는 사라집니다.
문서 분석기를 처음 쓴다면 리뷰 분석이나 회의 정리처럼 결과를 원문과 바로 대조하기 쉬운 자료로 시작해 보세요.