AI는 어떤 원칙으로 항목을 판정하는가
AI 분석 도구를 쓸 때 가장 불안한 것은 "이 결과를 어디까지 믿어도 되나"입니다. 문서 분석기는 모드마다 AI에게 주는 지시문(시스템 프롬프트)을 정해 두었고, 이 글은 그 안의 공통 원칙, 모드별 심각도 기준, 긴 문서 처리 방식을 그대로 풀어 씁니다. 결과를 읽을 때 "왜 이 항목이 이 심각도인가"를 짐작하는 데 도움이 됩니다.
1. 모든 모드에 공통인 판단 원칙
- 문서에 적힌 내용만 근거로 삼는다. 추측으로 항목을 만들지 않습니다.
- 근거는 원문을 그대로 인용한다. 요약하거나 고쳐 쓰지 않으므로, 결과의 인용문을 원문에서 검색해 대조할 수 있습니다.
- 원문에서 확인할 수 없으면 보고하지 않는다.
- 확신이 낮으면 빼지 않고 "확신도 낮음"으로 표시한다. 이유는 "왜 문제인가" 칸에 적도록 합니다. 판단을 사람에게 넘기는 장치입니다.
- 같은 내용을 여러 항목으로 쪼개지 않는다. 하나의 사안은 하나의 항목입니다.
- 담당자·기한은 자료에 적혀 있을 때만 채운다. 없으면 비워 둡니다. AI가 임의로 정하지 않습니다.
문제가 없는 문서라면 빈 결과가 나오도록 되어 있습니다. "억지로 만들어내지 말라"는 지시가 모든 목록형 모드에 들어 있습니다.
2. 모드별 심각도·우선순위 기준
같은 "치명"이라도 모드에 따라 이름과 의미가 다릅니다. 결과 표의 첫 칸이 모드에 따라 "치명/긴급/필수/최우선"으로 바뀌는 이유입니다.
문서 감사 — 치명 · 높음 · 보통 · 낮음
| 단계 | 기준 |
|---|---|
| 치명 | 이대로 두면 즉시 장애·손해·법적 문제가 되는 수준 |
| 높음 | 다음 단계로 넘어가기 전에 반드시 결정·수정해야 하는 수준 |
| 보통 | 남겨두면 나중에 재작업이 생기는 수준 |
| 낮음 | 알아두면 좋은 개선 제안 |
유형은 오류·누락·모순·모호·위험 다섯 가지입니다. 문체·표기 통일 같은 취향 차이는 검사 기준에 적혀 있을 때만 보고하고, 법적 유효성이나 승소 가능성은 판단하지 않도록 지시합니다. 그래서 이 모드는 법률 자문이 될 수 없습니다.
QA 산출물 — 필수 · 높음 · 보통 · 낮음
| 단계 | 기준 |
|---|---|
| 필수 | 실패하면 출시할 수 없는 수준(진행 불가, 데이터 손실, 결제 오류) |
| 높음 | 핵심 기능의 정상·실패 경로 |
| 보통 | 부가 기능, 경계값 |
| 낮음 | 표시·문구 확인 |
수행 절차는 "사전 조건 → 번호 붙인 단계 → 기대 결과" 형식으로 쓰도록 하고, 정상 경로만 만들지 말고 실패·취소·경계값·권한 없는 상태를 포함하도록 지시합니다. 문서에 없는 기능을 상상해 케이스를 만들지 못하게 합니다. 유형은 테스트 케이스·버그 재현·회귀 확인·탐색적 테스트입니다.
리뷰·설문 분석 — 최우선 · 높음 · 보통 · 낮음
| 단계 | 기준 |
|---|---|
| 최우선 | 이탈·환불·악평으로 직결되는 문제 |
| 높음 | 자주 반복되고 재구매에 영향을 주는 문제 |
| 보통 | 일부 고객에게 불편을 주는 문제 |
| 낮음 | 있으면 좋을 개선 요청 |
개별 리뷰를 나열하지 않고 같은 원인을 말하는 리뷰를 한 주제로 묶습니다. 대표 고객 문장을 1~3개 인용하고, 몇 건쯤에서 관찰됐는지 적게 합니다. 칭찬만 있는 주제는 보고하지 않습니다. 유형은 품질·배송·수령·가격·고객 응대·사용성·기능 요청·기타입니다.
회의·상담 정리 — 긴급 · 높음 · 보통 · 낮음
| 단계 | 기준 |
|---|---|
| 긴급 | 오늘·내일 처리하지 않으면 문제가 되는 일 |
| 높음 | 기한이 명시된 일 |
| 보통 | 기한 없이 합의된 일 |
| 낮음 | 참고로 공유된 내용 |
"~하기로 했다"는 결정사항, "~해 주세요"·"~확인해 볼게요"는 할 일로 봅니다. 할 일의 담당자는 말한 사람이 아니라 실제로 수행할 사람입니다. 결론 없이 끝난 논의는 "후속 확인"으로 분류해 무엇이 미정인지 제목에 적습니다. 잡담과 인사말은 보고하지 않습니다. "다음 주까지" 같은 상대 표현의 기한은 계산하지 않고 그대로 적습니다.
문서 질의응답 — 있다/없다 두 갈래
질의응답은 목록이 아니라 질문 하나에 답 하나입니다. 조각 안에 근거가 있으면 답하고, 근거가 없거나 부분적이면 "모르겠습니다" 같은 말조차 쓰지 않고 답 없음으로만 처리합니다. 일반 상식으로 빈틈을 메우지 않게 하기 위한 규칙입니다. 답마다 원문 인용과 위치 단서(장·절 제목, 표 이름)가 따라옵니다.
3. 긴 문서는 어떻게 나눠 읽나
- 한 번의 AI 호출에 넣는 본문은 약 9,000자 단위(브라우저 기준)이고, 서버는 한 번에 최대 20,000자까지만 받습니다.
- 자르는 위치는 문단 경계(빈 줄)를 우선합니다. 한 문단이 너무 길 때만 강제로 자릅니다.
- 근거를 그대로 인용해야 하므로 조각 사이에 약 300자를 겹칩니다.
- 조각은 순서대로 처리하며 진행률이 표시됩니다. 일부 조각이 실패해도 나머지는 계속 처리하고 실패 건수를 알려 줍니다.
이 방식의 한계는 분명합니다. 멀리 떨어진 두 부분 사이의 모순이나 상호 참조는 놓칠 수 있고, 질의응답은 여러 곳에 흩어진 내용을 하나로 종합하지 못합니다. 이런 문서는 관련 부분만 따로 올리거나, 사람이 해당 부분을 직접 대조하세요.
4. 결과를 읽을 때 적용하는 법
- 항목의 근거 인용을 원문에서 검색해 실제로 있는 문장인지 확인합니다.
- "확신도 낮음" 항목은 "왜 문제인가"에 적힌 이유를 먼저 읽고 판단합니다.
- 심각도는 위 표와 비교해 문서의 실제 상황에 맞는지 봅니다. 사업 맥락에 따라 사람이 조정하는 것이 맞습니다.
- 해당 없음이면 상태를 "해당 없음"으로 바꿔 둡니다. 처리 이력은 이 브라우저에만 저장됩니다.
더 자세한 대조 방법은 AI 문서 분석 결과를 믿기 전에에, 기본 기준 목록은 검사 기준 사전에 있습니다.