감사는 운영 루프다
원문은 LLM위키 운영을 ingest -> query -> lint로 본다. 자료 투입과 질의가 반복될수록 출처 없는 주장, 오래된 판단, 중복 문서가 생기므로 점검 흐름을 별도 단계로 둬야 한다.
WikiDocs page analysis · Chapter 8.2
LLM위키를 오래 믿고 쓰기 위한 핵심은 자료를 넣고 질문하는 흐름 뒤에 형식, 근거, 최신성, 구조, 중복을 점검하는 lint 루틴을 붙이는 것이다. 이 페이지는 원문 8.2의 절차를 실무 감사 흐름, 템플릿, 체크리스트로 재구성한 HTML 대응 문서다.
data/runtime/write-agents/LLM wiki reference analyses/md/wikidocs/pages/08-02-cleanup-and-audit-flow.md원문은 LLM위키 운영을 ingest -> query -> lint로 본다. 자료 투입과 질의가 반복될수록 출처 없는 주장, 오래된 판단, 중복 문서가 생기므로 점검 흐름을 별도 단계로 둬야 한다.
제목, 요약, 근거, 확인 필요, 관련 문서, 다음 질문을 갖춘 문서는 다시 질문하기 쉽다. 그러나 형식이 좋다고 사실성이 보장되지는 않으므로 근거 점검이 뒤따라야 한다.
고립, 중복, 충돌 문서는 즉시 삭제하지 않는다. 조건, 날짜, 근거, 독자를 비교하고 정리 후보 기록에 남겨 되돌릴 수 있는 감사 흐름을 만든다.
| 원문 절 | 핵심 내용 | 실무 의미 |
|---|---|---|
| 기본 흐름 | ingest -> query -> lint 흐름을 제시한다. | 자료 입력, 질의, 점검을 분리해 위키를 검토 가능한 지식으로 유지한다. |
| 형식 점검하기 | 좋은 위키 문서의 기본 형식을 확인한다. | 제목, 한 문장 요약, 근거, 확인 필요, 관련 문서, 다음 질문을 표로 점검한다. |
| 근거 점검하기 | 핵심 주장마다 원천 경로, URL, 확인일, 확실성, 최신성을 본다. | 출처 없는 주장과 오래된 주장을 확정 지식으로 쓰지 않는다. |
| 구조와 중복 점검하기 | 고립 문서, 중복 후보, 충돌 후보를 찾는다. | 삭제보다 대표 문서, 링크 보강, 주제 분리, 보류 여부를 기록한다. |
| 정리 후보 기록 | 후보, 이유, 근거, 제안 처리, 확인 필요, 상태를 남긴다. | 감사 결과를 추적 가능하게 만들고 같은 논의를 반복하지 않게 한다. |
| 단계 | 하는 일 | 남기는 것 | 생략했을 때의 위험 |
|---|---|---|---|
ingest | 원천 자료를 넣고 출처와 확인일을 남긴다. | raw/, source note, log.md | 자료는 많지만 근거가 불명확해진다. |
query | 위키를 기준으로 업무 질문을 던진다. | 답변, output 초안, 확인 필요 | 답변이 대화창에만 남고 위키가 갱신되지 않는다. |
lint | 형식, 근거, 최신성, 구조, 중복을 점검한다. | 감사표, 정리 후보, 수정 사항, 보류 이유 | 그럴듯하지만 믿기 어려운 위키가 된다. |
lint는 문서를 예쁘게 다듬는 일이 아니라 신뢰 경계를 회복하는 일이다. LLM이 만든 문장은 자연스러워 보여도 원천, 확인일, 적용 조건이 없으면 업무 산출물로 승격시키기 어렵다. 이 문제의식은 8.1 위키에도 점검이 필요한 이유와 직접 연결된다.
형식 점검은 문서가 다시 질문 가능한 상태인지 확인하는 첫 단계다. 좋은 형식은 문서 미관이 아니라 업무 질문의 재료로 쓰일 수 있는 최소 구조다.
| 점검 항목 | 통과 기준 | 실패 신호 | 후속 처리 |
|---|---|---|---|
| 제목 | 업무 질문이나 판단 초점이 드러난다. | notes.md, summary.md처럼 용도가 흐리다. | 질문 기준으로 제목과 파일명을 고친다. |
| 한 문장 요약 | 핵심 결론과 용도가 보인다. | 본문을 읽기 전 목적을 알 수 없다. | 요약을 추가하되 과한 단정은 피한다. |
| 근거 | 원천 경로, URL, 확인일, 자료 성격이 있다. | 원천으로 돌아갈 수 없다. | 근거 블록을 추가하거나 확인 필요로 낮춘다. |
| 확인 필요 | 미정, 추정, 최신성 확인 필요가 분리되어 있다. | 모르는 내용이 확정 문장처럼 쓰인다. | 확인 필요 섹션과 다음 질문을 만든다. |
| 관련 문서 | 상위 개념, 원천, 예외 기준, output으로 연결된다. | 문서가 고립되어 있다. | index 또는 관련 문서 링크를 보강한다. |
| 다음 질문 | 문서를 읽힌 뒤 던질 질문이 있다. | 읽고 끝나는 메모가 된다. | 비교, 보고서, 실행 계획, 감사 질문을 추가한다. |
근거 점검은 문서 전체를 좋다, 나쁘다로 평가하지 않는다. 핵심 주장마다 원천 위치와 확실성을 따져 확정, 제한, 추정, 확인 필요로 나눈다. 자세한 문장별 검증 기준은 6.2 답변의 근거 확인하기와 연결된다.
| 문장 상태 | 처리 기준 | 문서 표현 |
|---|---|---|
| 원천 근거 있음 | raw, URL, 회의록 날짜, 공식 문서에서 직접 확인된다. | 원천 자료 기준으로 확인됨 |
| 제한적 확인 | 근거는 있으나 기간, 표본, 상황이 제한적이다. | 현재 자료 기준, 회의록 기준, 샘플 기준 |
| wiki 근거만 있음 | 정리 문서에는 있으나 원천 연결이 약하다. | 위키 정리 기준, 원천 확인 필요 |
| 추정 | 효과, 가능성, 우선순위 같은 해석이다. | 후보, 가설, 검토 대상 |
| 출처 없음 | 근거 위치가 없다. | 확인 필요 또는 삭제 후보 |
| 최신성 확인 필요 | 도구 기능, 정책, 가격, 보안, 릴리스, 담당자가 바뀔 수 있다. | 확인일 기준, 현재 공식 자료 재확인 필요 |
구조 점검은 문서 관계를 회복하는 일이다. 좋은 내용도 index.md, 관련 문서, output, log에서 발견되지 않으면 실무 질문의 출발점이 되기 어렵다.
| 점검 대상 | 확인 질문 | 처리 방향 |
|---|---|---|
index.md | 새 문서와 최근 output이 안내되는가? | 질문별 출발점과 확인 필요를 보강한다. |
| 관련 문서 링크 | 상위 개념, 근거, 예외, output으로 이어지는가? | 장식 링크보다 역할 있는 링크를 남긴다. |
log.md | 자료 추가, 문서 생성, 점검, 정리 후보가 기록되는가? | 누락된 처리 이력을 보강한다. |
| 고립 문서 | 어느 질문에서도 시작점으로 쓰이지 않는가? | 연결, 통합, 보류, 아카이브 후보로 분류한다. |
| 중복 문서 | 같은 기준이 여러 문서에 반복되는가? | 대표 문서와 링크로 정리한다. |
| 충돌 후보 | 같은 사실을 다르게 말하는가? | 조건, 날짜, 근거 차이를 표시한다. |
중복은 항상 삭제 대상이 아니다. 같은 기준이 반복되면 대표 기준 문서가 필요하다는 신호일 수 있고, 비슷한 문장이 실제로는 날짜, 독자, 정책 버전이 달라 모두 남아야 할 수도 있다. 관련 기준은 5.3 위키 문서로 정리하기와 8.3 주제가 늘어날 때 관리하기로 이어진다.
index.md를 열어 핵심 질문, 먼저 읽을 문서, 최근 산출물, 확인 필요가 맞는지 본다.log.md에서 자료 투입, 문서 생성, output 생성, 검증, 보류 이유가 기록됐는지 확인한다.wiki/ 문서 목록을 만들고 제목, 요약, 근거, 확인 필요, 관련 문서, 다음 질문을 점검한다.log.md에 남기고 확인 필요를 자료 수집, 답변 검증, output 수정, 다음 행동으로 연결한다.| 문서 | 제목 | 요약 | 근거 | 확인 필요 | 관련 문서 | 다음 질문 | 처리 |
|---|---|---|---|---|---|---|---|
wiki/... | 예/아니오 | 예/아니오 | 예/아니오 | 예/아니오 | 예/아니오 | 예/아니오 | 유지/보강/확인 필요 |
| 문장 또는 주장 | 근거 위치 | 근거 상태 | 최신성 상태 | 처리 |
|---|---|---|---|---|
raw/..., URL, wiki/... | 확인됨/제한적 확인/wiki 근거만 있음/추정/출처 없음 | 안정/최신성 확인 필요/오래됨 | 유지/낮춤/자료 수집/삭제 후보 |
| 항목 | 작성 내용 |
|---|---|
| 후보 문서 | wiki/... 또는 output/... |
| 문제 유형 | 고립, 중복, 충돌, 오래됨, 근거 부족, 링크 누락 |
| 발견 이유 | 어떤 점검에서 발견됐는가 |
| 근거 | 관련 raw, wiki, log, output |
| 제안 처리 | 유지, 링크 보강, 대표 문서 통합, 주제 분리, 아카이브, 삭제 검토 |
| 확인 필요 | 삭제 전 확인할 조건, 담당자, 최신성, 보안 |
| 상태 | 후보, 검토 중, 처리 완료, 보류 |
다음 wiki 문서 묶음을 점검해 주세요. 기준: - 제목, 한 문장 요약, 근거, 확인 필요, 관련 문서, 다음 질문이 있는가 - 핵심 주장에 raw 경로, URL, 확인일, 자료 성격이 있는가 - 효과, 비용, 일정, 정책, 보안, 도구 기능은 최신성 확인 필요 여부를 표시했는가 - 연결되지 않은 문서, 중복 후보, 충돌 후보가 있는가 주의: - 원천 근거가 없는 내용을 새로 만들어 넣지 마세요. - 문서를 즉시 삭제하거나 병합하지 마세요. - 후보, 이유, 근거, 제안 처리, 확인 필요를 표로 제안하세요.
| 실패 사례 | 위험 | 수정 방향 |
|---|---|---|
| 감사 없이 계속 자료만 넣는다. | 출처 없는 주장과 중복이 쌓인다. | ingest -> query -> lint를 운영 기준으로 둔다. |
| 형식 점검을 사실 검증으로 착각한다. | 근거가 부족한 문장이 확정 지식처럼 남는다. | 형식 점검 뒤 근거 점검을 별도로 한다. |
| 최신성 필요한 명령을 현재 사실로 쓴다. | 실행 실패와 보안 위험이 생길 수 있다. | 확인일, 기준 자료, 재확인 위치를 붙인다. |
| 중복 문서를 즉시 삭제한다. | 조건이나 날짜가 다른 기록을 잃을 수 있다. | 정리 후보로 기록하고 조건과 근거를 비교한다. |
| log를 생략한다. | 왜 고쳤고 왜 보류했는지 추적할 수 없다. | 감사 범위, 수정, 보류, 다음 행동을 기록한다. |
ingest -> query -> lint 흐름을 설명할 수 있다.log.md에 남길 수 있다.