감사에서 받게 되는 질문
AI가 경보를 닫았거나 위험도를 낮췄다면, 감사나 사고 조사에서 결국 세 가지를 묻습니다. 무엇을 보고 그렇게 판단했는지. 그때 어떤 모델과 규칙이 돌고 있었는지. 지금 다시 해도 같은 결론이 나오는지. 앞의 두 질문은 기록만 제대로 남기면 답할 수 있습니다. 세 번째가 까다롭습니다.
temperature 0으로는 부족합니다
temperature를 0으로 두면 같은 입력에 같은 답이 나온다고 생각하기 쉽습니다. Thinking Machines Lab이 2025년 9월 공개한 글은 그렇지 않은 이유를 다룹니다. 추론 서버가 요청을 묶어 처리하는 배치 크기는 그때그때의 부하에 따라 달라지는데, 널리 쓰이는 GPU 커널이 배치 크기에 따라 연산 순서를 바꾸기 때문에 같은 프롬프트에서도 결과가 달라질 수 있다는 내용입니다. 배치 크기와 상관없이 같은 결과를 내는 커널을 쓰면 비트 단위로 같은 출력을 얻을 수 있지만, 처리 속도를 일부 내줘야 합니다.
그래서 저희는 판정 당시 무엇이 들어가고 무엇이 나왔는지를 원본 그대로 보존하는 데 무게를 둡니다. 다시 실행한 결과는 원래 판정과 비교하는 용도로 씁니다. 결론이 달라졌다면 그 자체가 검토할 신호입니다. 그 판정은 경계선에 있었다는 뜻이니까요.
판정 한 건마다 남기는 항목
Threat Correlator는 판정마다 증거, 근거, 판정, 권고를 한 기록으로 묶어 남깁니다. 아래는 그 기록에 들어가야 할 내용을 일반적인 형태로 옮긴 예시입니다.
// 예시: 판정 기록 한 건 (필드 이름은 설명용)
{
"verdict_id": "...",
"decided_at": "2026-10-21T02:13:44+09:00",
"verdict": "true_positive",
"severity": "high",
"evidence": [
{"source": "edr", "ref": "event_id=...", "sha256": "..."},
{"source": "proxy", "ref": "proxy/2026/10/21/02.log#L1840", "sha256": "..."}
],
"attack_mapping": ["T1059.001", "T1490"],
"model": {"name": "...", "version": "...", "temperature": 0},
"prompt_template": "triage-v14",
"policy_version": "auto-response-2026.10",
"input_digest": "sha256:...",
"output_raw": "...",
"reviewed_by": "analyst-042"
}
필드 하나하나는 평범합니다. 빠뜨리기 쉬운 것은 prompt_template과 policy_version입니다. 모델은 그대로인데 프롬프트 문구를 고쳤다면 판정 기준이 바뀐 것이니, 코드처럼 버전을 붙여 관리해야 합니다.
증거는 원본 로그를 복사하지 않고 위치와 해시만 남기는 경우가 많습니다. 이때 로그 보존 기간이 판정 기록 보존 기간보다 짧으면, 1년 뒤 감사에서 판정 기록은 있는데 근거 로그는 지워진 상태가 됩니다. 두 기간을 맞춰 두세요.
ATT&CK 기법 ID를 붙이는 이유
"의심스러운 PowerShell 실행"이라고 적는 것보다 T1059.001을 붙이는 편이 감사에서 다툼이 적습니다. MITRE ATT&CK은 공개된 공통 분류라 제3자가 같은 기준으로 근거를 확인할 수 있습니다. 물론 매핑도 틀릴 수 있고 한 경보에 기법이 여러 개 붙기도 합니다. 그래서 매핑 역시 분석가 검토 대상에 넣습니다.
규제 쪽 요구
2026년 1월 22일 시행된 인공지능 기본법은 고영향 인공지능을 제공하는 사업자에게 위험관리 방안과 인공지능 설명 방안의 주요 내용 등을 게시하도록 합니다(제34조). 보안관제 AI가 곧바로 고영향 인공지능에 해당하는 경우는 드물 수 있지만, 판정 결과가 채용이나 대출 심사처럼 개인의 권리에 영향을 주는 업무와 이어진다면 따져 볼 일입니다. 해당 여부는 법무 검토가 필요합니다. 어느 쪽이든 판정 근거를 남겨 두면 나중에 손해 볼 일은 없습니다.
참고 자료
- Defeating Nondeterminism in LLM Inference, Thinking Machines Lab, 2025.9
- Command and Scripting Interpreter: PowerShell, T1059.001, MITRE ATT&CK
- 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법, 국가법령정보센터
