AI 판정이 얼마나 맞는지
이렇게 재겠습니다

정의. AI가 낸 판정 라벨(정탐, 오탐, 추가 조사 필요)과 위험도가 분석가가 최종 확정한 값과 같은 비율입니다.

측정. 위험도 높음 이상 판정은 전수, 나머지는 매월 무작위 표본을 뽑습니다. 기준은 고객사 분석가의 확정 판정이고, 고객 측 확정이 없는 건은 Genox 분석가 두 명이 따로 채점합니다. 둘이 다르면 세 번째 분석가가 정하고, 그 불일치 건수도 함께 적습니다. AI 판정을 먼저 보면 사람도 따라가기 쉬워서, 표본 채점은 AI 판정과 신뢰도를 가린 화면에서 합니다.

이유. 전체 일치율 하나만 보면 건수가 많은 저위험 경보가 숫자를 끌어올립니다. 그래서 위험도별로 나눠 보고합니다.

정의. 오탐은 AI가 위협으로 판정했는데 분석가가 정상으로 확정한 건입니다. 미탐은 AI가 정상이나 낮음으로 닫았는데 나중에 위협으로 확인된 건입니다.

측정. 오탐은 판정 정확도와 같은 표본에서 셉니다. 미탐은 두 갈래로 찾습니다. AI가 닫은 경보 가운데 매월 표본을 다시 열어 분석가가 검토하는 것, 그리고 사고 조사나 위협 헌팅에서 나중에 찾은 건을 거슬러 올라가 당시 경보와 연결하는 것입니다. 두 경로에서 나온 건수는 따로 적습니다.

이유. 관제 AI가 경보를 닫아 주는 만큼 분석가는 그 경보를 다시 보지 않습니다. 미탐은 모르는 것을 세는 일이라 실제보다 낮게 잡힐 수밖에 없고, 그 점도 리포트에 그대로 적습니다.

정의. 판정 기록에 연결된 증거가 하나도 없거나, 근거 문장이 어떤 증거 ID도 가리키지 않는 판정의 비율입니다.

측정. 판정 전수를 자동 검사합니다. 판정 기록 형식에서 근거마다 증거 ID를 필수로 두고, 빠지면 판정을 "근거 부족"으로 돌려 사람에게 넘깁니다.

이유. 형식으로 막아 두면 0이 당연해 보입니다. 그래도 세는 건 검사가 빠지는 경로가 생기기 때문입니다. 조사 단계가 시간 초과로 끝났을 때 타는 대체 경로나 예외 처리 코드가 보통 그런 곳입니다. 0이 아닌 달이 있으면 원인과 고친 내용을 같이 공개합니다.

정의. AI가 조사 중에 부르는 도구(로그 검색, 자산 조회, 샌드박스 실행, 위협 인텔 조회)를 제대로 골랐는지, 호스트명과 시간 범위 같은 인자가 맞는지, 필요한 호출을 빠뜨리지 않았는지, 허용 범위 밖의 호출을 시도하지 않았는지를 봅니다.

측정. 조사 과정 표본을 Genox 엔지니어가 한 단계씩 검토해 채점합니다. 허용 범위 밖 호출 시도는 표본 없이 전수를 자동 집계합니다.

이유. 판정이 틀리는 경우를 따라가 보면 추론보다 조회 단계에서 어긋난 일이 많습니다. 로그 검색 시간 범위를 15분 짧게 잡으면 증거가 "없다"는 결론이 나옵니다. 허용 범위 밖 호출은 OWASP Top 10 for LLM Applications 2025의 LLM06 Excessive Agency와 같은 위험이라 따로 셉니다.

정의. 판정 기록에 인용한 로그 줄, 이벤트 ID, 파일 해시, 경로가 실제로 수집된 원본 데이터에 존재하는지 대조합니다. 없는 로그를 인용했거나 내용이 다르면 불일치로 셉니다.

측정. 판정 전수를 자동으로 대조합니다. 인용 위치로 원본 저장소를 조회해 해시를 비교하고, 하나라도 맞지 않으면 판정을 보류한 뒤 분석가에게 넘깁니다. 보류 건수와 그중 실제 날조였던 건수를 함께 공개합니다.

이유. LLM은 그럴듯한 로그 줄을 지어낼 수 있습니다. OWASP는 이를 LLM09 Misinformation으로, NIST AI 600-1은 confabulation으로 다룹니다. 다만 이 대조는 인용이 존재하는지만 확인합니다. 존재하는 로그를 잘못 해석한 경우는 판정 정확도에서 잡힙니다.

정의. 호스트 격리나 계정 잠금처럼 승인이 필요한 권고 가운데 분석가가 승인, 수정, 거절한 비율입니다. 번복률은 승인해 실행한 조치를 나중에 "판정 오류"를 사유로 되돌린 비율입니다.

측정. 승인 화면의 기록을 전수 집계합니다. 조치를 되돌릴 때는 사유를 고르게 해서, 업무 영향 때문에 풀어 준 건과 판정이 틀려서 풀어 준 건을 나눕니다. 요청부터 승인까지 걸린 시간도 같이 남깁니다.

이유. 승인 비율이 거의 100%에 붙어 있으면 좋은 신호일 수도 있지만, 분석가가 근거를 읽지 않고 누르고 있다는 뜻일 수도 있습니다. 승인 시간이 몇 초에 몰려 있는지 같이 보는 이유입니다.

정의. 판정 때 저장한 입력, 모델 버전, 정책 버전으로 다시 돌렸을 때 판정 라벨과 위험도가 같게 나오는 비율입니다. 문장 표현은 비교하지 않습니다. 같은 문장이 나온다고 보장할 수 없기 때문입니다.

측정. 매월 지난 판정 표본을 다시 돌립니다. 모델이나 정책 버전을 바꾸기 전에는 지난 판정 세트를 새 버전으로 돌려 결과가 어떻게 달라지는지 회귀 비교를 합니다.

이유. 다시 돌렸을 때 결론이 바뀌는 판정은 경계선에 있었다는 뜻이고, 사람이 다시 볼 대상입니다. 일치도가 높다고 판정이 맞다는 뜻은 아닙니다. 같은 실수를 반복해도 일치도는 높게 나옵니다.

정의. 경보 수신부터 판정 기록 생성까지, 판정부터 승인까지, 경보 수신부터 조치 실행까지 세 구간입니다.

측정. 시스템 기록으로 전수 집계하고, 평균 대신 중앙값과 상위 10% 구간(p90)을 함께 냅니다.

이유. 평균은 몇 건의 긴 조사에 끌려 다닙니다. 빠르게 끝난 판정이 정확도까지 낮다면 의미가 없으니, 처리 시간은 늘 정확도와 같은 표에 둡니다.