AI의 답을 어떻게 믿나요 - 근거, 공백, 그리고 확정과 추론

플래티는 AI 답변의 신뢰를 세 가지 장치로 만듭니다. 모든 문장에 코드 근거를 붙이고(근거), 확인 못 한 것은 모른다고 답하며(공백), 확정된 연결과 추론된 연결을 구분해 표시합니다(추론 연결은 사람이 확인하면 확정 레벨로 승격).

"AI가 그렇다는데요"는 회사에서 근거가 못 됩니다. 엔터프라이즈가 AI에 데인 이유는 틀려서가 아니라, 모르면서 아는 척해서입니다. 저희는 반대로 설계했습니다.

장치 1. 답은 항상 출처를 데려온다

플래티의 답에는 근거 코드 위치가 붙습니다. "정산은 매월 1일과 16일에 돌아갑니다"라는 답 밑에는 그 스케줄러의 위치와 마지막 변경 시점이 있습니다. 믿으라고 하지 않습니다. 확인하라고 보여줍니다.

장치 2. 모르는 것은 모른다고 답한다

플래티의 문서에는 '증거로 확인하지 못한 것' 목록이 함께 붙습니다. 권한 규칙처럼 코드만으로 단정 못 하는 영역은 경계로 표시합니다. 질문이 그 영역에 닿으면 답은 "확인되지 않음"입니다. 아는 척하지 않는 것이 신뢰의 절반입니다.

장치 3. 확정과 추론의 구분

솔직한 이야기를 하나 하겠습니다. 정적분석도 모든 연결을 잇지는 못합니다. 실행해봐야 정해지는 동적 패턴이 있기 때문입니다. 저희는 이걸 숨기는 대신 구분했습니다.

  • 확정된 연결 - 정적분석이 코드 구조에서 증명한 연결. 그 자체로 믿을 수 있습니다.
  • 추론된 연결 - 정적으로 못 이어 LLM이 추론으로 이은 연결. 별도로 표시합니다.

모든 연결선에 이 출처가 붙고, 답을 줄 때 근거가 확정인지 추론인지 보여줍니다. 추론된 연결은 사람이 확인하면 확정 레벨로 올라갑니다. 완벽을 주장하는 대신, 확정과 추론을 정직하게 구분합니다. 그리고 이 구분은 시간이 지날수록 강해집니다. 컨펌이 쌓일수록 확정 영역이 넓어지니까요.

낡은 답은 낡았다고 적는다

모든 지식 조각에는 원본 커밋이 붙습니다. 코드가 바뀌면 영향받은 부분만 다시 분석합니다. 그래서 "이 답이 어느 시점의 코드 기준인지"를 항상 압니다. 사람이 만든 문서가 절대 못 하는 일입니다.

다음글 : 정적분석은 어디까지 보고, 어디서 멈추는가 - 동적 패턴을 다루는 법