파일 카드가 보이고 AI가 읽었다고 답해도 무엇을 읽었는지 확인할 필요가 있었다. 북극성의 실제 ZIP 분석 기록에서는 내부 파일의 정보와 답변을 대조했다. 다른 경로에서 ZIP 읽기가 되지 않았을 때는 실패를 남기고 일부 소스를 텍스트 자료로 바꿔 확인했다.

첨부가 끝난 단계에서 읽기 성공을 선언하지 않는다

파일 선택·서비스 첨부 준비·새 답변은 서로 다른 사건이다. 앞선 글에서는 선택 증표와 서버 처리를 나눴다. 이번 질문은 그 뒤 AI가 자료 안의 정보를 실제로 다뤘는가다. 파일 이름을 되풀이하거나 업로드됐다는 문장만으로는 내용 분석의 근거가 충분하지 않다.

나는 확인할 자료를 먼저 정해 두는 방식으로 접근했다. 로컬 자료의 크기와 hash를 보관하고 질문의 답이 파일 안의 특정 정보와 맞는지 본다. 다만 한두 값을 맞혔다고 파일 전체를 의미 있게 검토했다고 확대하지 않는다. 확인한 정보의 범위를 함께 남겨야 재사용할 수 있는 근거가 된다.

ChatGPT 사례에서는 내부 파일 정보를 맞춰 봤다

당시 공개 가능한 소스 ZIP의 기록에는 manifest 파일 수와 특정 소스 파일의 바이트 수, SHA-256 앞부분을 실제 답변에서 대조한 근거가 있다. 이번 집필에서도 원래 ZIP의 바이트와 hash, 해당 항목을 로컬에서 다시 읽어 저장된 예상값·답변 증표와 같은지 확인했다. 새 원격 요청을 보낸 검증은 아니다.

ZIP 전체 항목 수와 manifest가 세는 소스 파일 수는 같은 숫자가 아닐 수 있다. 어떤 목록을 세었는지 구분해야 한다. 이 대조는 내부 자료의 특정 정보를 답변에서 확인한 증거이며 모든 코드를 실행하거나 모든 파일을 정독했다는 인증은 아니다. 모델의 정적 평가 점수도 실제 성공률로 바꾸지 않았다.

Gemini의 ZIP 실패를 다른 입력의 성공으로 덮지 않았다

다른 작업 기록에서는 Gemini가 ZIP 내부 파일을 읽지 못했다고 답했다. 첨부 카드가 나타났다는 사실을 근거로 분석 성공이라고 쓰지 않았다. 대신 필요한 소스를 Markdown으로 묶은 별도 입력을 만들고 파일에만 둔 검증 코드와 CSV 계산값을 답변에서 비교했다.

이 자료에는 선택한 코드8개와 메타데이터2개, 나머지 경로 목록이 들어 있었다. 경로가 목록에 있다는 것과 그 코드 본문을 포함한 것은 다르다. 텍스트 자료의 성공을 전체 ZIP 처리나 최신 전체 소스 감사의 성공으로 바꾸지 않았다. 실패한 입력 형식과 성공한 선택 자료를 나누어 남기는 편이 다음 작업에도 도움이 됐다.

입력 형식을 바꿀 때 빠진 범위를 표시한다

형식 변환은 “AI가 못 읽으니 전부 붙여 넣자”로 끝나지 않는다. 이번 질문에 필요한 파일을 고르고 어느 버전인지, 어떤 항목은 목록뿐인지 명시한다. 준비 스크립트도 자료를 만드는 단계와 실제 서비스로 전달하는 단계를 가진다. 이번에는 그 코드를 읽었으며 전달 부분을 실행하지 않았다.

자료를 바꾸었다면 검토의 질문도 그 범위에 맞아야 한다. 선택한 몇 함수로 전체 프로그램에 결함이 없다고 말할 수 없고, 파일 속 검증값이 맞아도 제안된 수정이 올바른지는 직접 재현이 필요하다. 나는 입력을 작게 만드는 일과 결론을 크게 만드는 일을 연결하지 않으려 했다.

기록 재검토와 현재 서비스 시험은 다르다

이번 근거는 당시 보고서·확인 JSON·준비 코드와 로컬 ZIP 대조다. 당시 ChatGPT 사례와 Gemini 사례의 서비스 성공·실패는 그 버전과 입력에 묶인다. 지금 모든 계정에서 같은 결과가 난다는 비교 실험으로 소개하지 않는다. 어떤 파일과 어떤 답변을 대조했는지 남기는 것이 목적이다.

별도 생성 관찰 모듈은 새 응답과 매체 준비를 비교할 뿐 ZIP을 풀거나 실제 내용 읽기를 인증하지 않는다. 그 모듈의 시험 통과를 파일 분석 성공으로 쓰지 않는다. 첨부·응답·자료 이해·실행 결과의 증거를 차례대로 구분해야 자동화가 무엇을 실제로 했는지 설명할 수 있다.

읽었다는 말 다음에 확인할 질문을 남긴다

고객이 자료를 맡기는 프로그램이라면 “받았습니다” 다음에 어떤 내용을 확인했는지 알려 줄 수 있어야 한다. 파일 특유의 값과 계산, 버전과 포함 범위를 비교하면 막연한 요약보다 검토를 구체적으로 만들 수 있다. 다만 단일 검증값은 전체 이해의 보증서가 아니다.

나는 실패한 입력도 유용한 작업 재료로 남기고 싶었다. 어떤 형식은 읽지 못했고 어떤 대체 자료는 확인됐는지를 그대로 기록하면 다음에는 필요한 준비를 정확히 고를 수 있다. 성공만 모은 소개보다 확인의 범위를 남긴 제작기가 다른 사람이 자기 업무에 적용하기에도 더 도움이 된다.