개선한 실행이 실제로 성공했고 사용량도 줄었다면 좋은 근거가 생긴다. 그래도 모든 작업에서 같은 비율로 줄 것이라는 약속까지 얻은 것은 아니다. 북극성에는 순차 실행 비교와 교차 순서 비교가 모두 남아 있어, 각 기록으로 무엇을 말할 수 있는지 구분할 수 있었다.
먼저 업무 결과가 같은지 확인한다
이전 방식이 끝낸 일을 개선 방식이 덜 했는데 토큰만 줄었다면 효율 비교가 아니다. 공개 페이지 읽기 시험은 같은 최신 참조와 목표를 전달하고 실제 제목·링크 추출 뒤 답변까지 확인했다. 전달 크기만 계산한 오프라인 검사는 이 업무 결과 확인과 별도로 남겼다.
전달 실행 비교도 같은 종류의 등록·비공개 결과를 확인했지만 회차마다 새 자료를 사용했다. 재사용 영수증을 새 전송 성공으로 바꿔 세지 않았다. 같은 업무 목표와 실제 결과를 맞추는 것은 비교의 출발점이며 그 자체로 캐시와 대화 길이까지 같은 실험이 되는 것은 아니다. 결과 동등성과 조건 동등성은 따로 점검한다.
순차 비교에는 앞뒤 순서가 남는다
compact 기록의 이전·최종 회차는 외부 모델 요청 수와 실행 경로가 다르고 누적 대화 길이·캐시 상태도 다르다. 전체 1,073,497에서 317,935로 줄었다는 산술은 그 표본에 대해 맞지만 이를 제품의 고정 절감률로 일반화하지 않았다. 어떤 층의 대기를 옮겼는지는 코드와 함께 설명할 수 있다.
짧은 입력과 출력, 로컬 상태 조회 수는 구조가 바뀐 근거다. 그러나 그 변화만의 인과 효과를 정확히 분리한 통제 실험은 아니다. 캐시가 잘 맞은 순서나 응답 길이 차이도 사용량에 영향을 줄 수 있다. 나는 실제 수치를 지우지 않으면서 그 숫자로 답할 수 없는 질문도 함께 남겼다.
교차 순서는 도움이 되지만 작은 표본이다
0.1.117 화면 요약 비교는 기존→개선→개선→기존 순서로 네 번 실행했다. 각 실행은 실제 추출과 최종 답변의 두 모델 호출이었다. 양쪽 두 실행 합계는 전체 134,088과 127,694였고 표에는 약 4.77%의 표본 감소가 남아 있다. 순서의 한쪽 편향을 줄이려 한 별도 비교다.
그래도 캐시 상태와 생성 길이를 완전히 고정하지는 못했다. 다른 사이트 쓰기·업로드나 인증 대기까지 포함한 모든 업무의 평균도 아니다. 한 종류의 읽기에서 작은 표본이 성공한 것이다. 이후 0.1.118 지침·스키마 비교의 다른 수치를 같은 실험의 추가 표본처럼 섞지 않았다. 변경 대상과 실행 조건이 다르기 때문이다.
실패한 초기 비교를 지우면 해석도 달라진다
이전 화면 요약 기록에는 첫 구현에서 압축 문턱을 우회해 사용량이 늘어난 비교와, 수정 뒤 최신 참조가 빠져 완료하지 못한 비교가 남아 있다. 최종 성공만 읽으면 어떤 제약을 잘못 건드렸는지 알 수 없다. 개선이라는 이름이 붙었다고 매번 더 작고 정확했던 것은 아니다.
수정은 압축 뒤 요약하는 순서와 최신 snapshot을 찾는 위치를 고치는 방식이었다. 한도를 올리거나 오래된 참조를 허용해서 통과시키지 않았다. 이번 글은 그 역사적 문서와 코드 범위를 읽은 제작 기록이며 원래 모델 호출을 다시 실행하지 않았다. 최초 실패 비용과 최종 성능 비교도 각각의 집계 범위로 유지한다.
다음 실험에는 바꿀 조건과 지킬 조건을 적는다
독자가 같은 방식으로 비교한다면 목표와 성공 기준, 모델과 설정, 입력 자료, 실행 순서, 호출 수, 캐시와 전체 토큰을 먼저 정리하면 된다. 모든 조건을 고정할 수 없다면 고정하지 못한 항목을 남긴다. 결과 확인에 실패한 회차를 정상 성공의 분모에 조용히 넣거나 빼지 않는 기준도 필요하다.
공유 원장은 완전한 지표의 산술 차이를 계산하지만 통제 실험 확인과 일반 절감 보장 필드는 False로 둔다. 어떤 모델이 언제나 더 싸다는 추천도 하지 않는다. 나는 숫자를 공개할수록 그 숫자가 나온 조건도 함께 공개해야 다음 제작자가 더 나은 실험을 만들 수 있다고 본다. 좋은 표본은 약속을 부풀리지 않아도 유용하다.