AI에 자료를 더 주었는데 보고서의 수치가 틀립니다. 승인 계획, 이번 주 작업 기록, 지난주 보고서를 모두 넣었으니 필요한 정보는 있어 보입니다. 그러나 최종 보고서에는 지난주 진척률이 현재 수치로 들어가 있습니다. “최신 정보만 사용하라”는 문장도 지시에 있었습니다.
가상의 주간보고 장면입니다. 이 경우에는 자료가 있는가와 현재 판단에 맞게 자료를 쓰는가를 구분해야 합니다. 모델이 볼 수 있는 정보가 늘었다고 어떤 자료를 무슨 역할로 사용해야 하는지가 저절로 명확해지는 것은 아닙니다.
컨텍스트 엔지니어링은 실행할 때 모델이 볼 정보를 선택하고 유지하는 문제를 다룹니다. 공개 연구와 개발 글을 바탕으로 읽으면, 중요한 변화는 자료 묶음을 한 번 준비하는 일에서 자료를 읽고 보고서를 고치는 각 단계에서 필요한 정보를 갱신하는 일로 관심이 넓어졌다는 점입니다. 이 글의 보고서 적용 예시는 실제 운영 성과가 아닌 필자의 해석입니다.
01같은 참고자료라도 기준과 현황과 예시는 다릅니다
주방에 재료가 많이 쌓여 있어도 오늘 요리에 쓸 준비가 끝난 것은 아닙니다. 신선한 것과 시든 것을 골라내고, 지금 만드는 음식에 맞는 재료를 조리대에 올려야 합니다. 컨텍스트도 현재 업무에서 사용할 정보의 역할과 시점을 정하는 일이 필요합니다. 신선한 재료도 주문에 맞는지는 따로 보아야 하듯, 자료의 최근 날짜가 업무상 효력을 대신하지는 않습니다. 이 비유의 신선함은 현재성을 설명하며 승인 기준은 아래에서 별도로 구분합니다.
앞의 보고서에서는 승인 계획이 일정 차이를 판단하는 기준입니다. 이번 주 작업 기록은 현황을 확인하는 근거입니다. 지난주 보고서는 문체와 구성의 예시입니다. 세 파일을 똑같은 “참고자료”로 묶으면 모델은 자료 간 우선순위를 다시 판단해야 합니다. 조직이 이미 알고 있는 역할을 모델에게 추측하도록 맡기는 셈입니다.
먼저 자료마다 역할과 기준 시점을 표시해 볼 수 있습니다. 승인 계획에는 승인 상태와 비교할 버전을, 작업 기록에는 대상 기간과 갱신 시점을, 예시에는 구성만 참고한다는 용도를 적습니다. 파일 이름의 날짜만으로 승인 여부까지 판단할 수는 없으므로, 최신 파일과 유효한 기준도 구분해야 합니다. 자료를 첨부하는 채팅이라면 다음과 같은 설명을 지시와 함께 전달할 수 있습니다.
승인 계획 v3: 현재 승인된 일정 비교 기준입니다. 이번 주 작업 기록: 현재 진척의 근거입니다. 지난주 보고서: 문체와 구성만 참고하며, 수치는 현재 사실로 사용하지 않습니다.
예를 들어 오늘 작성한 일정 초안이 어제 승인된 계획보다 최신이어도 아직 승인 기준으로 쓰면 안 되는 업무가 있을 수 있습니다. 그때 “가장 최근 날짜를 우선하라”는 규칙은 잘못된 답을 만들 수 있습니다. 정보의 신선함과 업무상 효력은 별도의 속성입니다. 도입부의 오래된 수치 혼입과 최신 초안의 잘못된 사용은 모두 자료의 역할이 불분명할 때 생길 수 있는 오류입니다. 날짜와 함께 업무상 기준을 드러내야 합니다.
02검색된 문서와 잘 사용한 근거를 따로 확인합니다
RAG는 외부 자료를 검색해 답변 생성에 활용하는 접근입니다. 대표 논문은 2020년에 공개됐습니다. 모델의 내부 지식 밖에 있는 정보를 가져오는 방향을 이해할 수 있는 연구입니다. 원 논문의 학습 구조를 오늘날 모든 검색 기반 서비스와 같은 것으로 취급하지는 않습니다. RAG 논문
이번에는 자료 폴더나 업무 시스템에 검색·조회 기능을 연결해 AI가 직접 자료를 찾는 환경을 생각해 봅니다. 최소한 세 가지 확인 대상이 생깁니다. 필요한 문서를 찾았는지, 찾은 문서에서 필요한 내용을 읽었는지, 그 내용을 최종 답에 올바르게 반영했는지입니다. 첫 번째가 성공했다고 나머지가 성공한 것은 아닙니다.
관련 문서가 검색됐어도 수정 전 버전이면 기준이 틀릴 수 있습니다. 올바른 문서를 찾았어도 필요한 표의 주석을 읽지 않으면 수치의 의미를 잘못 해석할 수 있습니다. 필요한 항목까지 읽었어도 최종 답에서 지난주 값과 혼합하면 결과가 틀립니다. 검색 결과의 개수나 검색 요청 중 결과가 나온 비율만으로 답변 품질을 판단하기 어려운 이유입니다.
정보를 문단 단위로 나누어 가져올 때도 판단이 필요합니다. 작은 조각은 관련 정보를 골라 넣기 쉽지만, 날짜와 단위가 표의 제목이나 앞 문단에 있으면 의미가 떨어져 나갈 수 있습니다. 큰 조각은 주변 맥락을 보존하지만 관련 없는 내용도 늘어납니다. 고정된 조각 크기를 정답으로 두기보다, 실제 오류 사례에서 어떤 의미가 함께 있어야 하는지 확인해야 합니다.
가상의 일정 차이 보고서라면 계획의 대상 기간, 수치의 단위, 승인 상태, 해당 항목을 함께 읽었는지 확인할 수 있습니다. 질문과 비슷한 단어가 많은 문서를 찾는 능력과 보고서 판단의 올바른 근거를 찾는 능력이 일치하는지도 보아야 합니다. 이는 검색 기술을 업무에 적용할 때의 설계 제안입니다.
03미리 준비한 정보와 실행 중 조회에는 서로 다른 비용이 있습니다
Anthropic의 2025년 컨텍스트 글은 실행 단계마다 넣을 정보를 선택하는 문제와 필요할 때 자료를 읽는 접근을 설명합니다. 이 글이 참고하는 핵심은 컨텍스트를 한 번 채운 뒤 고정하는 자료 묶음으로만 보지 않는다는 점입니다. 컨텍스트 엔지니어링 글
가상 보고서 업무에 적용하면 자주 사용하는 보고서 기준은 미리 준비할 수 있습니다. 승인 계획과 작성 규칙처럼 반복적으로 읽는 자료가 여기에 해당할 수 있습니다. 반면 오늘의 진척과 새로 생긴 문제는 실행 중 확인하는 편이 필요한 현재 상태를 반영하기 쉽습니다.
미리 준비하는 방식은 실행 흐름을 단순하게 만들 수 있지만 자료가 바뀌면 준비한 묶음도 갱신해야 합니다. 실행 중 조회하는 방식은 현재 자료에 접근할 수 있게 하지만 조회 시간과 실패 처리가 더해집니다. 조회 도구가 응답하지 않거나 권한이 없을 때 이를 “자료 없음”과 구분해야 합니다. 답이 돌아왔더라도 기준 시점이 맞는지 살펴야 합니다.
조회한 결과를 저장해 다시 쓰는 경우에는 무엇을 언제 확인한 것인지 남아 있어야 합니다. 오늘 재개한 업무에서 어제의 조회 결과가 충분한지는 자료의 변경 가능성과 오류 비용에 달려 있습니다. 항상 다시 읽으면 비용이 늘고, 항상 저장본을 쓰면 변경을 놓칠 수 있습니다. 자료별 갱신 조건을 정하는 선택이 필요합니다.
따라서 컨텍스트 설계는 저장소를 연결하는 데서 끝나지 않습니다. 어떤 질문에 어떤 자료를 찾을지, 그 결과를 얼마 동안 사용할지, 충돌하거나 실패했을 때 무엇을 할지를 함께 다룹니다. 모델의 지능이 이런 조건을 모두 자동으로 해결한다고 가정하기보다 업무의 기준을 드러내는 편이 검증하기 쉽습니다.
04긴 입력의 수용 능력과 정보의 활용 품질은 다릅니다
2023년 Lost in the Middle 연구는 평가한 모델에서 긴 입력 속 관련 정보의 위치에 따라 활용 성능이 달라질 수 있음을 보여줬습니다. 당시 모델과 평가 과제 범위의 결과이며 모든 최신 모델에서 동일한 저하가 발생한다고 단정할 수는 없습니다. Lost in the Middle 논문
이 연구를 업무에 가져올 때의 질문은 “입력 한도가 충분한가”와 함께 “중요한 정보를 실제로 사용했는가”입니다. 한도 안에 자료가 들어갔다는 사실은 내용의 우선순위나 최종 답의 정확성을 보장하지 않습니다. 같은 업무에서 필요한 근거를 놓친다면 자료의 구성과 역할, 중복, 충돌을 확인할 이유가 생깁니다.
내용을 줄일 때에도 위험이 있습니다. 단위나 승인 조건 같은 짧은 정보가 빠지면 전체 해석이 바뀔 수 있습니다. 중요한 쟁점과 아직 확인하지 못한 항목은 남기고, 되풀이된 도구 응답이나 중복 기록을 정리하는 식으로 무엇을 버릴지 판단해야 합니다. 요약의 길이가 줄었다는 것만으로 좋은 요약이라고 평가할 수는 없습니다.
업무별 지식 묶음도 같은 관점으로 볼 수 있습니다. Anthropic의 Agent Skills 글은 지시와 스크립트, 참고 자원을 필요할 때 읽는 패키징 접근을 설명합니다. 업무에 필요한 자료를 찾기 쉽게 묶는 데 참고할 수 있지만, 패키지가 있다는 사실만으로 그 안의 정보가 현재 유효하거나 실행이 정확하다는 뜻은 아닙니다. Agent Skills 글
05마치며: 더 모으기 전에 자료의 역할표를 만듭니다
도입부처럼 지난주 수치가 이번 주 보고서에 섞였다면, 먼저 예시의 사실을 가져온 것인지 현재 기록을 제대로 읽지 못한 것인지 살펴봅니다. 지난주 보고서의 역할을 문체 예시로 한정하고 이번 주 수치의 실제 근거를 대조하는 것이 출발점입니다.
최근 AI에 준 핵심 자료 세 개를 골라 보시길 권합니다. 각 자료의 역할, 기준 날짜, 승인 상태, 갱신 책임을 적고 충돌할 때 무엇을 기준으로 판단하는지 확인합니다. 이 정보가 모델의 입력이나 조회 결과에서 실제로 드러나는지도 살펴봅니다.
그다음 실패한 답에서 필요한 문서를 못 찾았는지, 찾은 내용을 잘못 읽었는지, 읽은 사실을 답에 잘못 썼는지 구분합니다. 세 오류는 개선할 대상이 다릅니다. 자료를 더 넣거나 검색을 바꾸기 전에 어느 단계에서 문제가 생겼는지 보아야 합니다.
컨텍스트의 품질은 보유한 자료의 양보다 현재 판단에 필요한 정보를 찾아 올바른 역할로 사용할 수 있는가에서 드러납니다. 다음 편에서는 이렇게 얻은 정보를 바탕으로 누가 다음 행동을 정할지, 워크플로와 에이전트의 선택을 살펴봅니다.
이 글은 AI의 도움을 받아 작성했습니다.