좋은 예시를 고르는 일이 소프트웨어를 바꾼다

AI에게 “좋은 보고서를 써 줘”라고 부탁하면, ‘좋다’의 의미를 누가 정할까요. 분량이 짧은 보고서인지, 근거가 분명한 보고서인지, 다음 행동이 드러나는 보고서인지에 따라 결과는 달라집니다. 일을 맡기는 사람에게는 원하는 결과를 알아보고 설명하는 일이 남습니다.

카파시 읽기를 2017년 11월 11일의 「Software 2.0」에서 시작합니다. 지금의 대화형 AI가 등장하기 전, 그는 신경망을 통해 소프트웨어를 만드는 방식이 바뀌고 있다고 설명했습니다. 당시의 주장을 먼저 읽고, 오늘의 업무에 가져올 질문을 찾아보겠습니다.

규칙을 쓰는 일에서, 원하는 행동을 학습시키는 일로

카파시는 사람이 명령을 직접 쓰는 방식을 Software 1.0, 학습을 통해 신경망의 가중치를 찾는 방식을 Software 2.0으로 설명합니다. 2.0에서는 원하는 행동의 예시, 신경망 구조, 평가 기준이 중요해집니다. 사람이 가중치를 하나씩 작성하는 것은 아닙니다. 원문 읽기

사람이 고치는 대상도 달라집니다

그의 설명에서 데이터셋을 모으고, 살펴보고, 잘못된 라벨을 바로잡는 일은 개발의 일부가 됩니다. 어려운 사례에서 모델이 실패하면 그 사례를 학습 자료에 보강하는 방식도 제시합니다. 사람의 일이 사라진다는 주장으로 읽기보다, 사람이 개입하는 대상이 달라진다는 설명으로 읽을 수 있습니다.

성능이 좋아져도 이해하기 어려운 문제가 남습니다

그는 신경망이 왜 그렇게 동작하는지 파악하기 어렵고, 데이터의 편향을 받아들이거나 조용히 실패할 수 있다고 짚습니다. 반복해서 평가할 수 있고 명시적인 알고리즘을 만들기 어려운 문제에서 이 방식이 확산될 것으로 전망합니다. 원문의 한계와 결론

이 글은 2017년 신경망 개발에 관한 관점입니다. 프롬프트에 예시를 붙이는 행위가 곧 모델을 재학습시킨다는 뜻으로 옮기면 안 됩니다.

‘좋은 결과’를 예시로 설명할 수 있나요

여기서부터는 카이로스의 해석입니다. 이 글을 업무 교육에 가져온다면, 첫 질문은 “어떤 AI를 사용할까?”보다 “우리는 좋은 결과를 같은 기준으로 알아볼 수 있을까?”에 가깝습니다.

가령 회의 내용을 업무 목록으로 정리하는 과제를 생각해 봅시다. 이것은 실제 수행 결과가 아닌 가상의 사례입니다. “빠짐없이 정리”라고만 요청하면 담당자, 마감일, 결정 여부를 어디까지 적어야 하는지 서로 다르게 이해할 수 있습니다.

팀이 원하는 결과에는 분명한 이유가 있어야 합니다. 원문에 담당자가 없으면 ‘미정’으로 남기는 것이 좋은 예시일 수 있어요. 반대로 읽기 좋게 만들려고 임의의 담당자를 넣었다면, 표가 완성돼 보여도 우리 기준에는 맞지 않을 수 있습니다.

준비할 자료	사람이 정할 내용	AI에게 요청할 도움
받아들일 수 있는 예시	이 결과를 쓰는 이유	공통 특징을 정리하기
수정이 필요한 예시	어떤 대목이 문제인지	차이가 나는 부분 찾기
판단하기 어려운 예시	누구에게 확인할지	미정인 질문을 모으기

이 표는 카이로스의 업무 적용 제안입니다. 카파시 원문의 학습 절차를 그대로 옮긴 표는 아닙니다.

좋은 예시는 보기 좋은 결과물과 다를 수 있습니다. 누락을 분명하게 드러낸 짧은 표가, 빈칸을 추측으로 채운 문서보다 다음 결정을 돕는 경우도 있겠지요. 무엇을 허용할지 결정하는 일은 업무를 책임지는 사람이 맡아야 합니다.

기준과 예외를 한 쌍으로 남깁니다

표준이나 조직의 업무 규칙은 예시를 고르는 출발점으로 쓸 수 있습니다. 예를 들어 “업무마다 담당자를 명시한다”는 기준이 있다면, 실제 자료에 담당자가 없는 상황도 함께 다뤄야 합니다. 확인을 기다릴지, 특정 역할에 배정할지, 다음 회의에서 결정할지는 현장의 선택입니다.

이때 기준 옆에 예외를 적어 두면 좋겠어요. 기준 문장, 그 기준을 만족하는 예시, 판단이 보류된 예시를 함께 보관하는 겁니다. 적용 뒤에 예외가 새로 발견되면 기록을 고칩니다. 공식 표준을 임의로 수정하는 것이 아니라, 그 표준을 우리 업무에 적용하는 방법을 구체화하는 일입니다.

다음 요청에 쓸 예시 세 개를 골라 보세요

이번 과제의 산출물은 ‘내 업무의 예시와 판단 기준’ 한 장입니다. 사용 권한이 있는 자료에서 좋은 결과, 수정할 결과, 판단이 어려운 결과를 하나씩 고르세요. 실제 자료를 쓸 수 없다면 직접 만든 가상 예시임을 표시하면 됩니다.

1. 한 가지 업무를 고릅니다. 예: 회의 내용을 후속 업무로 정리하기.
2. 예시마다 받아들일 부분과 고칠 부분을 표시합니다.
3. 세 예시에 공통으로 적용할 기준을 두세 문장으로 씁니다.
4. AI에게 기준을 적용하게 한 뒤, 본인의 판단과 달랐던 한 곳을 확인합니다.

다음은 같은 업무의 예시 세 개와 내가 정한 기준이다.
[업무] [예시] [판단 기준]

각 예시에서 기준을 만족한 부분, 부족한 부분,
원자료만으로 판단할 수 없는 부분을 나눠라.
근거가 되는 대목을 함께 표시하고, 미정인 정보는 채우지 마라.
마지막으로 사람이 결정해야 할 질문을 정리해라.

완료 여부는 문서의 길이로 판단하지 않습니다. 다른 사람이 이 한 장을 보고 왜 어떤 예시는 받아들이고 어떤 예시는 고쳐야 하는지 설명할 수 있는가를 확인하세요. 의견이 갈리면 그 대목이 다음에 보완할 기준입니다.

다음 편에서는 2019년 글을 읽습니다. 기준을 정한 뒤에도, 일이 돌아간다는 사실만으로 충분히 확인했다고 말할 수 있을까요? 작게 시작하고 하나씩 확인하는 법으로 이어집니다.

AI의 도움을 받아 작성하고 원문과 대조했습니다. 대표 이미지는 카이로스가 생성한 개념 이미지입니다.