처음에는 자료를 요약하려고 했습니다. 여기에 검색을 붙이고, 표를 만들고, 다음 작업까지 자동으로 실행하게 합니다. 기능은 늘었는데 결과가 어긋났을 때 어디부터 확인해야 할지 막막해집니다. 업무를 자동화하며 만날 수 있는 가상의 상황입니다.
2019년 4월 25일, 카파시는 「A Recipe for Training Neural Networks」에서 신경망을 훈련할 때 따르는 절차를 공개했습니다. 모델 개발에 관한 글이지만, 검증하지 않은 복잡함을 한꺼번에 더하지 않는 태도는 오늘의 AI 업무에도 질문을 던집니다.
실행되고 있어도 잘못될 수 있습니다
“Neural net training fails silently”
신경망 훈련은 조용히 실패할 수 있다. — 카이로스 번역
카파시는 코드의 문법이 맞고 훈련이 진행돼도, 데이터 처리나 설정이 잘못돼 결과가 나빠질 수 있다고 설명합니다. 오류 메시지가 나오지 않았다는 사실만으로 올바른 훈련을 확인하기는 어렵다는 뜻입니다. 원문 읽기
모델보다 자료를 먼저 살펴봅니다
“Become one with the data”
데이터와 하나가 되어라. — 카이로스 번역
그가 제안하는 첫 단계는 데이터를 직접 살펴보는 일입니다. 중복, 잘못된 라벨, 편향, 분포와 특이한 사례를 확인합니다. 다음에는 단순한 모델로 훈련과 평가의 전체 흐름을 만들고 그 흐름이 맞는지 점검합니다.
복잡함은 확인한 뒤에 더합니다
그의 절차는 단순한 상태에서 출발해, 무엇이 일어날지 가설을 세우고 확인하며 나아갑니다. 검증되지 않은 요소를 한꺼번에 추가하면 문제의 원인을 찾기 어려워진다는 설명입니다. 인내와 세부 사항에 대한 주의를 강조합니다. 원문의 절차
여기까지가 신경망 훈련에 대한 원문의 요지입니다. 아래는 이를 AI를 사용하는 업무 흐름에 적용해 본 카이로스의 제안입니다. 두 작업이 같은 기술이라는 뜻은 아닙니다.
업무 자동화에도 비교할 작은 출발점이 필요합니다
예를 들어 회의 자료에서 후속 업무를 추출한다고 해 봅시다. 처음부터 캘린더 등록과 담당자 알림까지 연결하면, 틀린 일정의 원인이 자료 해석인지, 날짜 변환인지, 등록 과정인지 나눠 보기 어렵습니다.
이 업무의 첫 범위는 “자료 하나를 읽고, 후속 업무 표 하나를 만드는 것”으로 정할 수 있습니다. 사람이 같은 자료에서 적은 간단한 표를 비교 기준으로 둡니다. 이것은 성능 실험의 결과가 아니라, 확인할 범위를 작게 잡기 위한 설계 예시입니다.
| 단계 | 이번에 확인할 것 | 남길 기록 |
|---|---|---|
| 자료 이해 | 담당자와 기한이 실제로 적혀 있나? | 원문 위치, 미정 항목 |
| 초안 생성 | 누락하거나 새로 만든 내용이 있나? | 사람의 기준과 다른 행 |
| 기능 추가 | 추가한 기능이 어떤 차이를 만들었나? | 바꾼 요소와 확인 결과 |
| 현장 적용 | 실제로 다음 행동을 정할 수 있나? | 사용자 판단과 남은 질문 |
카이로스가 제안하는 확인 순서입니다. 특정 모델의 품질을 입증한 결과표는 아닙니다.
간단한 비교 기준에도 틀린 부분이 있을 수 있습니다. AI와 사람의 표가 다를 때는 어느 쪽이 맞다고 곧바로 정하기보다 원자료를 다시 봐야 합니다. 기준을 고쳤다면 이유와 날짜를 남깁니다.
‘바꾼 것 하나’와 ‘확인한 것 하나’를 짝짓습니다
업무 담당자가 매번 모델을 훈련할 필요는 없습니다. 대신 자신의 작업에서 무엇을 바꿨는지 구분할 수 있어야 합니다. 요청 문장을 바꿨는지, 자료를 추가했는지, 출력 형식을 바꿨는지부터 적는 겁니다.
모든 조건을 완벽히 통제할 수 없는 현장에서도, 여러 요소를 동시에 바꾸는 일을 줄이면 결과를 해석할 단서를 남길 수 있습니다. 단 한 번의 좋은 결과를 일반적인 효과로 표현하지 않는 태도도 필요합니다.
사람은 확인할 질문과 받아들일 조건을 정합니다. AI는 차이가 나는 대목을 찾고 정리하도록 돕습니다. 그 차이가 업무상 허용되는지는 사람이 원자료와 목적에 비춰 판단합니다.
기능을 더하기 전에 확인표 한 장을 만드세요
이미 AI로 하고 있는 업무 하나를 고르세요. 이번 과제에서는 새로운 도구를 추가할 필요가 없습니다. 현재 방식에서 가장 작은 입력과 결과를 찾아봅니다.
- 입력 자료 하나와 원하는 결과 하나를 정합니다.
- 사람이 예상하는 결과를 간단히 적습니다. 확신하지 못하는 항목은 표시합니다.
- 현재 방식으로 만든 결과와 비교해, 확인할 차이 한 곳을 고릅니다.
- 변경할 요소 하나를 정하고 다시 수행합니다.
- 무엇이 달라졌고 무엇은 아직 모르는지 기록합니다.
업무:
입력 자료와 확인할 범위:
사람이 예상한 결과 / 아직 모르는 것:
AI 결과에서 확인할 대목:
이번에 바꾼 요소 하나:
바꾸기 전과 후에 관찰한 차이:
다음 업무에 반영할 기준:
산출물은 위 칸을 채운 작은 확인 기록 하나입니다. 성공 여부는 “AI가 더 좋아졌다”는 문장보다, 바꾼 것과 관찰한 차이를 구분해 설명할 수 있는지로 봅니다. 차이가 없었다면 그것도 결과입니다.
확인할 수 있는 범위가 생겼다면, 다음 질문은 AI에게 맡길 범위입니다. 2025년의 부분 자율성 이야기로 이어가 보겠습니다.
AI의 도움을 받아 작성하고 원문과 대조했습니다. 대표 이미지는 카이로스가 생성한 개념 이미지입니다.