AI와 일하다 보면 마지막 버튼까지 넘기고 싶어지는 순간이 옵니다. 초안도 잘 쓰고, 검토도 시키면 곧잘 합니다. 그러면 “발행까지 알아서 해 줘”가 자연스러운 다음 걸음처럼 보입니다.
저도 그랬습니다. 블로그 글을 매일 아침 6시에 한 편씩, 주제 고르기부터 발행까지 AI가 이어서 하도록 걸어 두었습니다.
이 글은 그 마지막 버튼을 AI에게 넘겼다가 되찾아 온 기록입니다. 첫날 밤에 검수를 거쳐 올라간 글 세 편을 제 손으로 내렸고, 그 뒤 발행만 사람에게 되돌렸습니다. 그리고 되돌린 자리에서 또 다른 문제가 보였습니다.
안전장치는 세 가지였고, 셋 다 제대로 돌았습니다
무인 발행을 걸 때 저는 나름대로 안전장치를 세 가지 두었습니다. 첫째는 발행 전에 보는 검수 에이전트입니다. 초안을 쓴 AI와 다른 역할의 AI가 글을 읽고 발행해도 되는지 판정합니다. 판정이 통과가 아니면 발행하지 않습니다. 다만 예외를 하나 두었습니다. 수정 판정이 나오면 AI가 한 번 고치고 다시 검수를 받는데, 그래도 수정 판정이면 남은 지적의 종류를 봅니다. 발행을 막는 종류가 아니면 그대로 올린다는 규칙입니다. 둘째는 발행 뒤에 쓰는 내리기입니다. 이미 올라간 글은 제가 언제든 내릴 수 있습니다. 셋째는 다음 실행 전에 쓰는 멈춤 스위치입니다. 파일 하나를 만들어 두면 다음 날 아침 실행이 통째로 건너뜁니다.
2026년 9월 6일 새벽, 이 체계를 걸어 두고 첫 아침 실행을 기다리지 않은 채 시험 삼아 몇 편을 바로 돌렸습니다. 그리고 몇 시간 안에 그날 밤 올라간 글 가운데 세 편을 제가 직접 내렸습니다.
- 한 편은 사적인 주제를 다룬 글이었습니다. 제가 이 블로그에 쓰지 않기로 한 영역입니다.
- 한 편은 제가 쓰는 작업 흐름의 단계와 판정 기준을 도식으로 너무 자세히 보여 준 글이었습니다. 코드도 경로도 없었지만, 제가 보기에는 도식만 보고 같은 구조를 하루 안에 다시 만들 수 있을 정도였습니다.
- 한 편은 내용은 좋았지만 밖에 보이고 싶은 기록은 아니었습니다. 내리고 내부 기록으로만 남겼습니다.
세 편 모두 검수를 거쳤습니다. 두 편은 검수 에이전트가 발행해도 된다고 판정했습니다. 나머지 한 편은 두 번 연속 수정 판정을 받았는데, 앞에서 말한 예외 규칙 때문에 올라갔습니다.
내리기도, 멈춤 스위치도 제대로 돌았습니다. 세 편 모두 몇 시간 안에 내렸고, 그날 밤 스위치를 켜서 9월 13일까지 아침 실행은 매일 건너뛰었습니다.
막힌 곳: 장치는 전부 제대로 돌았는데, 잘못 나간 글을 막지는 못했습니다.
검수 에이전트는 제가 묻지 않은 것을 재지 않았습니다
세 편을 다시 읽어 보니 검수가 틀린 것은 아니었습니다. 검수 에이전트는 문장이 읽히는지, 사실이 맞는지, 내부 파일명이나 규칙 번호가 새지 않았는지를 봤습니다. 그 기준으로는 세 편 모두 발행을 막을 흠이 없었습니다.
세 편이 걸린 기준은 따로 있었습니다. ‘이 주제를 이 블로그에서 다루고 싶은가’, ‘이 구조를 공개해도 되는가’, ‘이 경험을 남에게 보이고 싶은가’. 이건 글의 품질이 아니라 글쓴이의 의사입니다. 검수 에이전트는 문장과 사실과 내부 이름은 쟀지만, 제가 보이고 싶은 글인지는 잴 수 없었습니다. 그 기준을 적어 준 적이 없으니까요.
그리고 저는 글이 올라가기 전에는 읽지 않았습니다. 시험 실행을 직접 걸어 놓고도, 검수가 통과시켰으니 괜찮겠지 하고 올라간 뒤에야 열어 봤습니다. 아침 6시 정기 실행이 시작됐다면 그마저도 없었을 겁니다.
감독 조항은 멈춤 버튼보다 먼저 볼 줄 아는 능력을 적어 두었습니다
사람이 AI를 감독한다는 말은 오래전부터 있었습니다. 이걸 가장 구체적으로 적어 둔 문서 중 하나가 EU AI Act(유럽연합 인공지능법)입니다. 제14조가 인간 감독(Human Oversight)을 다룹니다. 이 조항은 채용, 교육, 필수 공공 서비스 같은 고위험 AI 시스템에 걸리는 의무입니다. 제 블로그 파이프라인은 여기에 해당하지 않습니다. 그래도 제가 읽어 본 문서 가운데 감독이라는 기본기를 이만큼 풀어 쓴 것이 드물어서 제 경우에 대 보았습니다.
제14조 제4항은 감독을 맡은 사람이 할 수 있어야 하는 일을 다섯 가지로 적습니다. 제 번역으로 옮기면 이렇습니다.
- 시스템의 능력과 한계를 제대로 이해하고, 이상 동작을 감지할 수 있을 것
- 시스템의 출력을 자동으로 믿거나 과하게 믿는 경향(자동화 편향)을 알고 있을 것
- 시스템의 출력을 올바르게 해석할 것
- 특정 상황에서 출력을 쓰지 않거나, 무시하거나, 뒤집기로 결정할 수 있을 것
- 시스템에 개입하거나, 멈춤 버튼 같은 절차로 안전하게 중단할 수 있을 것
제 안전장치를 여기에 대 보니 4번과 5번은 있었습니다. 이미 나간 글을 내리는 것은 출력을 뒤집는 일이라 4번에 해당하고, 멈춤 스위치는 5번입니다. 비어 있던 것은 1번과 2번이었습니다. 검수 에이전트가 무엇을 재고 무엇을 재지 못하는지 저는 따져 보지 않았습니다. 그리고 통과 판정을 그대로 믿었습니다. 조항이 이름까지 붙여 경고한 자동화 편향을, 저는 제 검수 에이전트에게 그대로 보이고 있었습니다.
3번도 반쯤 비어 있었습니다. 수정 판정을 받은 글을, 제가 만든 규칙이 발행해도 되는 판정으로 읽어 버렸으니까요. 출력을 해석하는 일까지 규칙에 맡긴 셈이었습니다.
미국 국립표준기술연구소(NIST)가 낸 AI 위험관리 프레임워크(AI RMF 1.0)도 같은 자리를 짚습니다. 이 문서는 할 일을 번호 붙은 항목으로 나눠 두는데, 그중 Manage 2.4는 기대와 다르게 동작하는 AI 시스템을 대체하거나, 떼어 내거나, 끄는 장치가 있어야 한다고 적습니다. 그런데 문장 절반이 더 있습니다. 그 일을 맡은 사람의 책임이 정해져 있고, 그 사람이 그 책임을 알고 있어야 한다는 부분입니다. Govern 3.2는 사람과 AI가 함께 일하는 구성에서 누가 무엇을 맡는지 역할을 나눠 적어 두라고 합니다.
제게는 장치가 있었고, 역할이 없었습니다. 아침 6시에 올라가는 글을 누가 보는지 정해 두지 않았습니다.
사람에게 넘길 때는 발행 전에 읽는 사람이 저절로 있었습니다
예전에 글을 외주로 받거나 동료에게 맡길 때를 떠올려 보면, 발행 버튼은 늘 제 손에 있었습니다. 누가 정해 준 규칙이 아니었습니다. 다른 사람이 쓴 글을 제 이름으로 내보내려면 한 번은 읽게 되니까요. 그리고 글을 쓴 사람도 저라는 독자를 알고 썼습니다. 제가 싫어할 주제를 굳이 골라 오지 않았습니다.
AI에게 넘기자 두 가지가 동시에 사라졌습니다. 쓰는 쪽은 제가 무엇을 보이고 싶어 하지 않는지 모르고, 저는 버튼이 제 손을 떠났으니 읽지 않았습니다. 사람 사이에서는 서로의 눈치가 채워 주던 칸이었습니다.
되돌린 결정: 마지막 버튼을 사람에게 돌려놓았습니다
9월 13일에 구조를 바꿨습니다. 아침 6시 실행은 주제 고르기, 초안, 검수까지만 하고 멈춥니다. 검수를 통과한 글은 대기열에 올라가고, 발행은 제가 직접 실행해야 일어납니다. 예외 규칙은 남겨 두었지만, 이제 그 예외가 향하는 곳은 발행이 아니라 대기열입니다. 공개 수위나 사실 정확성 지적이 남으면 예외 없이 멈춥니다. 검수 에이전트에게는 세 편을 내린 그날 밤에 공개 수위 기준을 더했고, 사적인 주제는 후보에서 빼는 목록도 만들었습니다. 그래도 ‘이 경험을 보이고 싶은가’는 미리 목록으로 다 적어 둘 수 없었습니다. 그 판단이 사람 칸에 남은 몫입니다.
역할로 적으면 이렇습니다. 주제 후보와 초안, 검수는 AI가 합니다. 이 글을 내 이름으로 내보낼지는 제가 정합니다. 앞의 조항 번호로 말하면, 1번부터 3번까지를 사람이 할 자리를 만든 것입니다. 자리를 만든 것이지, 그 능력을 갖췄다는 뜻은 아닙니다. 그 차이는 바로 아래에서 드러났습니다.
그 뒤로 사고는 없었습니다. 잘못 나간 글이 0편입니다. 다만 그 이유를 정직하게 적어야 합니다.
아직 남은 문제: 대기열까지 온 글이 거의 없었습니다
9월 14일부터 24일까지 아침 실행이 11번 돌았습니다. 검수 에이전트가 멈춘 날이 6번, 초안부터 만들어지지 않은 날이 3번이었습니다. 검수 보류는 고친 뒤에도 공개 수위나 정확성 지적이 남아 예외 없이 멈춘 경우입니다. 11번 가운데 9번이 대기열에 오기 전에 멈춘 셈입니다. 검수를 통과해 대기열까지 온 날은 2번이었는데, 두 번 다 같은 주제로 쓴 초안이었습니다. 승인을 기다린다는 알림은 두 번 모두 제게 보내졌습니다. 그런데 알림이 간 곳은 제가 쓰지 않는 메신저와, 따로 열어야 보이는 알림함이었습니다. 승인 기록은 남아 있지 않습니다.
그러니 사고가 0편인 가장 큰 이유는, 대기열까지 온 글이 한 주제뿐이었다는 데 있습니다. 그리고 그 한 주제도 제가 보는 화면까지는 오지 못했을 수 있습니다. 사람 칸이 판단할 기회 자체가 거의 없었습니다. 구조를 바꾼 뒤로 넓혀 보면(9월 13일부터 오늘 28일까지) 블로그에 올라간 글은 3편인데, 셋 다 제가 처음부터 앉아서 AI와 같이 쓴 글이었습니다. 아침 실행이 만든 초안은 한 편도 나가지 않았습니다.
그리고 9월 24일 오후에는 자동 차단 장치가 걸렸습니다. 앞의 세 가지와 별도로 제 예약 작업 전체에 걸어 둔 장치로, 실행 자체가 오류로 끝나는 일이 연속 두 번 생기면 다음 실행을 스스로 건너뜁니다. 검수 보류는 오류가 아니라서 세지 않고, 23일과 24일의 초안 실패가 이어져 걸렸습니다. 제가 켜야 하는 멈춤 스위치와 달리 저절로 걸립니다. 9월 25일부터 오늘까지 나흘째 아침 실행이 멈춰 있습니다. 저는 이 글을 쓰려고 실행 기록을 세다가 그 사실을 알았습니다. 멈추는 장치는 이번에도 잘 돌았고, 이번에도 그걸 보는 사람이 없었습니다.
사람 칸을 만든 것은 맞았다고 생각합니다. 하지만 사람 칸은 두 가지가 채워질 때만 감독입니다. 판단할 글이 대기열을 넘어 제가 실제로 보는 화면까지 와야 하고, 멈췄다는 사실도 그 화면까지 와야 합니다. 알림을 보냈다는 기록만으로는 부족합니다. 지금은 둘 다 가늘거나 끊겨 있습니다. 반대로 대기열이 매일 차기 시작하면, 습관처럼 승인만 누르는 순간 조항이 말한 자동화 편향이 사람 손을 거쳐 돌아올 겁니다. 어느 쪽도 아직 풀지 못했습니다.
지금 시험해 보려는 것은 두 가지입니다. 대기열에 글이 올라오면 제가 판정할 질문 세 개(이 주제를 다루고 싶은가, 이 구조를 공개해도 되는가, 이 경험을 보이고 싶은가)를 글 머리에 같이 띄우는 것. 그리고 승인 대기와 자동 차단 소식을 쓰지 않는 메신저가 아니라 다음 날 아침 제가 처음 여는 화면에 뜨게 하는 것입니다.
마치며: ‘멈출 수 있나’가 아니라 ‘누르기 전에 무엇을 보나’
AI에게 일을 맡길 때 우리는 대개 되돌리는 장치부터 챙깁니다. 제 경우에는 검수, 내리기, 멈춤 스위치였고, 셋 다 제대로 돌았습니다. 그런데 표준이 감독의 첫 줄에 적어 둔 것은 멈추는 능력이 아니라 이해하는 능력과 과신을 경계하는 능력이었습니다. 되돌리기는 이미 일어난 일에만 쓸 수 있습니다.
되돌리기는 이미 일어난 일에만 쓸 수 있습니다.
AI에게 마지막 버튼까지 맡기고 있다면, 그 버튼 앞에 누가 서 있는지 한 줄로 적어 보시길 권합니다. 그리고 그 사람이 버튼을 누르기 전에 확인할 질문을 세 개만 적어 보세요. 그 질문이 검수 에이전트가 재는 것과 겹치지 않는다면, 그 자리가 사람이 지켜야 할 칸입니다.
이 글은 AI의 도움을 받아 작성했습니다.
참고 자료
- Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 14 Human oversight. 조문은 Future of Life Institute가 운영하는 미러에서 판독했습니다: https://artificialintelligenceact.eu/article/14/ (공식 원문: https://eur-lex.europa.eu/eli/reg/2024/1689/oj)
- NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, Core, Govern 3.2와 Manage 2.4: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/