피드백 루프 닫기
개요
좋은 failure feedback은 메시지에서 끝나지 않는다. 같은 실패가 반복된다면, 문제는 이미 한 사람의 실수나 한 번의 잘못된 실행을 넘어섰다.
그 시점부터 필요한 것은 feedback loop closure다.
즉 실패를 기록하는 데서 멈추지 않고,
rule, API, harness, enforcement 개선으로 다시 돌려보내야 한다.
반복 실패가 말해주는 것
같은 실패가 계속 나온다면 보통 셋 중 하나다.
- 규칙은 맞지만 합법 경로가 불편하다
- 규칙은 맞지만 메시지가 약해서 수정으로 이어지지 않는다
- 규칙 자체가 너무 늦거나 엉뚱한 위치에 걸려 있다
즉 반복 실패는 개인의 부주의보다 시스템 설계의 신호일 가능성이 더 크다.
실패를 분류해야 한다
환류가 되려면 우선 실패를 같은 종류끼리 묶어야 한다. 대표적인 축은 다음과 같다.
- boundary 위반
- invalid transition
- direct access / singleton 사용
- test-only bypass
- missing 합법 경로
- unclear validator output
이 분류가 없으면 모든 실패가 isolated case처럼 처리되고, 결국 같은 설명만 리뷰에서 반복된다.
좋은 feedback loop의 기본 흐름
- detect validator, build, runtime, test에서 실패를 포착한다.
- classify 어떤 규칙과 어떤 위반 패턴인지 묶는다.
- assess 우회가 왜 생겼는지 본다. 불편함인지, 모호함인지, 구조 결핍인지 구분한다.
- change 필요하면 rule, API, docs, harness, enforcement 중 맞는 층을 수정한다.
- institutionalize 예제, 테스트, 문서, lint code, review checklist에 반영한다.
핵심은 실패를 고친 뒤 같은 실패가 다시는 같은 비용으로 돌아오지 않게 만드는 것이다.
무엇을 수정해야 하는가
반복 실패가 발생했다고 해서 항상 enforcement를 더 세게 붙이면 안 된다. 경우에 따라 수정 지점은 다르다.
- 합법 경로가 너무 길다 -> API 설계 수정
- 경계가 흐리다 -> architecture 수정
- validator가 약하다 -> message shape 수정
- runtime에서만 알 수 있다 -> runtime guard 강화
- 팀이 계속 헷갈린다 -> docs / examples / review checklist 보강
즉 feedback loop는 실패를 더 세게 막는 과정이 아니라, 적절한 층을 찾아 구조를 조정하는 과정이다.
AI 코딩이 loop closure를 더 중요하게 만드는 이유
AI는 같은 실패를 대량 반복할 수 있다. 이건 단점이기도 하지만, 반대로 규칙이 약한 지점을 빠르게 드러내는 장점도 있다.
중요한 것은 그 반복을 노이즈로 취급하지 않는 것이다.
- 같은 위반이 자주 나오면 합법 경로가 약한지 본다
- 같은 validator message가 무시되면 message shape를 바꾼다
- 같은 bypass 패턴이 재생산되면 public API나 facade를 보강한다
AI는 문제의 원인이 아니라, 약한 통제 표면를 드러내는 증폭기일 때가 많다.
loop가 닫히지 않을 때 보이는 신호
- 리뷰에서 같은 문장을 계속 복붙한다
- 에러는 많지만 규칙 문서는 변하지 않는다
- helper와 util이 계속 늘어난다
- 테스트만 통과시키는 bypass가 반복된다
- 동일한 validator 위반이 릴리즈마다 다시 나온다
이런 신호가 보이면, 시스템은 실패를 소비만 하고 학습하지 못하고 있는 상태다.
실무 질문
- 반복 실패를 rule code 단위로 묶어 보고 있는가
- 실패 원인을 개인이 아니라 구조 층으로 분류하고 있는가
- docs, API, harness, enforcement 중 어디를 바꿨는지 남는가
- 같은 실패가 다음 분기에도 다시 나오는가
- AI가 반복하는 실패에서 control gap을 역으로 읽고 있는가
요약
feedback loop closure는 다음을 의미한다.
- 실패를 같은 패턴으로 묶고
- 적절한 층에서 구조를 수정하고
- 그 수정이 다시 문서와 규칙으로 굳어지게 만드는 것
통제 가능한 시스템은 실패를 기록하는 시스템이 아니라, 실패를 구조 개선으로 되돌리는 시스템이다.