피드백 루프
개요
AI 작업자는 장기 원칙보다 지금 바로 보이는 feedback loop에 더 강하게 반응한다.
그래서 구조를 유지하려면, 나중에 CI나 리뷰에서 잡는 것만으로는 부족하다. 가장 가까운 곳에 좋은 feedback loop를 둬야 한다.
이 문서는 transition의 진단을 반복하지 않고,
harness/ai 적용 레이어에서 어떤 가까운 신호가 실제 행동을 바꾸는지 본다.
왜 가까운 loop가 중요한가
AI는 보통 다음 순서로 행동을 조정한다.
- 가장 빨리 돌아오는 신호를 본다
- 그 신호를 통과하는 쪽으로 코드를 바꾼다
- 같은 신호가 반복되면 그에 맞는 패턴을 빠르게 학습한다
그래서 가장 가까운 loop가 약하면, 먼 곳의 좋은 원칙보다 가까운 나쁜 shortcut이 더 강하게 작동한다.
좋은 AI feedback loop의 조건
빠르다
결과가 늦게 오면 AI는 이미 더 넓은 수정으로 퍼져나간다. 저장 직후, 작은 검사 직후, commit 직전처럼 가까운 신호가 중요하다.
국소적이다
문제가 생긴 파일, 경로, 규칙 근처에서 실패해야 한다. 범위가 넓은 실패는 AI가 수정 범위를 과도하게 넓히게 만든다.
결정적이다
같은 입력에 같은 실패가 나와야 한다. flaky한 신호는 AI에게 잘못된 학습 표면을 만든다.
canonical path를 가리킨다
무엇이 금지되었는지만 말하면 AI는 주변 코드에서 다른 shortcut을 추측한다. 허용된 대안을 같이 보여줘야 한다.
나쁜 loop가 만드는 행동
- CI에서만 뒤늦게 잡힌다
- 리뷰에서만 설명으로 교정된다
- failure가 vague해서 다른 파일까지 건드린다
- warning만 있고 실제로는 계속 진행된다
이런 구조에서는 AI가 실패를 학습하기보다, 더 빨리 우회를 시도하는 쪽으로 적응한다.
loop는 층으로 배치해야 한다
가장 자연스러운 구조는 대개 다음과 같다.
- edit / save time signal
- small command-level validator
- pre-commit gate
- branch / CI gate
핵심은 먼 gate를 없애는 것이 아니라, 가까운 loop가 먼저 구조를 교정하게 만드는 것이다.
인간과 AI의 차이
사람도 가까운 feedback에 반응하지만, AI는 그 경향이 더 강하다.
- 반복 속도가 더 빠르고
- 실패를 더 자주 재시도하며
- 같은 패턴을 더 쉽게 복제한다
그래서 AI 환경에서는 local feedback quality가 사실상 harness 품질의 일부가 된다.
실무 질문
- 가장 자주 깨지는 규칙은 얼마나 가까운 loop에서 잡히는가
- 그 실패는 수정 범위를 좁혀주는가
- warning만 있고 실제 교정은 나중으로 밀리고 있지 않은가
- canonical path가 같은 신호 안에서 같이 제시되는가
- AI가 이 loop를 반복하면서 shortcut이 아니라 합법 경로를 학습할 수 있는가
요약
좋은 AI feedback loop는 다음을 만족한다.
- 빠르고
- 국소적이며
- 결정적이고
- canonical path를 가리킨다
하네스의 AI 적용 핵심은 더 똑똑한 모델이 아니라, 가장 가까운 loop가 올바른 행동을 강화하도록 만드는 것이다.