검증기 설계

검증기 설계

개요

좋은 rule이 있어도 validator가 약하면 규칙은 다시 설명으로 퇴행한다.

validator는 rule을 실제 시스템에 참여시키는 첫 번째 실행 층이다. 이 문서는 좋은 validator를 어떻게 설계해야 하는지 설명한다.

validator는 최소한 다음 질문에 답해야 한다.

즉 validator는 단순 검출기가 아니라, rule을 실패와 수정 행동으로 연결하는 번역기다.

같은 입력에 같은 결과가 나와야 한다. flaky하면 rule 신뢰가 무너진다.

가능한 한 위반이 발생한 가까운 표면에서 실패해야 한다. 너무 늦거나 너무 넓은 검사는 수정 범위를 흐린다.

파일, symbol, transition, direct path 같은 위반 위치를 좁혀줘야 한다.

같은 위반은 같은 rule id와 code로 묶일 수 있어야 한다. 그래야 반복 실패를 비교할 수 있다.

validator는 무엇이 잘못됐는지만 말하면 부족하다. 허용된 경로를 같이 가리켜야 한다.

둘은 연결되지만 같은 층은 아니다.

validator가 없으면 enforcement는 너무 거칠어지고, enforcement가 없으면 validator는 참고사항으로 남는다.

좋은 validator는 하나일 필요는 없다. 같은 rule이 여러 surface에서 나타날 수 있다.

핵심은 surface가 늘어나는 것이 아니라, 같은 rule 의미가 유지되는 것이다.

이런 validator는 존재해도 실제 통제 비용을 줄이지 못한다.

이 문서는 validator의 구조적 역할을 다룬다. 보다 세부적인 message shape과 feedback 품질은 appendix/feedback-design에서 더 구체적으로 본다.

즉 여기서는 validator의 위치와 성격을, 부록에서는 validator 출력의 운영 품질을 본다.

AI는 validator를 가장 가까운 rule signal로 읽는다.

그래서 AI 환경에서는 validator 품질이 실질적인 harness 품질의 일부가 된다.

좋은 validator design은 다음을 만족한다.

validator는 규칙을 잡아내는 도구가 아니라, 규칙을 시스템의 실제 행동으로 연결하는 첫 번째 실행층이다.