AI Engineering
에이전트를 믿으려면 코드베이스부터: Lauren Tan 워크숍 정리
자는 동안 PR 20개가 머지되는 환경은 어떻게 만들까. 검증 스킬, 스킬 평가, 그리고 에이전트가 망치기 어려운 코드베이스에 대한 Lauren Tan의 1시간 워크숍을 정리했다.
이 글의 목차
Lauren Tan이 진행한 약 1시간짜리 워크숍 영상을 보고 정리했다. 코딩 에이전트를 어떻게 믿고, 그 믿음을 어떻게 키워 가는지에 대한 이야기다. 영상은 여기에서 볼 수 있다.
Lauren은 Netflix에서 테크리드와 엔지니어링 매니저를, Meta에서 React 컴파일러를 거쳐 Cursor에 들어온 지 5개월이 된 엔지니어다. 이 이력이 이야기 전체의 틀이 된다. 에이전트를 다루는 일이 엔지니어링 매니지먼트와 닮았다는 것이다.
신뢰가 없으면 병렬화도 없다
에이전트가 추측하고, 환각을 일으키고, "진짜 원인을 찾았다"고 자신 있게 말하는데 아니었던 경험이 쌓이면 신뢰를 잃는다. 신뢰가 없으면 매니저가 팀원을 믿지 못할 때처럼 마이크로매니징을 하게 된다. 에이전트의 출력을 하나하나 지켜보고 직접 프롬프트를 쓰는 모드다. 에이전트 하나도 못 믿는데 100개를 띄울 수는 없다.
Lauren은 이 과정을 신뢰 곡선으로 그렸다. 5개월 동안 이 곡선을 올라서 지금은 에이전트가 PR을 자동으로 머지하고, 아침에 일어나면 20개가 이미 들어가 있어서 main에서 리뷰한다고 한다. 지난달에는 약 1,000개, 이번 달은 12일 기준으로 약 800개의 PR이 들어갔다고 말한다. 입사 첫 달에는 코드베이스를 몰라 생산성이 낮았고, 에이전트를 믿게 되면서 올라갔다는 설명이다.
가장 중요한 기술은 검증
에이전트가 코드를 실제로 실행하고, CPU 트레이스나 힙 스냅샷을 찍고, iOS 시뮬레이터를 여는 것. 사용자가 앱을 쓰는 방식 그대로 돌려 보고 확인하는 능력이다. 좋은 코드를 보장하지는 않지만 올바른 코드는 쓰게 한다.
검증 스킬이 없으면 사람이 검증자가 된다. 에이전트가 코드를 쓰면 로컬 빌드를 열어 보고, 안 되면 스크린샷과 콘솔 에러를 복사해서 붙여 넣는다. 이러면 사람이 병목이라 병렬화할 방법이 없다.
Lauren이 Cursor의 Agents 창(내부 코드명 Glass)을 맡았을 때 첫 주에 만든 게 control glass 스킬이다. 출시까지 일주일 남았는데 플레임 그래프를 에이전트와 같이 들여다봐도 에이전트는 그럴듯하게 틀린 답만 했다. 스킬의 코드 자체는 중요하지 않다고 한다. Electron이나 웹 앱이면 Chrome DevTools Protocol을, iOS면 Apple의 시뮬레이터 도구를 쓰도록 에이전트에게 가르치면 된다.
Feature map
스킬을 만들어도 에이전트는 앱이 어떻게 생겼는지 몰랐다. "왼쪽 사이드바가 느려요", "PR 탭이 안 돼요" 같은 제보가 들어오면 코드를 뒤지며 헤맸고 UI에서 그 기능에 도달하는 방법도 몰랐다. 그래서 스킬에 feature map이라는 파일을 같이 둔다. 기능별로 UI에서 어떻게 가는지, 하위 기능, 단축키, CDP에서 요소를 고를 때 쓰는 DOM 속성까지 적어 둔다.
효과는 제보 처리에서 크게 났다. 내부 Slack에는 스크린샷 한 장에 물음표만 달린 제보도 올라오는데, 지도가 있으면 그런 제보도 기능에 매핑할 수 있다. 이 지도의 초기 버전은 에이전트가 코드를 탐색해서 만들어 주고, pstack에는 create verification 스킬과 지도를 갱신하는 maintain verification 스킬이 들어 있다.
스킬은 에이전트의 실패를 보며 쌓는다
pstack은 Y Combinator의 Garry Tan이 만든 GStack을 장난스럽게 따라 지은 이름이다. 성이 같지만 친척은 아니라고 한다. 처음부터 플러그인을 만들 생각은 없었고, 스킬을 하나씩 만들다 보니 쌓인 것이다.
출발점은 에이전트의 도구 호출 로그를 열어 본 일이었다. 버그 제보를 주면 에이전트가 "이게 원인이 틀림없다"고 하는데, 정작 영향을 받아야 할 코드는 읽지도 않았다. 이걸 본 뒤로 에이전트를 믿을 수 없게 됐고, 그래서 실패 유형을 볼 때마다 스킬로 만들었다. "추측하지 말고 코드를 찾아봐라, 서브에이전트를 많이 써라" 같은 것들이다.
스킬을 보는 관점도 매니지먼트에 빗댄다. 코딩은 잘하지만 업무 맥락이 전혀 없는 신입이 방금 들어왔다면 어떻게 온보딩하겠느냐는 것이다. 그 답이 마크다운으로 된 스킬이다. 좋은 토큰을 앞에 넣어 주면 모델이 더 똑똑한 영역의 패턴을 따라간다는 설명도 덧붙인다.
스킬을 평가한다
스킬을 고칠 때마다 쓰는 방법이 평가(eval)다. Lauren은 이를 에이전트용 단위 테스트라고 설명하고, 거창한 프레임워크 없이도 엄밀한 정도를 조절해 직접 만들 수 있다고 한다. pstack의 poteto 모드에는 eval playbook이 있다.
- 코디네이터 에이전트가 스킬이 해야 할 일의 루브릭을 만든다
- 서브에이전트를 여러 개 띄우고, 각자 독립된 디렉터리에서 일하게 한다
- 디렉터리 이름은 평가받는 중임을 눈치채지 못하게 짓는다. 에이전트가 알아채면 행동이 달라지기 때문이다
- Cursor는 모델을 여러 개 지원하므로 같은 스킬을 여러 모델에서 돌려 비교한다
- 심사는 다른 모델의 에이전트가 맡아 편향을 교차 확인한다
/loop로 "모든 항목이 10점 만점이 될 때까지 반복"하는 식으로 점수를 올려 간다(hill-climbing)
control 스킬의 CLI도 이 방식으로 거의 손을 대지 않고 만들었다고 한다. 다만 처음부터 매끄럽지는 않았고, 스킬 유지보수는 어렵고 안목과 관찰이 필요하다고 강조한다. 초기에는 도구 호출과 thinking 블록을 직접 열어 보며 어디서 실패하는지 보는, 페어 프로그래밍에서 옆에서 훈수 두는 자세를 권한다.
이 과정에서 엔지니어의 역할도 바뀐다. 직접 요리하는 사람이 아니라 주방을 세팅하고 일을 나눠 주는 헤드 셰프에 가깝다는 비유다.
로컬에서 클라우드로, 그리고 자동 머지로
시작은 로컬이다. 에이전트가 앱을 띄우고 API를 어떻게 호출하는지 직접 볼 수 있기 때문이다. 신뢰가 쌓이면 클라우드 에이전트로 넘어간다. 환경 설정에 시간을 조금 들이면 검증 스킬은 나 혼자가 아니라 팀 전체, 회사 전체에 이득이 된다.
예로 든 게 Benny라는 에이전트다. 들어온 버그 제보를 받아 클라우드에서 자기 데스크톱을 열고, Cursor를 실행해서 같은 control 스킬로 버그를 재현해 본다. 영상 속 사례에서는 버그가 재현됐지만 main에서는 이미 고쳐진 상태여서, 새 빌드만 내보내면 된다는 결과가 자동으로 나왔다. 에이전트와 한 시간 붙잡고 확인할 일을 안 해도 된다.
순서는 정해져 있다. 로컬에서 검증을 만들고, 신뢰가 쌓이면 클라우드로 옮기고, 마지막에 PR 자동 머지다. 이 단계를 건너뛰고 처음부터 클라우드 에이전트를 수천 개 띄우면 토큰만 낭비되고 비용도 크다. 지름길은 없고, 결국 개인이 에이전트를 얼마나 믿는지에 달린 문제라고 한다. pstack 같은 플러그인이 속도를 높여 줄 수는 있지만, 자신의 말을 맹신하지 말고 포크해서 자기 기준을 스킬로 넣으라고 한다.
코드베이스가 신뢰를 만든다
세 번째 큰 주제는 리팩터링과 재작성이다. 보통은 재작성을 말리지만 에이전트 시대에는 사정이 다르다고 주장한다.
- Meta나 Google 같은 대기업 인프라는 가장 숙련도가 낮은 엔지니어도 사고를 못 치도록 프레임워크, 규약, 가드레일, 권한 제한을 갖추고 있다. 이런 환경이면 에이전트도 이미 꽤 잘한다
- 가장 위험한 건 새로 만든 프로토타입이다. 바이브 코딩으로 만든 앱은 가드레일이 없어서 에이전트가 가장 편한 방법으로만 풀고, 코드베이스가 점점 통제를 벗어난다
GrokBot이 정확히 그런 신규 프로토타입이었고, Lauren은 이를 새 아키텍처 Dune으로 리팩터링했다. 600개가 넘는 PR이 들었다고 한다. 지금은 코드를 거의 보지 않는다. 토큰을 많이 써서 그 지점까지 간 것이다. 덕분에 디자이너, PM, GTM 담당자도 기능을 추가할 수 있고, 누가 성능 회귀를 머지하지 않을까 밤에 걱정하지 않아도 된다.
Dune의 제약
Dune은 Electron 앱용 Next.js 같은 것으로, 에이전트가 쓰도록 설계됐다. 오픈소스 계획은 없고 아이디어와 원칙의 모음이라고 한다. 핵심 원칙은 "가장 짧은 경로가 가장 좋은 경로"다. 에이전트는 지름길을 좋아하니 지름길이 곧 올바른 길이 되게 만든다.
useEffect금지. CI가 실패한다- 코드 주석 금지. 에이전트가 "Lauren이 이렇게 하지 말라고 했다" 같은, 코드와 무관한 이력성 주석을 99% 달기 때문이다. 리뷰에서 한 말을 영구 규칙으로 오해하는 일이 많다
electron main과electron renderer디렉터리를 나누고, 의존성 그래프를 검사해 서로 import하는 것을 CI에서 막는다. 프레임당 16ms 예산을 지키려는 것이다- 기능 하나의 코드를 한 디렉터리에 모아서, 에이전트가 이리저리 찾지 않고 그 디렉터리 안에서 일하게 한다. 작업의 80% 정도는 거기서 끝난다
강제력 계층
제약은 층으로 쌓는다. 가장 강한 건 엄격하고 관례적인 코드베이스 구조다. 그다음이 정적 분석이다. CI 검사, 린트, 컴파일러 진단이 여기에 속하고, CI를 빨갛게 만들어 에이전트가 나쁜 코드를 쓰지 못하게 막는다. 규칙, Bugbot, 스킬은 그보다 약한 층이다. 에이전트가 잊거나 일관되게 적용하지 않을 수 있기 때문이다. 겹쳐서 쓰되 이것만으로 강제하면 코드베이스는 결국 엉망이 된다고 한다.
이 맥락에서 기술 스택의 선택도 중요하다고 한다. Rust가 다시 주목받는 이유로, 컴파일러가 강제하는 것이 많아서 unsafe만 막으면 컴파일되는 코드는 어느 정도 믿을 수 있기 때문이라고 설명한다.
가장 기억에 남는 말은 이것이다. 사람이 코드 리뷰에서 "이렇게 하면 안 된다"고 직접 지적하는 방식으로 불변식을 지키고 있다면 그건 코드 스멜이다. PR에 코멘트를 남기는 대신 이걸 린트 규칙이나 CI 실패로 바꿀 수 없는지, 아예 문제를 범주째 없앨 수는 없는지 먼저 따져 보라는 것이다.
PR 크기에는 상한이 없다. 50줄에서 1,000줄까지 다양하다. 다만 git 히스토리가 풍부한 맥락이라서 에이전트에게 작업을 여러 PR로 쪼개게 한다. 그래야 버그가 생겨도 4만 줄짜리 PR 속에서 찾지 않고 해당 변경만 되돌릴 수 있다.
토큰은 얼마나 드나
일반 사용자도 가능한 방식인지 묻는 질문이 나왔다. Lauren은 자신이 토큰이 무제한인 AI 연구소에서 일한다는 점을 인정하고, 똑같이 따라 하라고 말할 수는 없다고 한다. 대신 ROI의 문제로 본다.
- 초기에는 코드베이스 리팩터링과 제약 추가에 토큰이 많이 든다
- 하지만 에이전트가 코드를 대부분 쓰는 세상에서 조직을 Meta처럼 1만 명 규모로 키우는 건 오버헤드가 크다. 날렵하게 유지하고 싶다
- 혼자서 이런 수준의 제약 프레임워크를 만들고 리팩터링하고 검증하려면 수년이 걸렸을 것이다. 사람을 채용할지, 토큰을 써서 가장 단순한 에이전트도 잘하게 만들지의 선택이다
- 이렇게 정비된 코드베이스에서는 최상위 모델이 아니어도 좋은 코드를 쓴다
영상 당일 발표된 Grok 4.6은 토큰당 비용이 4.5와 같다고 언급하며, 가장 큰 모델이 아니라 비용 대비 지능이 좋은 지점을 노린다고 설명한다.
제품팀은 어떻게 따라가나
링크의 56:55 부근은 마지막 질문에 대한 답이다. 엔지니어가 이렇게 빨리 내놓으면 제품팀과 다른 직군은 어떻게 따라가느냐는 질문이었다.
답은 GrokBot이다. Cursor는 IDE, CLI, Agents 창처럼 개발자 중심 도구라서 GTM이나 PM이 쓰기에는 즐겁지 않았다. GrokBot은 iMessage처럼 생긴 익숙한 UI에서 에이전트에게 이름을 붙이고, 에이전트마다 정체성을 주고 오케스트레이션한다. 비개발자에게는 처음으로 쉽게 열리는 입구라는 평가다. 예를 들어 계정 하나당 에이전트 하나를 두거나, PM이 "Lauren이 어젯밤 한 일을 요약해 줘"라고 시키는 에이전트를 둘 수 있다.
PM이 직접 버그를 고쳐서 "봐 줄 수 있나요"라고 올리면, Lauren은 보고 완벽해서 승인 도장만 찍는다고 한다. 엄격한 Dune 아키텍처가 엔지니어가 아닌 사람도 높은 수준으로 기여하게 만든다는 증거로 든다.
정리하며
영상을 관통하는 말은 결국 신뢰였다. 정리하면 이렇다.
- 에이전트가 스스로 실행하고 확인하게 한다. 검증이 없으면 사람이 병목이다
- 에이전트의 실패를 관찰하고, 그때마다 스킬로 만든다. 스킬은 평가로 테스트한다
- 로컬에서 신뢰를 쌓은 뒤에 클라우드와 자동 머지로 넘어간다
- 리뷰에서 같은 말을 반복하고 있다면 린트, CI, 구조 변경으로 올린다
- 지름길이 곧 올바른 길이 되도록 코드베이스를 설계한다