← 모든 글

AI Engineering

Uber는 AI 디버깅 에이전트를 어떻게 운영할까: Debug Assist 발표 정리

연 5만 건 이슈를 다루는 Uber가 LangGraph 기반 디버깅 에이전트로 RCA부터 수정 PR까지 자동화한 방법. 아키텍처, 스킬 하네스, 성과 수치를 정리했다.

이 글의 목차

Uber가 사내 디버깅 에이전트 Debug Assist를 만든 과정을 소개한 발표를 보고 정리했다. 발표자 Kriti Dangi는 Uber에서 앱 품질과 프로덕션 관측성을 다루는 시니어 소프트웨어 엔지니어다. 한 줄로 줄이면 이렇다. 계획은 사람이 고정하고, 에이전트는 각 단계에서 맡은 일만 한다.

정리 대상 영상. 글에 나오는 시점은 영상 안의 대략적인 위치다.

문제: 이슈는 많고 해결은 느리다

Uber에서는 Wisdom과 Healthline을 합쳐 매년 약 5만 건의 이슈가 엔지니어에게 배정된다. 90%가 고객에게 영향을 주고, 페이저는 1만 2천 건이 간다. 이슈 하나를 해결하는 데 평균 28일이 걸린다고 한다.

이유는 현실의 디버깅이 그렇기 때문이다. 에러 메시지는 "문제가 발생했습니다" 수준이고, 코드와 로그, 설정, 데이터가 서로 다른 도구에 흩어져 있다. 여러 팀이 하나의 모노레포에 기여하니 누가 원인을 만들었는지부터 찾아야 하고, 찾아도 다른 팀 코드인 경우가 많다. 발표에서는 Stripe 보고서를 인용해 개발자가 시간의 40%를 디버깅에 쓴다고도 말한다.

입력: Wisdom과 Healthline

에이전트가 쓰는 재료는 두 시스템에서 온다.

  • Wisdom: 직원과 베타 테스터가 앱 안에서 직접 버그를 제보하는 도구다. "화면이 하얗게 나와요" 같은 자연어 설명 하나만 쓰면, 앱과 OS 버전, 도시 같은 메타데이터와 네트워크, 분석, 콘솔, GraphQL, UI 상태 로그, 스크린샷이 함께 수집된다(영상 1분 22초 부근).
  • Healthline: 크래시, 행, 지터 같은 문제를 자동으로 잡는다. Wisdom과 같은 메타데이터와 로그에 더해 스택 트레이스와 크래시 덤프까지 담는다.

파이프라인 한눈에

전체 흐름은 이렇다. 발견 → 자동 분류(우선순위, 심각도, 담당 온콜 지정) → Debug Assist(30분 안에 심층 원인 분석) → 해결. 데이터를 한 무더기 던져 주는 게 아니라 개발자가 바로 조치할 수 있는 결과를 내는 게 목표라고 한다.

Debug Assist 파이프라인컨텍스트 수집결정적 노드Healthline · Wisdom · 로그를가져와 전처리분류 · RCALLM · Sonnet원인 분류 · MCP 조회서브에이전트 병렬 분석수정 · 완화LLM · Opus원인 flag 롤백으로 완화코드 수정안 작성검증스스로 재현유닛 · E2E 테스트로수정이 맞는지 확인PR 생성결정적 노드Jira · Slack으로개발자에게 전달
Debug Assist의 노드 순서. 연한 파랑은 LLM 없이 도는 결정적 노드, 진한 파랑은 LLM 노드다. 발표 설명을 바탕으로 직접 그린 도식이다.

데모 두 가지

배터리 과열. 한 개발자가 택시를 기다리다 폰이 뜨거운 걸 알고 "Uber 앱이 배터리의 30%를 쓴다"라고만 제보했다. 사무실에 도착해 노트북을 열었을 때, 20분 사이에 Debug Assist가 이미 수정안을 만들어 둔 상태였다. 원인은 백그라운드에서 돌아야 할 코드가 포그라운드 루프처럼 계속 도는 "핫 루핑" 경로였다. 앱이 17분간 백그라운드에 있었다는 사실까지 증거 타임라인으로 붙어 있어서, 에이전트가 환각하지 않는다는 점을 확인할 수 있다.

푸시 알림 크래시. 푸시 알림을 아주 빠르게 누르면 앱이 죽는 P1 이슈였다. 잘못된 롤아웃이 원인이었고, 5% 롤아웃 단계에서 크래시를 잡아 같은 날 수정을 배포했다. 수정안은 Slack 메시지로 개발자에게 전달됐다.

노드별로 뜯어보기

에이전트는 LangGraph 파이프라인이고, 결정적 노드와 LLM 노드가 섞여 있다. 발표에서 강조하는 이유는 이렇다. 에이전트는 보통 계획 단계와 실행 단계를 거치는데, LangGraph로 계획 단계를 건너뛰고 "매번 이 순서대로 하라"는 계획을 직접 준다. 좋은 계획을 LLM이 스스로 세우길 기대하지 않으니 환각의 여지가 줄어든다.

컨텍스트 수집: 일부러 LLM을 쓰지 않는다

Healthline, Wisdom, 로그를 가져오는 결정적 노드다. 데이터를 가져오는 일뿐이라 LLM이 필요 없고, 컨텍스트가 부풀거나 지연과 비용이 늘어나는 것도 막는다. 로그가 수 MB에서 GB 단위라 그대로 에이전트에게 넘길 수 없고, 전처리하고 가지치기하는 단계가 필요하다.

분류와 RCA: 서브에이전트를 병렬로 펼친다

LLM 노드다. 먼저 크래시를 분류한다. 자사 코드인지, 서드파티인지, 인프라나 네트워크인지, PR이 필요한지 가른다. 그리고 신뢰도 점수를 낸다. 데이터가 부족하면 MCP로 Jaeger 로그와 분산 트레이싱, 진행 중인 인시던트를 조회한다.

그다음 서브에이전트를 병렬로 펼쳐서 분석하고 결과를 합친다. 예시는 두 가지다.

  • Breadcrumb 분석: 세션 데이터로 사용자의 행동 타임라인을 재구성한다. 원인 분석뿐 아니라 재현에도 도움이 된다.
  • Crash correlation: 크래시를 특정 버전 릴리스와 연결한다.

이 노드는 비교적 낮은 모델(Sonnet)과 제한된 턴으로 돌린다. 데이터를 보고 요약하는 일이라 큰 모델이 필요 없고, 시행착오 끝에 20턴을 넘으면 대개 잘못된 방향으로 빠진다는 걸 알게 돼서 이 제한이 가드레일 역할을 한다.

수정: 고치기 전에 먼저 완화한다

가장 큰 모델(Opus)과 더 많은 턴을 쓰는 노드다. 수십억 줄 코드베이스에서 영향받는 모듈과 코드 경로를 찾는다. 이전 노드의 상태가 그대로 넘어와서 앞 단계의 맥락을 잊지 않는다.

특이한 점은 수정보다 완화(mitigation)를 먼저 시도한다는 것이다. Uber의 이슈 대부분은 feature flag 뒤에 있어서, feature flag MCP로 원인 flag를 찾아본다. 앱에는 활성 flag가 수만 개 있어서 크래시 하나를 flag 하나에 연결하는 것 자체가 어려운 일이다. 상관관계가 강하면 flag를 바로 롤백해 문제를 완화하고, 개발자는 여유 있게 고치면 된다.

검증: 에이전트가 스스로 재현한다

사내 이름은 Basil test이고, 실제로는 검증 단계다. 유닛 테스트나 모바일 자동화 E2E 테스트로 이슈를 재현하고 자기 수정이 맞는지 확인한다. 개발자에게 PR을 던지며 "테스트는 알아서 해 달라"고 하지 않고, 스스로 수정의 신뢰도를 높인 뒤 넘기는 것이다.

마지막으로 PR을 만들어 Jira와 Healthline, Wisdom의 이슈에 붙이고 Slack으로 개발자에게 전달한다.

골격은 고정하고 스킬을 바꾼다

발표에서 가장 눈에 띄는 설계다. 에이전트의 골격(위 파이프라인)은 바뀌지 않는다. 바뀌는 건 스킬과 플러그인이다. LLM 노드마다 "Uber에서 PR을 잘 쓰는 법", "테스트 계획의 좋은 관행", "Android 이슈를 고치는 법(지연 로딩을 쓸까, 백그라운드로 미룰까)" 같은 스킬이 있고, 실행 시점에 가져온다. 새 에이전트를 추가하는 일은 새 스킬을 모으는 일이 된다.

규모를 키운 방법

내 컴퓨터에서 돌리는 것과 Uber 규모에서 돌리는 건 다른 이야기라고 한다. 방법은 이렇다.

  • 플랫폼 팀이 하네스(단계, 실행 환경, 의존성)를 제공하고, 각 팀은 자기 도메인의 특화 스킬만 가져온다. 플랫폼 팀이 모든 스킬을 유지보수하지 않아도 된다.
  • 현재 에이전트 약 8개가 모노레포 5개에서 돈다. 코드는 하나의 Python 모노레포에 있고, PEX 바이너리로 패키징해 artifactory에 올린다. 에이전트가 실행될 때 자기 타입에 맞는 바이너리, Docker 이미지, 여러 모노레포에 흩어진 파이프라인을 가져온다.
  • Uber의 스킬 마켓플레이스에는 약 3,000개의 플러그인이 있다. 이걸 전부 컨텍스트에 넣으면 에이전트가 이상해지므로, 에이전트 타입 파라미터로 가져올 스킬을 제한한다.

개발자가 개입하는 방법

PR을 던지고 끝내지 않고, 개발자가 결과를 다듬고 검증할 환경도 제공한다.

  • Diff fixer: 테스트를 더 추가하거나 리팩터링하거나 변수명을 바꾸는 작은 수정을 한 줄 프롬프트로 처리한다.
  • Ask AI 채팅: RCA와 이슈에 대해 묻고 교정할 수 있다. 교정은 에이전트의 프롬프트와 스킬을 개선하는 피드백 루프가 된다.
  • 내 머신에서 열기: 이슈 환경이 세팅된 채로 개인 머신이나 원격 머신에서 열어 직접 디버깅할 수 있다. 설치가 필요 없다.

발표에서 말한 성과

  • 월 약 9,000건의 이슈에 심층 RCA를 제공한다.
  • RCA 정확도는 개발자가 실제로 한 수정과 비교해 약 50%다. 나머지 중 약 40%는 모듈은 맞췄지만 파일이나 함수가 틀린 "방향은 맞는" 결과여서, 그래도 개발자의 수정 속도를 높인다고 한다.
  • Jira 해결 지표가 약 2배 개선돼 기한을 넘긴 이슈 백로그를 줄이는 데 도움이 됐다고 한다(지표의 정의는 자세히 설명하지 않는다).
  • PR 머지율은 1년 전 시작 때 5% 수준에서 지금은 약 48%다.

Q&A에서 나온 것

테스트는 어떻게 하나. 가장 짧고 단순한 경로로 재현한다. 유닛 테스트로 되면 유닛 테스트를, 안 되면 통합 테스트나 컴포넌트 테스트를, 코드로는 재현이 안 될 때만 자동화 E2E를 쓴다. 한 예로 공항 근처에서 네트워크 신호가 약할 때만 나던 이슈가 있었다. 이런 건 코드로 모킹할 수 없는 환경 문제라서, 로그에서 얻은 네트워크 강도와 배터리, feature flag 값을 시뮬레이터나 에뮬레이터에 그대로 설정하고 APK나 IPA를 빌드해 반복 검증했다. 재시도 횟수에는 상한이 있다.

서브에이전트는 어떻게 추적하고 제어하나.

  • 추적은 Arize 트레이싱을 LangChain과 각 LLM 호출에 연결해서 한다. 서브에이전트뿐 아니라 모든 도구 호출, MCP 호출, bash 명령까지 볼 수 있다.
  • 제어는 최대 턴 수(20~30턴이면 정상, 넘으면 문제 신호)와 입력 가지치기다. 예를 들어 문제를 일으킨 커밋을 찾는 서브에이전트에게 전체 git 히스토리를 주지 않고, 정상이던 버전과 문제가 난 버전, 의심 모듈로 범위를 좁혀서 준다.

서브에이전트는 몇 개인가. 고유한 서브에이전트가 지금은 약 30개다. 도메인 오너가 자기 서브에이전트와 지식 베이스를 붙이는 domain extensions를 만들고 있어서, 발표자의 전망으로는 다음 반기 말까지 약 1만 개로 늘 수 있다고 한다.

정리하며

가져갈 점은 이렇다.

  1. 결정적 코드로 처리할 수 있는 단계(데이터 수집, 전처리)는 LLM에 맡기지 않는다. 비용과 지연, 환각이 줄어든다.
  2. 계획은 사람이 고정하고, 에이전트는 각 단계의 일만 한다.
  3. 최대 턴 수 같은 가드레일로 에이전트가 엉뚱한 곳을 파고드는 걸 막는다.
  4. 고치기 전에 완화(feature flag 롤백)부터 시도하고, 수정은 스스로 재현해서 검증한 뒤 넘긴다.
  5. 하네스는 플랫폼이 제공하고 스킬은 각 도메인 팀이 가져오게 해서 규모를 키운다.