개발자 생산성 측정하기: 구글, 노션 등의 실제 사례들

• 17개 회사의 개발자 생산성 지표를 확인함

  • 생산적의 정의가 모호함

  • 개발자 생산성(DevProd), 개발자 경험(DevEx) 팀이 만들어지고 개발자들을 지원

    • 이 팀은 엔지니어링 팀의 생산성과 장애 요소를 측정하고 작업이 실제로 영향을 미치는지 추적하기 위한 생산성 지표가 필요

• 개발자 생산성 지표

  • 딜리버리 용이성 (Amplitude, GoodRx, Intercom, Postman, Lattice)

  • 실험 속도 (Etsy)

  • 서비스/앱의 안정성 (DoorDash)

  • SPACE 지표 (Microsoft)

  • 엔지니어당 주간 집중 시간 (Uber)

• 구글의 접근 방식

  • 구글의 방식은 모범 사례라고 여겨지지만, 구글만큼 투자하는 것은 대부분 회사가 불가능하다는 주장도 있음

  • 구글의 Developer Intelligence 팀 : 개발자 생산성 측정, 리더들에게 통찰력을 제공하는 부서

  • 단일 지표가 생산성을 포착하지 못한다 믿으며 속도, 용이성, 품질 차원을 통해 생산성을 바라봄

    • 속도 : 코드 검토가 완료되는데 얼마나 걸리나?

    • 용이성 : 개발자가 코드 리뷰 프로세스를 진행하는 것이 얼마나 쉽거나 어려운가?

    • 품질 : 코드 리뷰를 통해 받은 피드백의 품질은 어느 정도인가?

    • 질적 + 양적 측정을 혼합해 지표 계산

• 링크드인 방식

  • Developer Insight 팀

  • 설문조사, 실시간 피드백, 시스템 기반 지표를 사용해 지표를 추적

  • 지표

    • 개발자 순 사용자 만족도(Developer Net User Satisfaction, NSAT) : 개발자가 LinkedIn의 개발 시스템을 얼마나 만족하는지. 분기별로 측정함

    • 개발자 빌드 시간(Developer Build Time, P50 및 P90): 빌드가 완료되기까지 기다리는 시간을 초 단위로 측정

    • 코드 리뷰어 응답 시간(Code Reviewer Response Time, P50 및 P90): 코드 리뷰어가 검토하는데 걸리는 시간

    • 커밋 후 CI 속도(Post-Commit CI Speed, P50 및 P90): CI 통과 시간을 분 단위로 측정

    • CI 결정성(CI Determinism): CI에서 중요한 오류를 찾는 비율?

    • 배포 성공률(Deployment Success Rate): 프로덕션 환경으로의 배포가 얼마나 자주 성공하는지를 측정

    • 윈화된 평균(Winsorized Means): 이상값 메트릭 내에서 개선 사항을 인식하는 방법. 최고값과 최저값을 가운데에 가까운 숫자로 대체하여 계산

    • 개발자 경험 지수(The Developer Experience Index): LinkedIn에서 팀에 제공하는 특별한 지표. 이 지수는 앞서 나열한 지표와 같은 여러 가지 지표를 기반으로 한 종합 점수

생각 & Action Item

• 생산성에 대한 지표 정의는 중요하긴 하나, 사람들의 반발이 클 것 같은데 이건 어떻게 해야할까? 고민

• 이걸 측정하는 것도 어려운데 특정 프로그램을 사용해야 데이터가 쉽게 얻어진다라는 정보는 없어서 아쉬움

• 사실 데이터 획득이 제일 어려움

https://news.hada.io/topic?id=12982