배포 후 트라우마 증후군 해결하는데 의외의 방법이 효과적이었음

오늘 새벽 배포했다가 오전에 사용자 3명이 Transaction 실패한다고 고객센터에 전화 와서 눈이 번쩍 떠지는 경험 했습니다. 결국 30분만에 버그 픽스하고 Hotfix 올렸는데 이제 괜찮아졌지만 몸이 계속 긴장 상태인거 같더라고요.

이런 배포 후 불안감이랑 업데이트마다 심장 쫄깃한 거 반년째 계속되는데, 자꾸 예상치 못한 곳에서 문제 터져서 막막했어요. 저는 Slack 봇 하나 만들어서 배포 성공 여부 실시간 감시하고, 트래킹하는데 이제 수동으로 확인하는거보다 더 불안감이 심해지는 희안한 상황이 되어버렸습니다.

그러다 한 서버리스 개발자분이 배포 무지성 자동화 말고 건강한 실수 용인 문화를 만들면 두통이 줄어든다 이야기 해줘서 고민해봤는데 경직된 접근이 더 문제였던 것 같습니다. 운영팀과 릴리즈 데스크탑 공유하면서 이건 어제 우리가 놓친거 아님? 이런 식으로 함께 실수 인정하고 수정하면 스트레스가 확 줄더라고요.

문득 든 생각이 미래에 서버 부하 테스트 CICD 파이프라인에 스트레스 메트릭도 하나 넣어두면 어떨까 싶네요. 계산하건지 아니까, 그 쪽도 한 번 검토해보기로 했습니다.