AI 스타트업 6년, 실리콘밸리 환상을 깨고 배운 것들
AI 스타트업 6년, 실리콘밸리 환상을 깨고 배운 것들
2018년, 나는 디자이너로서 AI 스타트업에 합류했다. 당시 AI는 '차세대 혁명'이었고, 모두가 AI 회사를 차리던 시절이었다. 6년이 지난 지금, PM으로서 수십 개의 프로젝트를 런칭하고 실패하며 깨달은 건 단 하나다. AI 스타트업의 성패는 기술이 아니라 문제 정의에 달려있다는 것.
첫 해에 우리는 '혁신적인' 챗봇을 만들었다. 정확도 92%. 데모 때마다 박수갈채. 그리고 3개월 만에 사용자 이탈률 87%. 왜? 아무도 그 문제를 가지고 있지 않았으니까.
AI는 솔루션이 아니라 도구일 뿐이다
가장 먼저 깨진 환상이 이거다. PM으로서 가장 많이 듣는 말이 "AI로 이걸 해결할 수 있지 않을까요?"다. 대답은 항상 같다. "할 수는 있는데, 해야 하나요?"
2020년, 우리는 AI 기반 문서 자동 분류 시스템을 개발했다. 개발 기간 8개월, 투입 인력 12명, 정확도 94.3%. 런칭 후 발견한 사실: 사용자들은 그냥 폴더에 드래그 앤 드롭하는 게 더 편했다. 우리는 존재하지 않는 pain point에 AI라는 과한 솔루션을 들이댄 것이다.
디자이너 출신으로서 배운 교훈: 사용자 리서치는 선택이 아니다. AI 기술이 아무리 멋져도, 사용자가 '굳이?' 하는 순간 프로젝트는 끝이다.
실제로 성공한 프로젝트들을 분석해보니 패턴이 보였다:
- 기존 워크플로우에 자연스럽게 녹아든 경우: 성공률 73%
- 새로운 행동을 요구한 경우: 성공률 18%
AI는 마법이 아니다. 사용자의 기존 습관을 이해하고, 그 맥락 안에서 작동해야 한다.
데이터가 전부라는 말의 진짜 의미
"AI 스타트업은 데이터가 생명"이라는 말을 1000번쯤 들었다. 맞는 말이다. 하지만 누구도 말해주지 않는 진실이 있다. 데이터의 '양'이 아니라 '질'이 중요하다는 것. 그리고 그 질을 확보하는 게 얼마나 지옥같은지.
2019년, 이미지 인식 모델 개발 프로젝트. 우리는 300만 장의 이미지 데이터를 확보했다. 자신만만했다. 결과? 실제 환경에서 정확도 62%. 왜? 학습 데이터는 전부 밝은 조명의 정면 사진이었고, 실제 사용자들은 어두운 곳에서 각도 틀어진 사진을 찍었다.
PM으로서 배운 가장 값비싼 교훈: 데이터 전처리와 라벨링에 전체 개발 시간의 60%를 할애하라. 아니, 70%도 모자랄 수 있다.
실전 팁:
- 실제 사용 환경과 동일한 조건에서 데이터 수집
- 라벨링 가이드라인을 20페이지 이상 문서화 (우리는 실제로 43페이지 작성)
- 최소 3명의 라벨러가 동일 데이터 검증
- Edge case 데이터는 일반 데이터의 3배 이상 확보
모델 튜닝에 쏟는 시간의 절반을 데이터 품질 관리에 투자했을 때, 실제 성능이 37% 향상됐다.
"AI 윤리"는 철학이 아니라 생존 전략이다
초반에는 솔직히 AI 윤리를 '좀 거창한 이야기'라고 생각했다. 2021년, 생각이 180도 바뀌었다.
채용 스크리닝 AI를 개발했다. 베타 테스트 중 발견한 사실: 모델이 특정 대학 출신자들에게 체계적으로 높은 점수를 주고 있었다. 왜? 학습 데이터가 우리 회사의 기존 합격자 데이터였고, 우리 회사는 무의식적으로 특정 스쿨에 편향되어 있었으니까.
편향은 데이터에 숨어있다. 그리고 AI는 그걸 증폭시킨다.
PM으로서 반드시 해야 할 것들:
- Bias Audit: 매 스프린트마다 다양한 사용자 그룹별 성능 측정
- Explainability: "왜 이 결과가 나왔는지" 설명할 수 있어야 함
- Fail-safe: AI가 확신 없을 때 인간에게 넘기는 시스템
우리는 신뢰도 75% 이하의 결과는 무조건 사람이 검토하도록 설계했다. 처음엔 "비효율적"이라는 피드백이 많았다. 하지만 3개월 뒤, 이 시스템 덕분에 법적 리스크 4건을 예방했다. ROI로 따지면 개발비의 12배를 아낀 셈이다.
제품이 아니라 비즈니스를 만들어야 한다
AI 스타트업의 가장 큰 함정: 멋진 데모를 실제 비즈니스로 착각하는 것.
2022년, 우리의 NLP 모델은 산업 평균보다 15% 높은 성능을 보였다. 투자자들은 열광했다. 그런데 ARR(Annual Recurring Revenue)은? 목표의 34%.
디자이너 출신으로서 가장 아팠던 깨달음: 사용자는 성능이 아니라 가치에 돈을 낸다.
실패한 프로젝트 부검:
- 기술 우선으로 접근 → 시장 검증 없음
- 정확도 집착 → 실제로 90%에서 95%로 올려도 사용자는 차이를 못 느낌
- B2B인데 B2C처럼 개발 → 의사결정 프로세스 무시
PM으로서 전환점이 된 질문들:
- "이 기능이 없으면 사용자가 계약을 해지할까?"
- "이게 해결되면 예산을 2배로 늘릴까?"
- "경쟁사 대비 10배 나은데 가격은 2배면 살까?"
가혹하게 들리지만, 이 질문들에 명확히 답할 수 없으면 그건 비즈니스가 아니다. 취미 프로젝트다.
6년이 준 실전 플레이북
AI 스타트업에서 살아남으려면:
1. 문제부터 찾아라
- AI 먼저 생각하지 마라
- 사용자 인터뷰 최소 50명 (우리는 첫 제품에 12명만 인터뷰하고 실패했다)
- "이거 AI로 되나요?" → "이 문제 진짜 심각한가요?"로 질문 바꾸기
2. MVP는 정말 Minimum이어야 한다
- 첫 버전에 ML 모델 넣지 마라. 룰 베이스로 시작
- 정확도 70%로 시작해도 됨. 사용자 피드백이 먼저
- 우리가 3개월 만에 pivot할 수 있었던 이유: 처음부터 간단하게 만들었으니까
3. 측정할 수 없으면 개선할 수 없다
- 기술 지표 (정확도, latency) + 비즈니스 지표 (전환율, retention) 동시 트래킹
- 주간 대시보드 필수. 숫자가 거짓말 안 함
- A/B 테스트 문화. 직관은 70% 확률로 틀림
4. 팀 빌딩이 전부다
- AI 엔지니어 + 도메인 전문가 조합이 최강
- PM은 번역가 역할: 비즈니스 요구사항을 기술 스펙으로, 기술 제약을 비즈니스 리스크로
- 디자이너 출신으로서: UX 디자이너를 초기부터 투입하라. 나중에 붙이면 2배로 고생함
5. 실패를 문서화하라
- 우리는 "실패 포스트모템" 35개 작성
- 같은 실수 반복 안 하기: 프로젝트 시작 전 과거 실패 사례 체크리스트 확인
- 실패는 자산이다. 다만 기록했을 때만
환상 없이 현실을 보는 법
6년 전, AI가 세상을 바꿀 거라고 믿었다. 지금도 믿는다. 하지만 그 '바꾸는' 방식이 내가 생각했던 것과 완전히 달랐다.
AI 스타트업의 현실:
- 90%는 기술 문제가 아니라 사람 문제
- 멋진 알고리즘보다 지루한 데이터 파이프라인이 더 중요
- "혁신"보다 "점진적 개선"이 실제로 돈이 됨
PM으로서 지금 나의 역할: 기술의 가능성과 시장의 현실 사이에서 실행 가능한 경로를 찾는 것. 화려하지 않다. 때로 좌절스럽다. 하지만 이게 진짜 AI 스타트업의 모습이다.
만약 당신이 AI 스타트업에서 일하고 있거나, 시작하려 한다면: 환상을 버려라. 대신 집요함을 장착하라. 사용자를 관찰하고, 데이터를 의심하고, 빠르게 실패하고, 냉정하게 배워라.
그게 내가 6년간 배운 전부이자, 앞으로도 계속 배워갈 것이다.
당신의 AI 프로젝트 경험은 어떤가요? 실패든 성공이든, 그 과정에서 배운 게 있다면 댓글로 공유해주세요. 우리 모두의 실패가 누군가의 지름길이 될 수 있으니까.