아마존웹서비스(AWS)가 7월 30일부터 ‘메카니컬 터크(Mechanical Turk)’의 신규 고객을 받지 않는다. 기존 고객은 그대로 쓸 수 있다. 아마존은 이 서비스를 ‘유지보수 대상 서비스’ 목록에 올렸다. 새 기능은 추가하지 않고 보안과 가용성만 유지한다는 뜻이다.
메카니컬 터크는 2005년 시작된 크라우드소싱 플랫폼이다. 크라우드소싱은 불특정 다수에게 잘게 나눈 작업을 맡겨 처리하는 방식이다. 이미지에 정답표를 붙이는 데이터 라벨링, 설문 응답, 짧은 글 검수 같은 소액 작업을 전 세계 작업자가 나눠 맡았다. 데이터 라벨링은 AI 학습용 데이터에 정답 표시를 붙이는 작업을 말한다. 이 플랫폼은 AI 학습에 필요한 데이터를 값싸게 모으는 통로로 오래 쓰였다.
역설적이게도 이 서비스를 밀어낸 것은 AI다. 2023년 한 분석에서 플랫폼 작업자의 33~46%가 대규모 언어 모델(LLM)을 써서 과제를 처리한 것으로 나타났다. AI를 학습시키려고 모으는 데이터를, 정작 AI가 대신 만들어 내는 상황이 된 것이다. 이렇게 되면 데이터의 신뢰도가 떨어진다.
기업이 데이터를 모으는 방법도 달라졌다. 잘게 나눈 소액 작업을 불특정 다수에게 맡기는 대신, 전문 라벨링 업체나 AI 보조 주석 도구를 쓰는 곳이 늘었다. 아마존도 세이지메이커 그라운드 트루스(SageMaker Ground Truth) 같은 대체 서비스를 두고 있다. 아마존은 메카니컬 터크를 접는 이유를 따로 설명하지 않았다. 21년간 크라우드 노동의 상징이던 서비스가 사실상 역사 속으로 들어가는 수순이다.
자세한 내용은 TechCrunch에서 확인할 수 있다.
이미지 출처: 이디오그램 생성
