[데이터 라벨링 사업 노하우 ②] 인력운영 비법

‍

슈퍼브에이아이는 머신러닝 데이터 플랫폼 ‘Superb AI Suite’를 개발하고 있는 한편, Suite를 활용해 데이터 라벨링을 하고자 하는 기업들을 꾸준히 컨설팅해왔는데요, 그 중에 성공적으로 데이터라벨링 사업을 하고 있는 곳을 소개해볼까 합니다. 바로 ‘데이터연구소’입니다. 데이터연구소는 인공지능 학습용 데이터셋 구축을 돕는 라벨링 회사로, 최고 품질의 결과물을 담보하며 국내외 다수 글로벌 AI 회사와의 협력 경험을 보유하고 있습니다. 체계적인 라벨링 시스템을 구축하며 현재까지 400명이 넘는 라벨러들과 약 20명의 매니저 인력을 양성해왔죠.

슈퍼브에이아이와 데이터연구소는 데이터 라벨링 사업에 대한 노하우를 공유하고자 40여개 AI 관련 회사 담당자분들을 모시고 <데이터 라벨링 전문성 강화 프로그램>을 진행하기도 했습니다. 이번 포스팅에서는 프로그램에서도 가장 반응이 좋았고 추가 자료요청이 많았던 ‘데이터 라벨링 사업 A to Z’ 세션을 총 세 편의 포스팅으로 재구성했습니다.

지난 1편에 이어, 이번 포스팅에서는 라벨러들의 생산성과 전문성을 높이는 인력운영 방법에 대한 데이터연구소의 노하우를 다룹니다. 데이터 라벨러나 라벨링 검수자에 관심있는 분들도 읽어보시길 추천드려요.

‍

‍

똑똑한 라벨링 인력운영 비법, 채용부터 보상까지

1편에서도 언급한 것처럼, 데이터 라벨링은 전체 AI 개발과정에서 가장 time-consuming하고, 노동집약적인 영역이에요. 때문에 라벨링 사업에서는 인력을 채용하고 관리하는 이슈 뿐 아니라, 어떻게 동기부여를 할 것인지, 검수자의 퍼포먼스를 향상 방법 등 다양한 영역에서의 고민이 필요합니다.

실제로 Superb AI 가 데이터 라벨링을 사업을 하고자 하던 분들에게 실제 고민들은,

“채용 시 라벨링 테스트 합격 기준은 어느 정도로 맞춰야 하나요?”
“반복 작업 때문에 라벨러의 생산성이나 정확도가 떨어지는 건 어떻게 예방할 수 있나요?”

와 같이, 라벨링 사업을 시작하기 전에는 예상하기 힘들었던 문제들이 많았습니다. 차근차근 살펴 볼게요.

‍

먼저 데이터연구소의 라벨링 인력 구성도입니다.

‍

고객사의 까다로운 데이터 가공 스펙을 맞추기 위해서는 체계적으로 프로젝트를 이끄는 것이 필요하기 때문에, PM, 라벨러는 물론 QM과 검수자 등 역할과 책임을 나누어  꼼꼼하게 라벨링 작업을 진행하는 것이 중요합니다.

※ PM(project manager) : 프로젝트 전체를 운영·총괄하는 담당자. 프로젝트 일정 및 인적자원 관리, 고객사와의 소통 등 프로젝트 수행을 관리·감독.

※ QM(quality manager) : 프로젝트의 결과물인 인공지능 학습용 데이터셋의 가공 품질을 관리하는 담당자. 고객사와의 가공 품질 논의부터 검수자, 라벨러의 교육을 담당.

‍

데이터 라벨링의 첫 단추를 끼워주는 라벨러 (Labeler)

허들은 낮추되 심사는 꼼꼼히, 채용단계

라벨러는 프로젝트의 첫 단추인 데이터 라벨링 작업을 한땀 한땀 하는 사람들입니다. 때문에 라벨러가 실수를 많이 한다면 전체 작업에 지연이 발생할 수 있죠. 꼼꼼함은 라벨러의 필수 역량입니다.

라벨러를 고용하려면 먼저 채용 공고를 내야겠죠? 아르바이트 모집 플랫폼과 같은 주요 인력 모집 페이지에 공고를 업로드하는데, 이때 자격 요건 등의 허들을 최소화하여 인원을 최대한 모집하는 것이 좋습니다.

‍

‍

서류 심사를 거친 후, 합격자에 한해서는 오리엔테이션 및 테스트를 진행하게 됩니다. 이 때, 참가자에게 사전 안내자료를 통해 데이터 라벨링에 대한 기본적인 정보를 제공하는 것이 좋아요. 테스트 참가율을 높이기 위해 사전 준비 없이 참석하게 할 수도 있지만, 현장에서 단시간 내에 주어지는 정보가 너무 많아 참가자의 부담이 커질 경우 이탈률이 높아지기 때문이죠. 따라서 사전 안내 자료를 통해 데이터 라벨링에 대한 기본적인 이해도를 높이고 테스트에 몰입할 수 있게끔 하는 것이 보다 효과적입니다.

현장 오리엔테이션에서는, 회사 및 라벨링 솔루션을 소개한 뒤 테스트 평가 기준을 안내하게 됩니다. 데이터 연구소에서는 라벨링의 가장 기초적인 4개의 어노테이션 타입(바운딩 박스, 폴리곤 세그멘테이션, 폴리라인, 키포인트)을 실제로 수행해보고, QM(Quality Manager)가 중간 난이도로 문제를 출제하고 평가합니다. 테스트는 30분 가량 진행되며, 60점을 넘기면 합격으로 간주합니다. 보통 참가자 중 50% 정도가 합격이 됩니다.

‍

결과물 품질관리는 교육에서부터

라벨러 채용을 완료했다면, 다음은 라벨링 프로젝트와 스펙에 대한 교육이 이뤄져야겠죠? 새로운 프로젝트에 대한 이해도를 높이고, 스펙에 맞는 일관된 작업이 진행될 수 있도록 하는 것이 핵심입니다. 보통 고객사와 QM의 주도로 프로젝트 가이드를 제작하는데요, 이 때 프로젝트 소개와 함께 어노테이션 디테일, 샘플 이미지, Confused Case에 대한 내용이 담겨져있어야 합니다. 이후에 현장에서 추가로 발견되는 Confused Case에 대해서도 빠르게 피드백을 줄 수 있어야 하고요.

상황에 따라 유연한  인력 운영

이제 본격적인 ‘인력 운영’ 단계입니다. 라벨러의 근무 형태나 환경을 고려해야 해요.

먼저 라벨러의 근무 형태는 회사마다 상황과 환경에 따라 달라지겠지만, 크게 인하우스 멤버(출퇴근하는 라벨러)와 홈 멤버(재택 근무 라벨러)로 나눌 수 있습니다. 두 옵션 모두 각각의 장단점이 있는데요, 인하우스 멤버의 경우 현장에서 바로바로 소통이 가능하고 작업물 품질에 대한 관리도 비교적 쉽다는 장점이 있지만, 반대로 투입 시간 대비 작업량이 부족한 상황이 발생할 수 있습니다. 홈 멤버의 경우, 물리적 환경 조성에 투입되는 비용이 거의 없다는 장점이 있지만 피드백의 지연, 높은 퇴사율 등 리소스 예측과 관리가 어렵다는 단점이 있죠. 그러나 최근에 디지털 시대의 언택트 직업으로 ‘데이터라벨링’이 각광 받고 있는 만큼, 재택에서 작업할 수 있는 형태로 고려하는 것이 좋습니다.

데이터 연구소의 경우는,  처음부터 라벨러에게 두 가지 옵션을 제시하기 보다는, 입사 후 7일 간 수습 신분으로 Half time(주 20시간) 근무 → 성실성 등 근무태도 반양 후 단기 계약 → 계약 후 한달 완근 시 두 옵션 중 선택할 수 있게 하고 있습니다.

인하우스 멤버가 있는 이상, 라벨러가 작업할 수 있는 물리적 환경이 필수적으로 조성되어야 합니다. 라벨러와 검수자, QM 및 PM이 사용할 랩탑과 모니터를 비롯한 전자기기와 인터넷 통신망 설치 등을 고려해야 하며, 특히 라벨러가 많아져 대규모 트래픽이 발생할 경우도 대비해야 합니다.

‍

라벨러 퍼포먼스와 직결되는 평가방법

라벨러 관리의 마지막, 평가 단계입니다. 라벨러의 역량을 검증하기 위해 체계적인 시스템을 만들어놓는 것이 좋습니다. 이 평가 시스템이 제대로 설계되어 있지 않다면, 초반에 좋은 성과를 내던 라벨러도 어느 순간 퍼포먼스가 떨어질 수도 있거든요.

또 첫 테스트를 통과했다 하더라도, 복잡한 프로젝트를 제대로 수행해내지 못하는 라벨러라면 오래 근무하기는 어렵겠죠? 정기적인 역량 점검을 통해 역량이 좋은 라벨러와 그렇지 못한 라벨러를 구분할 필요가 있습니다. 냉정하게 들릴지 모르지만, 평가에서 반복적으로 기준 이하의 점수가 나온다면 계약종료를 고민해보시길 권고드려요.

그렇다면, 어떤 항목을 평가해야 할까요?

과거 데이터연구소에서는 채용 테스트와 같은 방식으로 4개의 어노테이션 타입 라벨링 역량만 평가했지만, 지나치게 단순하여 근무 태도나 작업 속도와 같은 기타 역량을 점검하지 못한다는 단점이 있었습니다. 이에 라벨러 퍼포먼스 종합검증 시스템을 도입하여, 근태 10%, 리더평가 10%, 총 작업량 30%, 정확도 50% 로 평가 체계를 바꿨는데, 평가 체계를 바꾼 후 실제로 라벨러의 생산성 및 정확도, 근무 태도까지 개선되었음을 확인할 수 있었습니다.

‍

작은 크랙도 발견해내야 하는 검수자 (Validator)

검수자는 말 그대로 라벨링 작업물을 검수합니다. 라벨러들이 작업한 결과물에서 스펙과 맞지 않는 어노테이션들을 발견하고 수정을 요청하거나 재교육을 실시하는 것이 주 역할이며, 따로 채용하기 보다는 근태와 퍼포먼스가 좋은 라벨러들 중에서 선발하는 것이 일반적입니다.

‍

검수자, 이렇게 뽑으세요.

검수자는 보통 생산성과 정확도가 높은 라벨러 중 선발하게 됩니다. 훌륭한 검수자를 발굴하기 위해 꼭 필요한 질문들을 모아봤습니다.

• 누구를 타겟으로 할 것인가?
• 최고 수준의 라벨러만이 검수자가 될 수 있을까?
• 데이터를 다루는 ‘손’과 ‘눈’ – 아는 것과 하는 것의 차이

• 어떤 역량을 갖춰야 하는가?
• 실수를 발견해내는 Keen Eye로 충분한가?
• 애매함을 극복하는 일관성의 기반은 무엇일까?

• 어떻게 육성해야 하는가?
• 검수자는 전지전능해야 하는가?
• 검수자의 강점 분야를 활용하는 노하우는?

데이터연구소에서는 라벨러의 퍼포먼스 평가 기준 상위 15%를 검수자 후보로 선정합니다. 또 그 중 해당 프로젝트의 작업 기준과 결과물의 정확도에 대해 라벨러의 수준에서 이해할 수 있도록 설명하고 전달하는 커뮤니케이션 스킬과 태도도 중요하죠. 단순히 정확도나 생산성만을 검수자 선발기준으로 삼아서는 안 됩니다.

여기에 데이터를 단순히 마우스 작업의 대상이 아닌, 프로젝트의 목적과 용도에 입각하여 재구성할 수 있는 분석력, 그리고 인공지능 산업 분야 전반에 대한 관심과 학습하려는 라벨러라면, 검수자로서 좋은 자질을 갖고 있다고 할 수 있습니다.

검수자의 육성과 선발은 가장 중요하면서도, 시행착오를 많이 겪는 영역입니다. 위에 설명한 모든 역량을 갖춘 라벨러를 발굴하는 것이 이론적으로는 가능하나, 쉬운 일은 아니죠. 데이터연구소의 경험 상, 최소 3개월의 근무 경험을 가진 라벨러가 검수자가 될 수 있는 기본 자질을 갖추는 것으로 판단됩니다.

‍

좋은 검수자도 더 훌륭하게 만드는 평가방법

선정된 검수자의 역량이 유지되고 고도화될 수 있도록 지원, 관리하는 것은 필수적입니다. 라벨러들의 오류를 발견해내는 검수자의 역량이 낮아진다면 이는 결과물의 품질에 치명적인 악영향을 끼치기 때문이죠. 라벨러 퍼포먼스 평가와 같이, 검수자 또한 다양한 영역에서 종합적으로 검증하는 것이 좋습니다. 데이터연구소에서는 몇 번의 시행착오를 거쳐 다음과 같이 현재의 검수자 역량 검증 시스템을 만들었습니다. 라벨러 평가와 마찬가지로, 처음에는 단순하게 평가를 했지만, 다면적인 평가를 통해 더 좋은 검수들을 길러낼 수 있었습니다.

마치며

흔히 데이터 라벨링을 가리켜 ‘디지털 인형 눈알 붙이기’라고 부릅니다. 라벨링 작업이 반복적이고 단순한 작업이라는 생각에서 비롯된 표현이죠. 하지만 인공지능 산업이 성장하고, 다양한 분야에서 인공지능 모델이 개발되면서 라벨링 작업은 점차 복잡해지고 고도화될 것입니다. 그만큼 라벨러에게도 보다 전문적인 역량이 요구될 것이고요. 라벨러가 단순히 박스를 잘 그리거나, 점을 잘 맞춰 찍는 작업만 하면 된다고 생각하는 것은 데이터 라벨링에 대한 오해라고 할 수 있어요.

아직은 한국의 데이터 라벨링 시장이 태동 단계이지만, 인공지능 산업이 발전할수록 라벨링 회사의 라벨링 품질이 경쟁력에 큰 영향을 줄 것입니다. 이는 곧 프로젝트 경험이 많은 라벨러나 퍼포먼스가 뛰어난 검수자를 많이 보유하고 있는 것이 회사 경쟁력과 직결되는 셈이죠.

데이터 연구소의 라벨러와 검수자들은 Superb AI Suite를 활용해 소통하고 협업하면서 고품질 데이터를 생산해내고 있습니다. 라벨러의 작업 속도와 작업 현황 들을 관리하고 작업과 관련한 이슈를 공유하고 함께 해결할 수 있는 협업 도구를 통해 라벨링 프로젝트를 시작해보세요.

‍

‍

이렇게 데이터 라벨링 사업 노하우 2편을 마무리할까 합니다. 데이터 라벨링 사업을 운영 중이거나 구상 중에 있다면, 1편과 2편에서 설명드린 부분에 대한 다양한 고민을 병행하여, 좋은 성과를 거두시길 바랍니다.

데이터 라벨링 프로젝트 매니징이 궁금하다면, 데이터 라벨링 사업 관리 노하우 e-Book을 다운로드 받아보세요!

[데이터 라벨링 사업 노하우] 다른 시리즈 보기

[데이터 라벨링 사업 노하우 ①] 사업 프로세스, 이렇게 진행됩니다.

[데이터 라벨링 사업 노하우 ③] 라벨링 프로젝트 착수 준비

‍