대규모 라벨 검수의 새로운 방법, 직관적인 인터페이스를 갖춘 ‘매뉴얼 리뷰’를 소개합니다.
당신의 데이터 라벨링, 이제 Suite의 품질 검수 기능이 함께합니다.
들어가며
머신러닝 시스템을 구축해본 경험이 있다면, 학습용 데이터셋의 품질이 시스템 성능에 미치는 영향을 알고 있을 것입니다. 정확하게 라벨링된 데이터셋은 머신러닝 시스템 개발을 촉진하고, 성능을 향상시킬 수 있습니다. 하지만 진정한 의미의 고품질 라벨링 데이터셋은 쉽게 구하기 어렵습니다. 데이터 라벨링 프로세스에는 데이터를 수집 및 보강하기 위한 도구 사용·라벨 품질 검수·라벨링 인력 관리·실제 모델에 데이터를 투입하기 전까지의 전체 프로세스 반복 등, 광범위한 작업이 포함되기 때문입니다. 뿐만 아니라 최적화를 위한 모델 추론 이후에도 다양한 작업이 필요합니다.
특히 라벨링이 얼마나 정확하게 되었는지를 검수하는 것은 전반적인 라벨링 품질을 확보하는 데 필수적입니다. 여기서 ‘정확도’는 라벨링 작업 결과가 정답 데이터와 얼마나 근접한지, 또는 라벨링 된 피쳐(변수)들이 실제 상황과 얼마나 일치하는지를 말합니다. 또 ‘품질’은 데이터셋 전반에 걸친 라벨링 정확도를 의미합니다. 여러 라벨러들의 작업 결과가 서로 동일한지, 전체 데이터셋에 걸쳐 라벨링이 일관되게 정확한지는 동시에 작업을 진행하는 라벨러의 수가 얼마나 많은지와 관계없이 지켜져야 하는 중요한 부분입니다.
모든 라벨러의 결과물이 다르기 때문에 검수는 꼭 필요한 과정입니다. 프로젝트 시작부터 모든 라벨러를 완벽하게 교육한다는 것은 불가능하고, 라벨러도 사람이기 때문에 언제든 오류를 범할 수 있습니다. 그리고 이런 오류들은 모델 추론의 정확성과 가치를 떨어뜨리는데 치명적이죠. 이렇듯 라벨 검수는 꼭 필요한 과정이지만 체계 없이 주먹구구식으로 수행하면 시간이 상당히 많이 소요될 수 있습니다(몇몇 매니저들은 라벨 검수 작업에만 전체 작업시간의 50%를 소모하기도 한다고 말했고요). 그러므로 명확하고 능률적인 검수 워크플로우를 마련하는 것이 중요합니다.
이러한 어려움을 해결하기 위한 솔루션으로, 능률적인 검수 워크플로우를 지원하는 Suite의 새로운 기능인 ‘매뉴얼 리뷰(Manual Review)’를 소개합니다.
매뉴얼 리뷰를 소개합니다
매뉴얼 리뷰를 사용하면, (1) 라벨러가 제출한 라벨을 팀의 전문가 또는 팀원이 직접 검토·검증·필터링하고, (2) 프로젝트의 개요 페이지와 새로운 필터 기능을 통해 검수 진행 현황을 추적할 수 있는 기능을 제공합니다. 아래에서 자세히 살펴보겠습니다.
제출된 라벨을 승인(Approve) 또는 미승인(Reject)하기: 이전에는 Suite에서 제출된 라벨을 승인하는 결정은 순수하게 주관적이었습니다. 이를 보완하기 위해 신설된 ‘매뉴얼 리뷰’는 체계적인 승인 프로세스를 지원하여 라벨 품질을 검증하는 데 도움이 되며, 결과적으로 오류 및 실수를 가시화하여 향후 모델 품질 리스크가 감소합니다.
승인 프로세스는 간단하지만 지속해서 사용할 경우 매우 효과적입니다. 라벨링 모드에서 라벨러가 라벨을 제출·스킵하면, 리뷰어(매니저 또는 팀 리더)는 해당 라벨을 승인·미승인할 수 있습니다. 리뷰어가 라벨을 승인하는 것은 사용하기 적합하다는 뜻입니다. 반대로 라벨을 미승인하는 경우 리뷰어는 이슈 스레드에 이유를 기재해야 하며, 미승인하는 즉시 라벨 상태도 In Progress로 변경됩니다. 이 라벨은 기존 라벨러나 팀원이 다시 수정한 후 제출해야 합니다. 모든 라벨은 정확하게 라벨링되어 리뷰어가 승인할 때까지 이 사이클을 반복하게 됩니다.
미승인(Rejected) 라벨에 이슈 스레드 생성하기: 리뷰어가 라벨 제출을 미승인할 때, 문제를 파악하는 동시에 라벨링 팀에 수정을 요청하는 것이 어려울 수 있는데요. 두 작업을 한 번에 할 수 있는 UI를 갖추는 것이 훨씬 간단한 해결책입니다. 이슈 스레드를 통해 리뷰어는 이슈를 쉽게 파악할 수 있고, 라벨러에게 필요한 수정사항을 빠르게 전달할 수 있습니다.
매뉴얼 리뷰에서는 리뷰어가 라벨을 검토한 후 미승인할 때마다 그 이유를 필수적으로 입력해야 합니다. 수정이 필요한 부분을 놓치지 않게 함으로써 전체 프로세스의 능률을 높이는 것입니다. 입력된 내용은 리뷰어의 정보와 함께 이슈 스레드에 표시되므로, 라벨러는 수정해야 하는 부분과 이유를 신속하게 확인하고, 다시 제출하는 데까지 걸리는 시간을 줄일 수 있습니다.
이슈 스레드는 매뉴얼 리뷰와 따로 또 같이 사용할 수 있는 좋은 기능입니다. 이슈 스레드로는 데이터에 대한 대화를 시작하고, 피드백을 기록하며, 멘션 기능을 통해 추가적인 내부 도움을 요청할 수 있는데요. 위에 설명했듯 리뷰어가 라벨을 미승인할 때 남기는 코멘트도 이슈 스레드에 기록되기 때문에, 해당 라벨과 관련된 모든 대화 및 히스토리를 이슈 스레드에서 한 번에 확인할 수 있습니다. 두 기능을 함께 활용하면 라벨 승인에 필요한 수정사항을 파악하고, 반영하는 작업을 편리하게 진행할 수 있습니다.
리뷰·리뷰어 별로 검수 완료 라벨 필터링하기: 고품질 학습용 데이터셋을 구축하기 위해서는 올바른 라벨을 보유하는 것이 중요합니다. 그간의 대화를 통해, 우리는 우리의 고객이 라벨을 완벽하게 관리하고 싶어 한다는 것을 알고 있습니다.
매뉴얼 리뷰를 사용하면, 리뷰·리뷰어 필터로 데이터 및 프로젝트 관리 업무량을 효과적으로 줄일 수 있습니다. 이 기능은 Suite의 다른 필터, 검색 기능과 함께 사용할 때 더욱 빛을 발합니다. 여러 필터를 중복 적용하여 특정 조건의 데이터/라벨을 정확하게 찾을 수 있기 때문입니다.
예를 들어, ‘김ㅇㅇ씨가 라벨링’하고 ‘이ㅇㅇ씨가 검토하고 승인한 라벨’을 필터링하여 빠른 검사를 수행할 수 있습니다. 또는 ‘지난 달’에 ‘코끼리 오브젝트’의 리뷰어인 ‘박ㅇㅇ씨가 미승인한 모든 라벨’을 필터링하여, 해당 데이터셋에서 코끼리와 관련해 생긴 문제를 빠르게 검토하고 이해할 수 있습니다. 만약 이미지 품질이 문제였다면, 코끼리 전체에 대한 더 좋은 데이터셋을 새롭게 찾아야 한다는 인사이트를 얻을 수 있는 거죠.
프로젝트 오버뷰에서 검수 현황 추적하기: 몇몇 데이터 라벨링 팀의 PM에게는 어떤 라벨러가 정확히 어떤 작업을 했는지 판단하는 것 자체가 벅찬 업무일 수 있습니다. 그리고 라벨러가 다른 라벨러들의 업무를 알게 되는 것도 똑같이 어려울 수 있기 때문에, 서로 간섭하지 않는 것이 일반적입니다.
Suite에서는 매뉴얼 리뷰 현황 정보가 프로젝트 오버뷰에서 바로 나타나기 때문에, 전반적인 품질 검수 작업의 가시성이 향상됩니다. Labeling Status 차트는 다음과 같은 항목으로 구성됩니다.
- Approved: 승인된 라벨
- Rejected: 미승인된 후 다시 제출되지 않은 라벨
- Pending Review: 미승인된 후 다시 제출/스킵된 라벨
- Not Reviewed: 제출되었으나 아직 검토되지 않은 라벨
매뉴얼 리뷰, 이렇게 사용하세요.
매뉴얼 리뷰는 라벨러, 리뷰어, 프로젝트 매니저(PM)의 세 가지 역할이 구성하는 워크플로우를 따르도록 설계되었습니다. 이 역할들은 Suite의 세 가지 사용자 레벨(라벨러, 매니저, 오너/어드민)과 매칭됩니다.
- 가장 먼저, 하나의 라벨은 한 명의 라벨러에게 할당됩니다. 이때 Label Status는 ‘In Progress’입니다.
- 라벨러는 할당받은 라벨링 작업을 완료한 후 제출하거나, 완료가 어려운 경우 라벨을 스킵합니다. 이때 Label Status는 ‘Submitted’ 또는 ‘Skipped’ 입니다.
- 리뷰어는 제출된 라벨을 검토합니다. 여기가 바로 매뉴얼 리뷰가 필요한 부분입니다. 리뷰어는 이전 섹션에서 언급한 매뉴얼 리뷰 기능을 사용하여 해당 라벨을 승인하거나 미승인할 수 있습니다.
- 라벨이 승인되면 리뷰어는 리뷰 현황을 ‘Approved’로 업데이트합니다. 그런 다음, Data PM이 뛰어들어 프로젝트 진행 상황을 확인할 수 있습니다.
- 또는 라벨이 미승인(Rejected)된 경우, 리뷰어는 리뷰 현황을 ‘Rejected’로 업데이트합니다. 그런 다음 리뷰어는 이슈 스레드를 작성하고, 라벨러에게 해당 라벨을 재할당합니다.
이 워크플로우는 라벨링 정확도를 대조 검토하기 위한 간단하고 명확한 프로세스를 제공하므로, 장기적으로 데이터셋의 일관성을 향상시킬 수 있습니다. 또한, 라벨러가 다시 작업해야 하거나, 리뷰어/PM이 검토해야 하는 작업에 대한 인사이트를 제공하여 전체 프로젝트 및 시간 관리를 개선합니다.
새롭고 직관적인 플랫폼 인터페이스
지난 몇 년동안 저희는 놀라운 기술들을 구축하고, 이를 결합해 더 큰 하나의 플랫폼으로 출시하는데 많은 시간과 자원을 투자했습니다. 플랫폼의 모든 가치와 기능을 제대로 제공할 수 있으려면 단순하면서도 목적이 명확한 UI가 뒷받침되어야 합니다. 바로 이것이 저희가 기존의 인터페이스를 전면 개편하기로 한 이유입니다.
리뉴얼된 Suite의 새로운 UI는 높은 효율성과 접근성을 자랑합니다. 클릭 한 번으로 필요한 워크플로우에 접근할 수 있고, 보다 직관적인 의사결정을 지원하며, 복잡한 외부 시스템을 익히는 번거로움 없이 프로젝트를 신속하게 시작하는 등, 효율적으로 데이터셋을 구축할 수 있습니다.
마치며
저희의 고객은 데이터 관리 워크플로우를 간소화하고 확장할 수 있는 방법을 필요로 하고 있었습니다. 그래서 우리는 다시 기본으로 돌아가 Suite를 개선하기 시작했고, 이번 매뉴얼 리뷰 기능 릴리즈를 시작으로 더 많은 개선을 이뤄나갈 예정입니다. 우리는 매뉴얼 리뷰가 데이터 라벨링을 가속화하고, 머신러닝을 위한 고품질 학습용 데이터셋 구축을 도울 것이라고 확신합니다.