Superb AI와 Valohai가 만나다!
컴퓨터 비전 개발을 위한 End-to-End 솔루션
컴퓨터 비전(Computer Vision)은 최근 10년 동안 가장 폭발적으로 성장한 기술 중 하나입니다. 자율 주행이나 얼굴인식 같은 우리 삶에 밀접한 기술뿐 아니라, 보이지 않는 곳에서 연구되고 있는 AI 기반 지리 정보·의료 영상까지, 컴퓨터 비전은 산업 전반에 새로운 기회를 불어넣고 있습니다.
하지만 혁신을 가져오는 건 쉽지 않죠. 컴퓨터 비전을 활용한 실제 응용사례에서도 마찬가지입니다. 컴퓨터 비전 모델을 개발하기 위해서는 방대한 양의 라벨링 된 이미지가 필요하며, 고성능의 컴퓨팅 파워도 함께 요구됩니다.
컴퓨터 비전 시스템을 만들 때는 개발 전부터 막대한 투자가 필요한데, 아래 두 가지가 그 이유입니다.
- 데이터 라벨링 : 이미지를 라벨링하는 과정은 대부분 노동집약적이며, 데이터 라벨링 팀은 충분한 양의 데이터셋을 확보해야 합니다.
- 모델 학습 및 재학습 : 성능이 좋은 클라우드 GPU를 사용하면 컴퓨팅 비용이 증가할 뿐 아니라 데이터 과학자들이 DevOps 엔지니어의 지원이 필요하게 되므로, 간접비용도 증가하게 됩니다.
A typical team for classical ML vs. Computer vision & DL
이러한 이유 때문에 모델이 시장에 출시되기까지 걸리는 시간이 크게 늘어나게 되고, 일정에 쫓기거나 예산이 부족한 팀은 어떻게든 창의적인 해결책을 찾아야 합니다.
두 플랫폼으로 구축한 하나의 솔루션
파이프라인 상에서 각각 다른 부분에 전문성을 두고 있는 Superb AI와 Valohai는 이 두 가지 과제를 해결하여 AI 상용화를 돕는 하나의 엔드 투 엔드(end-to-end) 솔루션을 함께 만들기 위해 협업 관계를 구축했습니다. 저희는 기존의 머신러닝 개발 타임프레임과 팀 구성을 크게 바꾸지 않는 범위 내에서 컴퓨터 비전을 개발하는 인프라 솔루션을 만드는 것을 목표로 두었습니다.
Superb AI와 Valohai 두 플랫폼은 연속된 하나의 파이프라인 상에서, 각각 데이터 준비와 모델 운영 측면을 담당하게 됩니다. 상용화까지는 한 번의 작업으로 끝나는 것이 아니라 계속 수정 및 업데이트되어야 하므로, 새로운 데이터 입력이나 코드 수정과 같은 모든 변경사항에 대해서는 데이터 준비에서 모델 개발, 모델 배포에 이르는 파이프라인을 자동으로 실행하도록 합니다. 아래 그림과 같이 Superb AI의 데이터 플랫폼 Suite에서 데이터를 정제하여 Valohai의 플랫폼으로 옮긴 후 모델 운영을 진행하였습니다. 아래에서 각 플랫폼에서 진행한 내용을 자세히 설명드리겠습니다.
End-to-end Solution : Superb AI Suite and Valohai Platform
1. Superb AI Suite : 데이터 입력부터 라벨링까지
슈퍼브에이아이는 Suite를 통해 머신러닝 팀이 고품질의 학습용 데이터셋을 구축하는 시간을 대폭 줄일 수 있는 혁신을 가져왔습니다. 머신러닝 팀은 이제 수작업으로 진행하는 라벨링에 의존하는 대신, Superb AI Suite로 효율적인 파이프라인을 구축함으로써 시간을 단축하고 비용을 줄일 수 있게 되었습니다.
Suite를 이용하여 아래 순서를 따라 데이터를 준비합니다.
- 데이터 수집 : 데이터(이미지 및 비디오)를 Suite로 불러옵니다. 클라우드 스토리지(AWS S3, GCP 등)를 Suite와 연동하거나, SDK/API와 같은 개발자 도구를 통해 Suite에 원본 데이터를 업로드할 수 있습니다.
- Ground-Truth (GT) 데이터 만들기 : 라벨링 작업을 시작하기 위해서는, 초기에 소량의 GT 데이터(정확하게 라벨링된 데이터)를 확보하는 것이 중요한데요. Suite에서 필터링 기능을 갖춘 간단한 어노테이션 툴로 이 GT 데이터를 만들 수 있습니다. Superb AI Suite는 이미지 및 비디오 데이터의 분류 작업(classification), 객체 탐지(object detection) 뿐 아니라 세그멘테이션을 위한 바운딩 박스, 폴리라인, 폴리곤 그리고 키포인트 도구를 지원합니다.
- 오토 라벨링 : Superb AI의 커스텀 오토 라벨링은 전이학습(transfer learning), 퓨샷 러닝(few-shot learning)과 autoML을 적재적소에 사용하여 구현한 기술입니다. 커스텀 오토 라벨링을 통해 고객사는 자사의 고유한 데이터 중 일부만을 사용해 머신러닝 모델의 성능을 빠르게 높일 수 있습니다. 또한 커스텀 오토 라벨링은 광범위한 분야에 적용할 수 있기 때문에, 학습을 위한 초기 데이터셋이나 재학습을 위한 엣지 케이스(edge-case)를 따로 라벨링 할 필요 없이 어떤 프로젝트든 빠르게 시작해볼 수 있습니다. 이렇게 하면 데이터셋을 준비하고 학습에 투입하는데 소요되는 시간이 대폭 줄어들게 됩니다.
- 라벨링 된 데이터 전달 : 라벨링 된 데이터를 검수하고 수정하는 것은 고품질의 데이터셋을 만드는 데 필수적이지만, 현실적으로는 모든 데이터를 수작업으로 검수하는 것은 불가능합니다. Superb AI Suite는 여러 머신러닝 모델을 활용한 정확도 측정 기술을 활용하여 검토 과정을 단축시킵니다. 이렇게 엄격한 품질 관리 프로세스를 통과한 데이터는 최종적으로 MLOps 파이프라인으로 전달됩니다.
Superb AI Suite
2. Valohai MLOps 플랫폼 : 라벨링된 데이터부터 모델 배포까지
Superb AI Suite에서 라벨링 된 데이터셋은 머신러닝 파이프라인으로 유입됩니다. Valohai에서는 이 파이프라인을 만들어 여러 단계를 순서대로, 또는 동시에 실행해 볼 수 있습니다. 모든 언어와 프레임워크가 지원되며, 별도의 엔지니어링 지원 없이 목적에 맞는 특정 하드웨어에서 실행할 수 있습니다.
Suite를 통해 정제된 데이터는 아래 단계를 거쳐 배포하게 됩니다.
- 데이터 증강(Data augmentation) : 라벨링 된 데이터셋은 종종 데이터 증강단계를 거치게 됩니다. 데이터 증강기법이란 기존의 데이터를 복제 및 수정하여 블러(blur) 처리를 하거나, 색상이나 방향을 변경하는 등 아주 약간의 변형을 주는 작업을 말하는데요. 이 작업은 모델 학습 시 과적합 현상을 방지하는 데 도움이 됩니다. 어떤 종류의 데이터 증강 코드에서도 적용할 수 있다는 점 때문에 Valohai는 여러분이 데이터 증강기법을 구현하는 데 가장 이상적인 솔루션일 수 있습니다.
- 모델 학습 : 학습은 머신러닝 파이프라인의 핵심입니다. Valohai에서는 개발 환경이 클라우드인지, 또는 온프레미스인지의 여부에 관계없이 모델 학습을 쉽게 진행할 수 있습니다. 또, 플랫폼이 인스턴스를 자동으로 스핀업 하거나 종료시키기 때문에 컴퓨팅 시간이 낭비되는 것을 방지할 수 있습니다.
- 모델 평가 : 대부분의 파이프라인은 모델의 품질을 위해 평가 단계를 거칩니다. 이 과정에서는 모든 품질 수치를 코드화하고, 이전 버전 모델과 견주어 평가됩니다. Valohai에서는 학습 단계를 거친 모든 모델이 저장되기 때문에, 버전 간의 성능 비교를 쉽게 할 수 있습니다.
- 모델 배포 : 파이프라인의 마지막 단계는 모델 배포입니다. Valohai는 온라인상에서의 추론(inference)를 위해 쿠버네티스 클러스터에 모델을 배포하거나, 엣지케이스의 추론을 위해 다른 시스템에 모델을 투입할 수 있습니다.
Valohai
결론
까다로운 개발 과정 때문에 컴퓨터 비전 어플리케이션을 실생활에서 보는 일은 여전히 요원합니다. 계속적으로 요구되는 인적 그리고 컴퓨팅 자원이 전체 프로젝트를 더 복잡하게 하고, 결국 대부분의 조직에서 일정을 미루거나 예산을 늘리는 선택을 하게 되기 때문이죠.
하지만 오토 라벨링 기술을 갖춘 Superb AI Suite와 Valohai의 관리형 모델 학습 인프라와 같은 AI 플랫폼을 이용하면 컴퓨터 비전 기술을 훨씬 더 쉽게 구현해낼 수 있습니다. 이를 함께 사용하면, 라벨러가 데이터를 확인하거나 엔지니어들이 작업환경을 처음부터 구축하고 유지 관리하는 데 드는 시간을 획기적으로 줄일 수 있을 것입니다.
컴퓨터비전 어플리케이션 개발을 위한 완벽한 솔루션을 찾고 계시다면, 지금 바로 무료 데모를 신청하여 이 솔루션들이 귀사에 적합한지 확인해보세요.
Superb AI는 머신러닝 팀이 조직 내에서 학습용 데이터셋을 관리하고 전달하는 방법을 혁신하고 있는 엔터프라이즈 학습용 데이터 플랫폼입니다. 2018년에 출시된 Superb AI Suite는 자동화, 작업자 간의 협업, 그리고 바로 사용할 수 있는 모듈 방식을 도입해 팀이 학습용 데이터셋을 완성하는데 소요되는 시간을 대폭 단축할 수 있게 지원하고 있습니다. 지금 바로 커스텀 오토라벨 데모를 신청해보세요!
Valohai는 데이터 불러오기부터 모델 배포에 이르는 모든 것을 자동화하는 유일무이한 MLOps 플랫폼입니다. 머신러닝 파이프라인에서 재미없는 부분은 모두 다 해치워버리죠. 재미도 감동도 없는 클라우드 인스턴스를 관리하거나, 글루 코드(glue code)를 쓰는 건 Valohai에게 맡겨주세요. 이미 Twitter, JFrog, Konux, Preligens와 같은 회사들과 꾸준히 협업 중입니다. 자세한 내용은 Valohai로 문의해주세요.
Superb AI와 Valohai는 AI Infrastructure Alliance의 일원으로서, 현재와 미래의 인공지능 어플리케이션 기반을 구축하는 데 전념하고 있습니다.