슈퍼브 데이터옵스(DataOps)
고품질 데이터셋 구축을 시작하세요
데이터 품질과 분포도가 모델 성능을 결정합니다. 슈퍼브에이아이 데이터옵스는
여러분이 언제나 “많은 데이터”가 아닌 “올바른 데이터”를 선별하고 라벨링할 수 있게 돕습니다.
안그래도 어려운 머신러닝, 모든 과정을 직접 진행하려고 하시나요?
효율적으로 생성하기
현재 문제
AI를 훈련하려면 고품질의 데이터셋이 필수이지만, 정작 라벨 품질을 유지하거나 개선할 툴을 찾기는 어렵습니다. 대다수의 사람들이 데이터 품질 문제를 겪다 보니 많은 프로젝트들이 프로덕션 이전에 사라지게 됩니다.
데이터옵스가 이 문제를 해결하는 방법
데이터옵스는 정확히 어디에서 어떤 라벨을 찾고 수정해야 하는지 알려주어 모델 성능을 악화시킬 에러를 사전에 차단합니다. 또한, 데이터셋 내의 오분류 에러를 자동으로 발견하는 미스라벨 디텍션 기능을 제공합니다.
똑똑하게 큐레이션 하기
현재 문제
대부분 어떤 데이터를 사용할 지 임의로 결정합니다. 하지만 데이터 중복과 편향은 모델 성능 저하의 원인입니다. 그리고 데이터의 양, 처리 속도, 다양성, 정확도가 상승할 수록 잠재적 에러와 불균형도 기하급수적으로 상승합니다.
데이터옵스로 해결하기
데이터가 균형 있게 분포되도록 복잡한 분석을 대신 해 주어 데이터 중복 및 편향 문제를 예방합니다. 데이터옵스는 균형 잡힌 테스트 및 훈련용 데이터셋 생성을 자동화해 줍니다.
빠르게 훈련하기
현재 문제
시나리오 결과가 좋지 않거나 모델 에러가 많아 프로덕션이 지연되었다면 훈련 데이터가 문제의 원인일 가능성이 높습니다. 하지만 이 문제를 해결하기 위해 어떤 데이터를 수집하고 라벨링해야 하는지 정확히 파악하기는 매우 어렵습니다.
데이터옵스로 해결하기
우선적으로 수집 혹은 라벨링 해야 하는 엣지 케이스의 대표적인 예시를 보여 줍니다. 데이터옵스에서는 데이터셋 내의 중요한 엣지 케이스를 찾아주는 엣지 케이스 디텍션 기능을 제공합니다.
데이터 품질은 안심하고 맡길 수 있도록
데이터옵스의 AI 기능들이 여러분이 최고의 모델을 개발하고 배포하는 데에만 집중할 수 있게 해 줍니다. 데이터 탐색, 선별, 품질 관리 과정에서 불필요한 노동력, 과도한 복잡성, 감에 기반한 판단을 줄여보세요.
미스라벨 디텍션(Mislabel Detection)
빠르게 라벨링 오류를 발견하고 수정하세요.
- 잘못 분류된 바운딩 박스나 이미지 세그멘테이션, 어노테이션을 빠르게 찾고 수정해 라벨링 정확도를 개선하세요.
- 미스라벨 디텍션(Mislabel Detection)을 통해 데이터셋 내에서 오류의 가능성이 높은 인스턴스를 찾아 집중적으로 QA 할 수 있습니다.
*기본적인 레퍼런스 셋을 보유중인 경우
데이터 큐레이션(Data Curation)
고품질 데이터셋 큐레이션을 자동화 하세요.
- 다양한 고품질 데이터셋을 활용해 이터레이션(Iteration)마다 모델 성능을 높이고 모델 훈련과 개발에 필요한 시간을 최적화하세요.
- 테스트·훈련 데이터셋을 자동으로 큐레이션하고, 모델 성능 저하의 원인인 랜덤 데이터 선별에서 벗어나세요.
엣지 케이스(Edge Case)
중요한 엣지 케이스를 발굴하세요.
- 데이터셋 내에서 가치가 높은 대표적인 엣지 케이스를 찾아내 우선적으로 라벨링하고 테스트·훈련 데이터셋에 포함시키세요.
- 엣지 케이스 디텍션(Edge case detection)을 통해 예기치 못한 변동성이나 불확실성을 줄여 ML 모델이 더 다양한 상황을 익히고 성능이 낮은 클래스 개선에 집중할 수 있게 하세요.
시맨틱 서치(Semantic Search)
눈 깜짝할 사이에 원하는 데이터를 확보하세요.
- 시맨틱 서치(Semantic Search)는 레퍼런스 이미지를 임베딩으로 변환해 시각적으로 유사한 이미지나 오브젝트의 클러스터를 반환합니다. 자연어 쿼리와 데이터 시각화를 적절히 융합해 검색 쿼리와 유사한 임베딩을 가진 이미지를 빠르게 찾아 줍니다.
- 시맨틱 서치를 통해 데이터를 더 빠르게 탐색하고, 라벨링하고 활용하세요.
임베딩 스토어(Embedding Store)
데이터셋을 탐색하고 분석하세요.
- 임베딩 스토어(Embedding Store) 기능을 통해 선택한 데이터셋의 임베딩 생성을 1시간만에 완료할 수 있습니다.
*다른 임베딩 AI 모델의 성능을 상회하는 인하우스 모델이 포함된 경우
- 데이터셋의 각 이미지의 임베딩과 어노테이션 관심 영역 (ROI)을 2D 공간에 시각화하여 데이터셋의 구성과 분포도를 깊이 분석하세요.