インサイト
オートラベリングによる高品質データセットの迅速なラベル付けを実現したオートネット社の実体験

Superb AI Japan
2022/09/01 | 2 min read

交通事故が最も一般的な損害や ケガの原因となる世界では、万が一の場合に備え て、迅速に証拠を収集し、提出したいと思う のは当然のことです。しかし、自動車保険の請求は、多くの手作業、人間による入力、主観的な判断に依存する複雑で面倒なプロセスであることに変わりはありません。
この複雑で面倒なプロセスを簡略化する画期的な方法を考案した企業が存在します。Autonet社です。Autonet社は、車の所有者が投稿した写真から車の向きを特定する新しい方法を考案し、コンピュータビジョンモデルによって車の損傷箇所を正確に特定することを可能にしました。
Autonet社は、自動車保険業界におけるクレーム体験の合理化に焦点を当て、コンピュータビジョン、AI、ドメインナレッジを使用してクレームを分類し、最適な修理業者にタイムリーにルートすることを実現しています。データパイプラインの重要な要素は、車の所有者から提供された写真に写っている車の向きを理解することです。車がどの方向から見られているかを知ることで、各画像へのダメージタグ付けの価値を高めることができます。
これにより、どのような意思決定やコストモデルを使用するかを自動化したり、少なくとも人間が判断するのに役立つ貴重な情報が追加されます。また、証拠の提出も、内蔵カメラとカスタマーアプリですべて行えるので、非常に簡単です。

Image from Autonet
しかし、このようなモデルを作成するには、注意深くラベル付けされた画像が大量に必要です。静止画、動画、実写を問わず、車両が写っている画像を見れば、車両が向いている方向、角度の目安、動画で表示されているのか実写なのか、車両までの距離や速度などをすぐに処理することができます。一方、単純と思われるこれらのタスクは、コンピュータビジョン/機械学習による自動化システムにとっては難易度が高いです。コンピュータビジョンモデルの学習には、適切にラベル付けされた大量の画像が必要であり、これが新たな課題となっています。

そこで研究チームは、オープンソースのデータセットである「Stanford AI Lab cars dataset」の8,000枚の車画像を使用し、最初の1,200枚を手作業でラベル付けしました。その後、Pythonを使用して、部分的なトリミングと水平反転という形で画像補強を行いました。このグランドトゥルースデータセットを使って、Superb AIプラットフォームでカスタムオートラベルモデルをトレーニングし、より大きなデータセットを自動的にラベリングし、画像を8つのパターンのいずれかに分類することができるモデルを作成することを目指したのです。
同時に、Tensorflow/Kerasでカスタムモデルを構築し、同じグランドトゥルースデータセットを使ってトレーニングを行いました。検証セットを用いた入念なテスト、分析、最適化を経て、Superb AIのオートラベリングはKerasモデルよりもはるかに優れたパフォーマンスを示し、テストセットの結果は90%以上の精度を示すことが判明しました。この場合、セクション(前面、right_rearなど)を横断した総合スコアは、Kerasモデルの0.81に対して、0.92となりました。
例えば、500枚の画像にオートラベルを付け、それをレビューし、そのデータを使って新しいカスタムオートラベルをトレーニングしました。このテストでは、500枚の画像のうち、変更が必要なのは数枚だけでした。再トレーニングの結果、全体的な精度がさらに2ポイント向上し、テストセットでは、トレーニング時間を含めて2時間足らずで、前回使用したものと同じものが5ポイント向上したのです。Autonet社によると、これは " 多くのAIプロジェクトの時間投資に対する優れた効果 " と評価されました。
Autonet社の手動ラベリング増強の経験や、カスタムモデルの構築方法、実験の実施方法などの詳細については、こちらで詳細をご覧ください。

Superb AIについて
Superb AIは、エンタープライズ向けのAIトレーニングデータプラットフォームであり、ML(機械学習)チームが組織内でトレーニングデータをより効果的に管理・提供できるよう、データ管理の新しいアプローチを提案しています。2018年に発表されたSuperb AI Suiteは、自動化、コラボレーション、プラグアンドプレイモジュールのユニークな組み合わせを提供し、多くのチームが高品質なトレーニングデータセットを準備する時間を大幅に短縮する手助けをしています。この変革を体験したい方は、今すぐ無料でご登録ください。