MMFashion : ファッションをセグメンテーションする機械学習モデル

ailia SDKで使用できる機械学習モデルである「MMFashion」のご紹介です。エッジ向け推論フレームワークであるailia SDKとailia MODELSに公開されている機械学習モデルを使用することで、簡単にAIの機能をアプリケーションに実装することができます。

MMFashionの概要

MMFashionはオープンソースのファッション分析に関するツールボックスです。MMFashionの中にはセグメンテーションやランドマークディテクションのモデルが含まれています。本記事ではセグメンテーションについて紹介します。

出典：https://arxiv.org/pdf/2005.08847.pdf

MMFashion: An Open-Source Toolbox for Visual Fashion AnalysisWe present MMFashion, a comprehensive, flexible and user-friendly open-source visual fashion analysis toolbox based on…arxiv.org

open-mmlab/mmfashionTechnical Report] MMFashion is an open source visual fashion analysis toolbox based on PyTorch. It is a part of the…github.com

MMFashionを使用したファッションのセグメンテーション

MMFashionはバックエンドにMMDetectionを使用しています。MMFashionでは、MMDetectionに含まれるMaskRCNNを使用することで、入力した画像に対してセグメンテーションを行うことができます。

検出可能なカテゴリは下記になります。

CATEGORY = (  
    'top', 'skirt', 'leggings', 'dress', 'outer', 'pants', 'bag',  
    'neckwear', 'headwear', 'eyeglass', 'belt', 'footwear', 'hair',  
    'skin', 'face'  
)

出典：https://github.com/open-mmlab/mmfashion/blob/master/demo/imgs/01_4_full.jpg

ONNXへのエクスポート

MMDetectionを使用したモデルをONNXにエクスポートするには少し複雑な操作が必要です。エクスポート方法は下記の記事にまとめていますので、必要に応じて参照してください。

MMDetectionのモデルをONNXにエクスポートするMMDetectionは、PyTorchに基づくオープンソースのオブジェクト検出ツールボックスです。MMDetectionのモデルをONNXにエクスポートする手順について解説します。medium.com

MMFashionの使用方法

ailia SDKでMMFashionを使用するには、下記のコマンドを使用します。WEBカメラの入力に対してセグメンテーションを行います。

python3 mmfashion.py -v 0

ailia-ai/ailia-models(Image from https://github.com/open-mmlab/mmfashion/blob/master/demo/imgs/01_4_full.jpg) Shape : (1, 3, height, width)…github.com

実行例です。

MMFashionは背景のない画像で学習を行なっているため、背景画像が含まれる画像に対しては精度が低下します。-ppオプションを使用することで、U2Netで背景切り抜きを行なった後にMMFashionを適用することが可能です。

python3 mmfashion.py -pp large

---

アイリア株式会社はAIを実用化する会社として、クロスプラットフォームでGPUを使用した高速な推論を行うことができるailia SDKを開発しています。アイリア株式会社ではコンサルティングからモデル作成、SDKの提供、AIを利用したアプリ・システム開発、サポートまで、 AIに関するトータルソリューションを提供していますのでお気軽にお問い合わせください。