ailia SDK 1.2.9をリリース

クロスプラットフォームで利用できるGPU対応の高速AI推論フレームワークであるailia SDKのバージョン1.2.9のご紹介です。ailia SDKについてはこちらをご覧ください。

Arm NEON向けの高速化

NEONコードのインラインアセンブラによる高速化や、CPUのBig Little Coreの最適化を行っており、AndroidやM1 MacなどのArm環境で推論速度を改善しました。

Androidの推論バックエンドのVulkanへの統一

GoogleからAndroid 12からのRenderScriptのサポート終了とVulkanへの移行推奨のアナウンスが出ています。これに伴い、ailia SDKのRenderScriptのサポートを終了し、推論バックエンドをVulkanに統一しました。

JNIの複数入出力対応

JNIに複数入出力対応のAPIを追加しました。より複雑なモデルのJNIでの推論が可能になります。

GitHub - ailia-ai/ailia-android-studio: ailia example for android studioailia example for android studio. Contribute to ailia-ai/ailia-android-studio development by creating an account on…github.com

Pythonの省メモリモード強化

PythonのClassifier APIやDetector APIに省メモリモードを追加しました。Predict APIと同様にmemory_modeをインスタンス作成時の引数に与えることができます。

Detector APIのYOLOX対応

Detector APIにおいて、高精度な物体検出モデルのYOLOXに対応しました。Detector APIの引数を書き換えるだけで、既存アプリをYOLOXに変更することができます。また、前処理と後処理をC++で行うため、Pythonで前処理と後処理を行うのに比べて高速に動作します。加えて、compute APIの引数にBGRAではなくBGRも与えられるようになったため、不要なカラーフォーマット変換を抑制可能です。

#yolov4  
detector = ailia.Detector( MODEL_PATH, WEIGHT_PATH,            len(COCO_CATEGORY), format=ailia.NETWORK_IMAGE_FORMAT_RGB,  channel=ailia.NETWORK_IMAGE_CHANNEL_FIRST,            range=ailia.NETWORK_IMAGE_RANGE_U_FP32,            algorithm=ailia.DETECTOR_ALGORITHM_YOLOV4, env_id=args.env_id)#yolox  
detector = ailia.Detector( MODEL_PATH, WEIGHT_PATH, len(COCO_CATEGORY), format=ailia.NETWORK_IMAGE_FORMAT_BGR, channel=ailia.NETWORK_IMAGE_CHANNEL_FIRST, range=ailia.NETWORK_IMAGE_RANGE_U_INT8, algorithm=ailia.DETECTOR_ALGORITHM_YOLOX, env_id=args.env_id)

ailia-models/object_detection/yolox at master · ailia-ai/ailia-models(Image from https://github.com/RangiLyu/nanodet/blob/main/demo_mnn/imgs/000252.jpg) Ailia input shape: (1, 3, 416…github.com

Python 3.10対応

Python 3.10でcollections.Sequenceからのcollecttions.abc.Sequenceへのエイリアスが廃止されたためにrun APIが動作しない問題を修正しました。ailia SDK 1.2.8で下記のエラーが発生する場合はailia SDK 1.2.9にアップデートしてください。

File "Python310\lib\site-packages\ailia\wrapper.py", line 407, in run  
    elif isinstance(input, collections.Sequence) :  
AttributeError: module 'collections' has no attribute 'Sequence'

新しいレイヤーへの対応

SoftSignレイヤーに対応しました。また、一部のレイヤーでopset=12に対応しました。今後、ailia SDK 1.2.10でopset=12〜14への正式対応を予定しています。新たにailia MODELSに追加されたHitNetはopset=12を使用しています。

ailia-models/depth_estimation/hitnet at master · ailia-ai/ailia-models(Image from https://vision.middlebury.edu/stereo/data/scenes2003/) Shape : (1, 6, 640, 480) Shape : (640, 480, 1)…github.com

評価版のライセンスファイルの自動コピー

pipで評価版をインストールする際、ライセンスファイルを自動的にコピーするようになりました。また、Unityでアプリをビルドした際にも、自動的にライセンスファイルがコピーされます。

新しく対応するモデル

ailia SDK 1.2.9で新たに対応するモデルとなります。

SiamMOT : 追跡用ネットワークを使用するトラッキングモデル

出典：https://vimeo.com/60139361

ailia-models/object_tracking/siam-mot at master · ailia-ai/ailia-models(Video from https://vimeo.com/60139361) Automatically downloads the onnx and prototxt files on the first run. It is…github.com

BackGroundMattingV2 : 背景切り抜きモデル

出典：https://github.com/PeterL1n/BackgroundMattingV2#video--image-examples

ailia-models/background_removal/background_matting_v2 at master · ailia-ai/ailia-models(Image from https://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD) Automatically downloads the onnx…github.com

HitNet : ステレオカメラからのデプス推定モデル

出典：https://vision.middlebury.edu/stereo/data/scenes2003/

ailia-models/depth_estimation/hitnet at master · ailia-ai/ailia-models(Image from https://vision.middlebury.edu/stereo/data/scenes2003/) Shape : (1, 6, 640, 480) Shape : (640, 480, 1)…github.com

LapDepth : 単眼デプス推定モデル

出典：https://github.com/tjqansthd/LapDepth-release/blob/master/example/kitti_demo.jpg

ailia-models/depth_estimation/lap-depth at master · ailia-ai/ailia-models(Image from https://github.com/tjqansthd/LapDepth-release/blob/master/example/kitti_demo.jpg) (Image from…github.com

RestyleEncoder : 顔画像のアニメ化

出典：https://github.com/yuval-alaluf/restyle-encoder/tree/main/notebooks/images

ailia-models/generative_adversarial_networks/restyle-encoder at master · ailia-ai/ailia-models(Image from https://github.com/yuval-alaluf/restyle-encoder/blob/main/notebooks/images/) Shape : (1, 3, 1024, 1024)…github.com

SAM : 顔画像の年齢変換

出典：https://github.com/yuval-alaluf/SAM/blob/master/notebooks/images/866.jpg

ailia-models/generative_adversarial_networks/sam at master · ailia-ai/ailia-models(Image from https://github.com/yuval-alaluf/SAM/blob/master/notebooks/images/866.jpg) Shape : (1, 3, 1024, 1024) Face…github.com

アイリア株式会社はAIを実用化する会社として、クロスプラットフォームでGPUを使用した高速な推論を行うことができるailia SDKを開発しています。アイリア株式会社ではコンサルティングからモデル作成、SDKの提供、AIを利用したアプリ・システム開発、サポートまで、 AIに関するトータルソリューションを提供していますのでお気軽にお問い合わせください。