ailia SDK 1.2.13をリリース

クロスプラットフォームで利用できるGPU対応の高速AI推論フレームワークであるailia SDKのバージョン1.2.13のご紹介です。ailia SDKについてはこちらをご覧ください

ailia SDK 1.2.13の新機能は下記となります。

NVIDIAプラットフォームにおけるTensorCore対応の強化による高速化

NVIDIAプラットフォームにおいてTensorCore対応を強化することで、FP16環境で大幅な高速化を実現しています。Jetson NXでは、yoloxをailia SDK 1.2.12の1.54倍の速度で推論することが可能です。

ailia-modelsでは、env_listオプションで使用可能なバックエンド（実行環境）を列挙可能です。

$ python3 yolox.py --env_list

デフォルトではFP32バックエンドが使用されるため、列挙したリストの中から、FP16バックエンドを選択します。Jetsonの場合はバックエンド2がFP16に対応します。

$ python3 yolox.py -e 2

Jetson Orin対応

Jetpack 5.0.2とcuDNN 8.3に対応し、Jetson Orinに対応しました。Jetson OrinのTensorCoreを使用した高速推論が可能になります。

複合アクティベーションのMetalおよびVulkan対応による高速化

ailia SDK 1.2.12でCPU向けとCUDA向けに追加した複合アクティベーションを、MetalおよびVulkanに追加しました。加えて、ResizeNearestとConcatのGPU実行範囲の拡張を行なっています。macOS (M1 Max)では、yoloxをailia SDK 1.2.12の1.48倍の速度で推論することが可能です。

メモリコピーの削減

複数の入出力を持つモデル向けのailiaSetBlobData APIのパフォーマンスを改善しました。Pythonでは、基本的にailiaSetBlobData APIを使用するため、Pythonから使用した場合に全般的にパフォーマンスが改善します。

ONNXのopset 16対応

ONNXのopset 16に対応し、Bernoulli、CastLike、GreaterOrEqual、GridSample、LessOrEqualに対応しました。

Einsumの高速化によるDiffusionModelの高速化

Einsumを高速化することで、DiffusionModelの推論を高速化しました。ailia-modelsのDiffusionModelでGPUを使用した高速推論を実現します。

ailia-models/diffusion at master · ailia-ai/ailia-modelsThe collection of pre-trained, state-of-the-art AI models for ailia SDK - ailia-models/diffusion at master ·…github.com

C++ AMPのサポート終了

MicrosoftによるC++ AMPのDeprecated指定に対応し、C++ AMPのサポートを終了しました。今後はVulkan Backendをご利用いただけます。

Unityのドキュメントの拡充

Unityの各APIのドキュメントを拡充しました。下記のURLから確認可能です。

ailia: ailia Unity Plugin DocumentEdit descriptionailia-ai.github.io

ailia SDK 1.2.13で新たに対応するモデル

Crestereo, MobileStereoNet : ステレオ画像からのデプス推定

出典：https://vision.middlebury.edu/stereo/data/scenes2003/

ailia-models/depth_estimation/crestereo at master · ailia-ai/ailia-modelsAilia input shape(1, 3, 360, 640) (Image from https://vision.middlebury.edu/stereo/data/scenes2003/) rigth image input…github.com

ailia-models/depth_estimation/mobilestereonet at master · ailia-ai/ailia-models(Image from http://www.cvlibs.net/datasets/kitti/eval_scene_flow.php) Automatically downloads the onnx and prototxt…github.com

Glip : 任意のテキストからの物体検出

出典：Flickr30K（https://github.com/microsoft/GLIP/blob/main/DATA.md）

ailia-models/object_detection/glip at master · ailia-ai/ailia-models(Image from http://farm4.staticflickr.com/3693/9472793441_b7822c00de_z.jpg) This model requires additional module. pip3…github.com

Dehamer : 霧の除去モデル

出典：https://github.com/Li-Chongyi/Dehamer/blob/main/data/classic_test_image/input/canyon.png

ailia-models/image_manipulation/dehamer at master · ailia-ai/ailia-models(Image from https://github.com/Li-Chongyi/Dehamer/blob/main/data/classic_test_image/input/canyon.png) Shape : (1, 3…github.com

Detic : 物体検出モデルのGridSampler統合版

ailia-models/object_detection/detic at master · ailia-ai/ailia-models(Image from https://web.eecs.umich.edu/~fouhey/fun/desk/desk.jpg, credit David Fouhey) Automatically downloads the onnx…github.com

下記のコマンドでopset16版を使用可能です。GridSampleをailia SDKの中で実行可能なため、PytorchのcuDNNのバージョンと衝突することがある問題を回避可能です。

$ python3 detic.py --opset16

アイリア株式会社はAIを実用化する会社として、クロスプラットフォームでGPUを使用した高速な推論を行うことができるailia SDKを開発しています。アイリア株式会社ではコンサルティングからモデル作成、SDKの提供、AIを利用したアプリ・システム開発、サポートまで、 AIに関するトータルソリューションを提供していますのでお気軽にお問い合わせください。