物体検知 － MobileNet-SSD (推論編)

"i-PRO mini" 紹介：

• i-PRO mini
• i-PRO mini 有線LANモデル WV-S7130UX
• i-PRO mini 無線LANモデル WV-S7130WUX
• WV-S7130UX　i-PRO mini 有線LANモデル - ダウンロード - i-PRO サポートポータル
• WV-S7130WUX　i-PRO mini 無線LANモデル - ダウンロード - i-PRO サポートポータル

"モジュールカメラ" 紹介：

• モジュールカメラ｜ポータルサイト (i-pro.com)
• 各種マニュアル - Module Camera Technical Information - モジュールカメラ｜ポータルサイト (i-pro.com)

カメラ初期設定についてはカメラ毎の取扱説明書をご確認ください。

カメラのIPアドレスを確認・設定できる下記ツールを事前に入手しておくと便利です。

• IP簡単設定ソフトウェア （日本国内）
• IP Setting Software     （グローバル）

1. 準備

[概要]

Python を事前にインストール済みであることを前提に記載します。

私の評価環境は以下の通りです。

[評価環境]

1-1. Pytorch をインストールする

このページでは Pytorch という AI のためのプラットフォームを使用します。以下の手順に従って Pytorch をインストールします。

AI はとても重たい処理を伴うので NVIDIA の GPU および CUDA というライブラリを使用する場合が多いのですが、私は Windows 環境で多くの人が動作する例を作成したいので、本ページでは "Computer Platform" として CPU を選択して TyTorch をインストールします。説明記事も CPU 環境における手順や結果を紹介することを基本とし、時々参考情報として GPU（CUDA） 環境における結果や補足情報も記載したいと思います。

(1)

下記URLを開きます。

https://pytorch.org/get-started/locally/

(2)

下図のような画面を表示するので、使用する環境を選択します。ここでは下記項目を選択します。

• PyTorch Build： Stable(1.11.0)
• Your OS： Windows
• Package： Pip
• Language： Python
• Computer Platform： CPU

commandは pip3 install torch torchvision torchaudio となりました。

ちなみに "CUDA 11.3" を選択すると pip3 install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu113 となりました。

(3)

表示されたコマンドをコマンドプロンプトなどのターミナルから入力することで Pytorch をインストールします。

これで Pytorch のインストールを完了です。

(4)

インストールされている Pytorch のバージョンを確認したい場合、以下の手順で確認できます。

コマンドプロンプトなどのターミナルから python を起動し、"import torch" した後に "print(torch.__version__)" するだけです。

Microsoft Windows [Version 10.0.22621.1194]
(c) Microsoft Corporation. All rights reserved.

C:\Users\foo>python
Python 3.10.7 (tags/v3.10.7:6cc6b13, Sep  5 2022, 14:08:36) [MSC v.1933 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.
>>> import torch
>>> print(torch.__version__)
1.11.0+cpu
>>>

1-2. 必要なライブラリをインストール

opencv を使用するので、下記コマンドによりインストールします。

pip install opencv-python

2-1. MobileNetV1-SSD を動かす（PC 内蔵カメラ）

[概要]

MobileNetV1-SSD を PyTorch の環境で動かしてみます。

pytorch-ssd というこの内容そのままのものが GitHub で公開されていました。これを取得して動作させてみます。

ちなみに pytorch-ssd のライセンスは "MIT License" です。

[評価環境]

[手順]

1. pytorch-ssd から git clone してソースコード一式を入手します。

任意のフォルダで端末（コマンドプロンプト等）を起動して下記コマンドをインプットします。

（git を既にインストール済みとして記載します。）

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

2. "git clone" したフォルダへ移動します。

$ cd pytorch-ssd

3. README.md 中の "Run the live MobilenetV1 SSD demo" に記載の内容に従って下記を実行します。

下記 Google Drive を開いて、"mobilenet-v1-ssd-mp-0_675.pth" および "voc-model-labels.txt" の２つのファイルを取得して models フォルダに保存します。

https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu

4. 下記コマンドを実行することで推論を実行します。

$ python run_ssd_live_demo.py mb1-ssd models/mobilenet-v1-ssd-mp-0_675.pth models/voc-model-labels.txt 

学習済みモデルは VOC dataset を使って学習しているので、このプログラムは下記 20クラス を検知します。

1: aeroplane
2: bicycle
3: bird
4: boat
5: bottle
6: bus
7: car
8: cat
9: chair
10: cow
11: diningtable
12: dog
13: horse
14: motorbike
15: person
16: pottedplant
17: sheep
18: sofa
19: train
20: tvmonitor

5. 上記手順でプログラム（"python run_ssd_live_demo.py ･･･" のところ）を実行したところ、私の環境では下図のようなエラーを表示して正常に動作しませんでした。

どうやら、box[0], box[1], box[2], box[3] が浮動小数点なのですがここの引数は整数(int)である必要がある、ということがエラーの理由のようです。
エラーとなった 76行目と、同様に 79行目の２カ所を int 型へ変換するように修正します。下図だと4行目、7行目の色付きの場所へ int() を追加しました。
これでエラーを解決してプログラムを実行できるようになりました。

        for i in range(boxes.size(0)):
        box = boxes[i, :]
        label = f"{class_names[labels[i]]}: {probs[i]:.2f}"
        cv2.rectangle(orig_image, (int(box[0]), int(box[1])), (int(box[2]), int(box[3])), (255, 255, 0), 4)

        cv2.putText(orig_image, label,
                    (int(box[0])+20, int(box[1])+40),
                    cv2.FONT_HERSHEY_SIMPLEX,
                    1,  # font scale
                    (255, 0, 255),
                    2)  # line type

別サイトの記事記載[9] によると、OpenCVバージョンアップに伴う影響だそうです。元々はこのようなエラーは出なかったのでしょう。

修正を Pull Request #178 しておきましたが、ポスト後に確認したら私を含めて３件の同件修正が Pull Request されていました。こちらのリポジトリはメンテを終了しているかもしれません。

6. 修正したプログラムを動かした様子を以下に示します。

カメラはPC内蔵のカメラです。PyTorch は前述の通り CPU 版ですがかなり快適に動作できています。

[動画] プログラムを動作させた様子（PC 内蔵カメラ）

2-2. MobileNetV1-SSD を動かす（i-PRO カメラ）

[概要]

MobileNetV1-SSD を PyTorch の環境で動かしてみます。

本章では i-PRO カメラとPCを LAN 接続してリアルタイムで物体検知してみます。前章と同様に pytorch-ssd を使って行います。

[評価環境]

[手順]

1. pytorch-ssd から git clone してソースコード一式を入手します。（前章と同じです。実施済みなら不要です。）

任意のフォルダで端末（コマンドプロンプト等）を起動して下記コマンドをインプットします。

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

2. "git clone" したフォルダへ移動します。

$ cd pytorch-ssd

3. README.md 中の "Run the live MobilenetV1 SSD demo" に記載の内容に従って下記を実行します。（前章と同じです。実施済みなら不要です。）

下記 Google Drive を開いて、"mobilenet-v1-ssd-mp-0_675.pth" および "voc-model-labels.txt" の２つのファイルを取得して models フォルダに保存します。

https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu

4. 下記コマンドを実行することで推論を実行します。ここでは４番目の引数として RTSP 表記で i-PRO カメラの接続を記載します。

{user-id}, {password}, {ip-address} の部分をご自身が使われる i-PRO カメラの設定に合わせて修正して実行してください。

その他 RTSP に関しては記事「RTSP で画像を取得する」を参照ください。

$ python run_ssd_live_demo.py mb1-ssd models/mobilenet-v1-ssd-mp-0_675.pth models/voc-model-labels.txt rtsp://{user-id}:{password}@{ip-address}/MediaInput/stream_1

(例) python run_ssd_live_demo.py mb1-ssd models/mobilenet-v1-ssd-mp-0_675.pth models/voc-model-labels.txt rtsp://admin:Admin12345@192.168.0.10/MediaInput/stream_1

5. プログラムを動かした様子を以下に示します。

PyTorch は前述の通り CPU 版ですがかなり快適に動作できています。

i-PRO カメラの設定を 10fps にしています。私のノートPC環境では 30fps 動作させると映像が少しずつ遅延していきました。AI処理なしに映像表示させると 30fps 表示できているので、AI処理に伴うCPU負荷に原因するものと分析します。GPU無しの環境、CPU 版での動作で Full-HD 画像を 10fps でAI処理できているのですから、私個人の見解ですが、 MobileNet は十分に軽量で高性能な AI だと考えます。

[動画] プログラムを動作させた様子 １（i-PRO カメラ）

[動画] プログラムを動作させた様子 ２ － 「人 商業 店 - Free video on Pixabay」の例（i-PRO カメラ）

入力画像として、 https://pixabay.com から取得した下記動画をテストに使用させていただきました。商用利用無料、帰属表示必要なし、のコンテンツです。

PC上で再生表示する動画を i-PRO カメラで接写しているため、画質が荒いこと、認識精度が微妙なこと、はご容赦ください。

こちらの例の場合、人が一定より小さいと認識できないようでした。カメラをディスプレに近づけて人のサイズを大きくすることで、AIが人を認識できるようになりました。

別ページ紹介の「機能拡張ソフトウェア(WV-XAE200W)」でも同じ映像を使って評価していますが、こちらの評価では同じ映像で小さい人を認識できています。この比較からも専用商品である WV-XAE200WUX の画像認識性能の高さを再確認させていただきました。

以上です。というわけで、プログラムを１行も書くことなく i-PRO カメラとPCを接続して MobileNetV1-SSD を実行することができました。

3-1. MobileNetV2-SSD-Lite を動かす（PC 内蔵カメラ）

[概要]

MobileNetV2-SSD を PyTorch の環境で動かしてみます。

MobileNetV1-SSD 同様に pytorch-ssd に含まれていますので、これを取得して動作させてみます。

[評価環境]

[手順]

1. pytorch-ssd から git clone してソースコード一式を入手します。（前章と同じです。実施済みなら不要です。）

任意のフォルダで端末（コマンドプロンプト等）を起動して下記コマンドをインプットします。

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

2. "git clone" したフォルダへ移動します。

$ cd pytorch-ssd

3. README.md 中の "Run the live MobileNetV2 SSD Lite demo" に記載の内容に従って下記を実行します。

下記 Google Drive を開いて、"mb2-ssd-lite-mp-0_686.pth" および "voc-model-labels.txt" の２つのファイルを取得して models フォルダに保存します。

https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu

4. 下記コマンドを実行することで推論を実行します。

$ python run_ssd_live_demo.py mb2-ssd-lite models/mb2-ssd-lite-mp-0_686.pth models/voc-model-labels.txt

5. プログラムを動かした様子を以下に示します。

カメラはPC内蔵のカメラです。PyTorch は前述の通り CPU 版ですがかなり快適に動作できています。

[動画] プログラムを動作させた様子（PC 内蔵カメラ）

ちゃんと MobiletNetV2-ssd-lite で動作できていると思いますが、こちら映像を見るだけでは V1, V2 の違いはわからないですね。

私が触ってみた印象ですが、認識精度が若干向上して CPU 負荷も若干軽くなったという気がします。

3-2. MobileNetV2-SSD-Lite を動かす（i-PRO カメラ）

[概要]

MobileNetV2-SSD-lite を PyTorch の環境で動かしてみます。

本章では i-PRO カメラとPCを LAN 接続してリアルタイムで物体検知してみます。前章と同様に pytorch-ssd を使って行います。

[評価環境]

[手順]

1. pytorch-ssd から git clone してソースコード一式を入手します。（前章と同じです。実施済みなら不要です。）

任意のフォルダで端末（コマンドプロンプト等）を起動して下記コマンドをインプットします。

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

2. "git clone" したフォルダへ移動します。

$ cd pytorch-ssd

3. README.md 中の "Run the live MobilenetV1 SSD demo" に記載の内容に従って下記を実行します。（前章と同じです。実施済みなら不要です。）

下記 Google Drive を開いて、"mb2-ssd-lite-mp-0_686.pth" および "voc-model-labels.txt" の２つのファイルを取得して models フォルダに保存します。

https://drive.google.com/drive/folders/1pKn-RifvJGWiOx0ZCRLtCXM5GT5lAluu

4. 下記コマンドを実行することで推論を実行します。ここでは４番目の引数として RTSP 表記で i-PRO カメラの接続を記載します。

{user-id}, {password}, {ip-address} の部分をご自身が使われる i-PRO カメラの設定に合わせて修正して実行してください。

その他 RTSP に関しては記事「RTSP で画像を取得する」を参照ください。

$ python run_ssd_live_demo.py mb2-ssd-lite models/mb2-ssd-lite-mp-0_686.pth models/voc-model-labels.txt rtsp://{user-id}:{password}@{ip-address}/MediaInput/stream_1

(例) python run_ssd_live_demo.py mb2-ssd-lite models/mb2-ssd-lite-mp-0_686.pth models/voc-model-labels.txt rtsp://admin:Admin12345@192.168.0.10/MediaInput/stream_1

5. プログラムを動かした様子を以下に示します。

PyTorch は前述の通り CPU 版ですがかなり快適に動作できています。

i-PRO カメラの設定を 10fps にしています。私のノートPC環境では 30fps 動作させると映像が少しずつ遅延していきました。AI処理なしに映像表示させると 30fps 表示できているので、AI処理に伴うCPU負荷に原因するものと分析します。GPU無しの環境、CPU 版での動作で Full-HD 画像を 10fps でAI処理できているのですから、私個人の見解ですが、 MobileNet は十分に軽量で高性能な AI だと考えます。

[動画] プログラムを動作させた様子（i-PRO カメラ）

ちゃんと MobiletNetV2-ssd-lite で動作できていると思いますが、こちら映像を見るだけでは V1, V2 の違いはわからないですね。

私が触ってみた印象ですが、認識精度が若干向上して CPU 負荷も若干軽くなったという気がします。

以上です。というわけで、プログラムを１行も書くことなく i-PRO カメラとPCを接続して MobileNetV2-SSD も実行することができました。

参考： GPU動作させる場合のソースコード修正について

本ページの紹介は Pytorch 動作を "CPU" として説明していますが、GPU（CUDA）で動作させた場合に必要となるソースコード修正について参考記載します。

MobileNetV1 については CUDA 環境で問題なく動作したのですが、MobileNetV2 について私の環境では下記修正を行う必要がありました。

対象ファイルは "vision/ssd/mobilenet_v2_ssd_lite.py" です。

4-1-1. MobileNetV3-SSD-Lite を動かす（JPEGファイル）

[概要]

PyTorch の資料を参考に、JPEGファイルを読み込んで物体認識する Python プログラムを作成してみます。

参考にする元資料は こちら (Object Detection) です。
この元資料の "fasterrcnn_resnet50_fpn_v2" を "ssdlite320_mobilenet_v3_large" へ変更して、課題ある部分をさらに追加修正する、という感じでやってみます。

学習済みモデルは COCO dataset を使って学習しているので、このプログラムは下記 91クラス を検知します。

このプログラムを初めて実行するとき、このプログラムは学習済みモデルのダウンロードを行うため、プログラム起動に多くの時間を待つ必要があるでしょう。

1: person
2: bicycle
3: car
4: motorcycle
5: airplane
6: bus
7: train
8: truck
9: boat
10: traffic light
11: fire hydrant
12: street sign*
13: stop sign
14: parking meter
15: bench
16: bird
17: cat
18: dog
19: horse
20: sheep
21: cow
22: elephant
23: bear
24: zebra
25: giraffe
26: hat
27: backpack
28: umbrella
29: shoe
30: eye glasses
31: handbag
32: tie
33: suitcase
34: frisbee
35: skis
36: snowboard
37: sports ball
38: kite
39: baseball bat
40: baseball glove
41: skateboard
42: surfboard
43: tennis racket
44: bottle
45: plate
46: wine glass
47: cup
48: fork
49: knife
50: spoon
51: bowl
52: banana
53: apple
54: sandwich
55: orange
56: broccoli
57: carrot
58: hot dog
59: pizza
60: donut
61: cake
62: chair
63: couch
64: potted plant
65: bed
66: mirror
67: dining table
68: window
69: desk
70: toilet
71: door
72: tv
73: laptop
74: mouse
75: remote
76: keyboard
77: cell phone
78: microwave
79: oven
80: toaster
81: sink
82: refrigerator
83: blender
84: book
85: clock
86: vase
87: scissors
88: teddy bear
89: hair drier
90: toothbrush
91: hair brush

[評価環境]

[run_mobilenetv3-ssdlite_jpeg_demo.py]

'''
[Abstract]
    Create a python program that detects objects in JPEG images using the trained AI model of "MobileNetV3 SSD-Lite".

    "MobileNetV3 SSD-Lite" の学習済みAIモデルを使用して、JPEG画像を対象に物体検知する Python プログラムを作成します。

[Details]
    This program uses pytorch "ssdlite320_mobilenet_v3_large" and pre-trained model.
    The program detects 91 classes because the trained model is trained using the COCO dataset.
    When you run this program for the first time, you will have to wait a lot of time to start the program, as it downloads the trained model.

    このプログラムは pytorch の "ssdlite320_mobilenet_v3_large" および 学習済みモデルを使用します。
    学習済みモデルは COCO dataset を使って学習しているので、このプログラムは91クラスを検知します。
    このプログラムを初めて実行するとき、このプログラムは学習済みモデルのダウンロードを行うため、あなたはプログラム起動に多くの時間を待つ必要があるでしょう。

[Library install]
    cv2:        pip install opencv-python
    pytorch:    pip install torch torchvision torchaudio

[Reference URL]
    https://pytorch.org/vision/main/models.html#object-detection
    https://pytorch.org/vision/0.11/auto_examples/plot_visualization_utils.html#visualizing-bounding-boxes

[Image used]
    dog1.jpg : https://pixabay.com/ja/photos/%e3%83%9e%e3%83%ab%e3%82%bf%e8%aa%9e-%e7%8a%ac-%e5%ad%90%e7%8a%ac-%e5%b0%8f%e5%9e%8b%e7%8a%ac-1123016/
'''

from pathlib import Path
from torchvision.io.image import read_image
from torchvision.models.detection import ssdlite320_mobilenet_v3_large, SSDLite320_MobileNet_V3_Large_Weights
from torchvision.utils import draw_bounding_boxes
from torchvision.transforms.functional import to_pil_image

img = read_image(str(Path('assets') / 'dog1.jpg'))

# Step 1: Initialize model with the best available weights
weights = SSDLite320_MobileNet_V3_Large_Weights.DEFAULT
model = ssdlite320_mobilenet_v3_large(weights=weights)
model = model.eval()

# Step 2: Initialize the inference transforms
preprocess = weights.transforms()

# Step 3: Apply inference preprocessing transforms
batch = [preprocess(img)]

# Step 4: Use the model and visualize the prediction
prediction = model(batch)[0]
score_threshold = 0.5
labels = [weights.meta["categories"][class_index] + f": {score_int:.2f}" for class_index, score_int in zip(prediction["labels"], prediction["scores"]) if score_int > score_threshold]
boxes = prediction["boxes"][prediction["scores"] > score_threshold]
box = draw_bounding_boxes(img, boxes=boxes,
                          labels=labels,
                          colors="red",
                          width=4,
                          font='arial.ttf', font_size=30)
im = to_pil_image(box.detach())
im.show()

たったこれだけのソースコードで物体検知を実現できます。学習済みモデルのダウンロードを含みますので、必ずインターネットへ接続できる環境で実行してください。

動作結果はこちらです。

評価画像として、 https://pixabay.com 提供の画像を使用させていただきました。商用利用無料、帰属表示必要なし、の画像です。

https://pixabay.com/ja/photos/マルタ語-犬-子犬-小型犬-1123016/

[注意] 上記プログラムを実行する際は、ご自身で画像を準備またはダウンロードして事前に "assets" フォルダに "dog1.jpg" の名称で保存してください。

学習済みモデルは下記に保存されます。'~' はログインしているユーザーのホームディレクトリを意味します。

Where are my downloaded models saved?

The locations are used in the order of

• Calling hub.set_dir(<PATH_TO_HUB_DIR>)
• $TORCH_HOME/hub, if environment variable TORCH_HOME is set.
• $XDG_CACHE_HOME/torch/hub, if environment variable XDG_CACHE_HOME is set.
• ~/.cache/torch/hub

私の場合は下記に ssdlite320_mobilenet_v3_large_coco-a79551df.pth というファイルを保存していました。約13MBのファイルサイズでした。

"~\.cache\torch\hub\checkpoints\ssdlite320_mobilenet_v3_large_coco-a79551df.pth"

4-1-2. MobileNetV3-SSD-Lite を動かす（PC 内蔵カメラ）

[概要]

4-1 で作成した JPEG 画像を対象に物体検知するプログラムを元に、ここではPC内蔵カメラの映像をライブで物体検知するプログラムを作成してみます。

PC内蔵カメラからの映像取得は OpenCV を使って行います。

[評価環境]

[run_mobilenetv3-ssdlite_live_demo.py]

'''
[Abstract]
    Create a python program to detect objects in the camera live video using the trained AI model of "MobileNetV3 SSD-Lite".

    "MobileNetV3 SSD-Lite" の学習済みAIモデルを使用して、カメラライブ映像を物体検知する Python プログラムを作成してみます。

[Details]
    This program uses pytorch "ssdlite320_mobilenet_v3_large" and pre-trained model.
    The program detects 91 classes because the trained model is trained using the COCO dataset.
    When you run this program for the first time, you will have to wait a lot of time to start the program, as it downloads the trained model.

    このプログラムは pytorch の "ssdlite320_mobilenet_v3_large" および 学習済みモデルを使用します。
    学習済みモデルは COCO dataset を使って学習しているので、このプログラムは91クラスを検知します。
    このプログラムを始めて実行するとき、このプログラムは学習済みモデルのダウンロードを行うため、あなたはプログラム起動に多くの時間を待つ必要があるでしょう。

[Library install]
    cv2:        pip install opencv-python
    pytorch:    pip install torch torchvision torchaudio
'''

import cv2
import torch
from torchvision.models.detection import ssdlite320_mobilenet_v3_large, SSDLite320_MobileNet_V3_Large_Weights
from torchvision.transforms.functional import convert_image_dtype
from torchvision import transforms


# Step 1: Initialize model with the best available weights
weights = SSDLite320_MobileNet_V3_Large_Weights.DEFAULT
model = ssdlite320_mobilenet_v3_large(weights=weights)
model = model.eval()

# Step 2: Initialize the inference transforms
preprocess = weights.transforms()

# Initialize variables.
cap = cv2.VideoCapture(0)       # Capture from camera.
#cap.set(3, 1920)               # Set video stream frame width.  Remove '#' and change the value according to your needs.
#cap.set(4, 1080)               # Set video stream frame height. Remove '#' and change the value according to your needs.
winname = "Annotated"           # Window title.

# Exception definition.
BackendError = type('BackendError', (Exception,), {})


def IsWindowVisible(winname):
    '''
    [Abstract]
        Check if the target window exists.
        対象ウィンドウが存在するかを確認する。
    [Param]
        winname :       Window title
    [Return]
        True :          exist
                        存在する
        False :         not exist
                        存在しない
    [Exception]
        BackendError :
    '''
    try:
        ret = cv2.getWindowProperty(winname, cv2.WND_PROP_VISIBLE)
        if ret == -1:
            raise BackendError('Use Qt as backend to check whether window is visible or not.')

        return bool(ret)

    except cv2.error:
        return False


while True:
    # Capture image by opencv.
    ret, orig_image = cap.read()
    if orig_image is None:
        continue

    # Convert image from BGR to RGB.
    rgb_image = cv2.cvtColor(orig_image, cv2.COLOR_BGR2RGB)

    # Convert image from numpy.ndarray to torchvision image format.
    rgb_image = rgb_image.transpose((2, 0, 1))
    rgb_image = rgb_image / 255.0
    rgb_image = torch.FloatTensor(rgb_image)

    # Step 3: Apply inference preprocessing transforms
    batch = [preprocess(rgb_image)]

    # Step 4: Use the model and visualize the prediction
    with torch.no_grad():
        prediction = model(batch)[0]

    score_threshold = 0.5
    labels = [weights.meta["categories"][class_index] + f": {score_int:.2f}" for class_index, score_int in zip(prediction["labels"], prediction["scores"]) if score_int > score_threshold]
    boxes = prediction["boxes"][prediction["scores"] > score_threshold]

    # Draw result.
    for box, label in zip(boxes, labels):

        cv2.rectangle(
            orig_image,                         # Image.
            (int(box[0]), int(box[1])),         # Vertex of the rectangle.
            (int(box[2]), int(box[3])),         # Vertex of the rectangle opposite to pt1.
            (255, 255, 0),                      # Color.
            4 )                                 # Line type.

        cv2.putText(
            orig_image,                         # Image.
            label,                              # Text string to drawn.
            (int(box[0])+20, int(box[1])+40),   # Bottom-left corner of the text string in the image.
            cv2.FONT_HERSHEY_SIMPLEX,           # Font face. - フォント種別
            0.8,                                # Font scale.
            (255, 0, 255),                      # Color.
            2)                                  # Line type.

    # Display video.
    cv2.imshow(winname, orig_image)

    # Press the "q" key to finish.
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

    # Exit the program if there is no specified window.
    if not IsWindowVisible(winname):
        break

cap.release()
cv2.destroyAllWindows()

[動画] プログラムを動作させた様子（PC 内蔵カメラ）

4-1-3. MobileNetV3-SSD-Lite を動かす（i-PRO カメラ）

[概要]

4-2 で作成したプログラムを元に i-PRO カメラと接続してカメラ映像をライブで物体検知するプログラムを作成してみます。

cv2.VideoCapture の引数を "0" から RTSP表記 へ変更するだけです。

[評価環境]

"user-id", "password", "host" の部分をご自身が使われる i-PRO カメラの設定に合わせて修正してください。

その他 RTSP に関しては記事「RTSP で画像を取得する」を参照ください。

[run_mobilenetv3-ssdlite_live_i-pro-com_demo.py]

'''
[Abstract]
    Create a python program to detect objects in the camera live video using the trained AI model of "MobileNetV3 SSD-Lite".

    "MobileNetV3 SSD-Lite" の学習済みAIモデルを使用して、カメラライブ映像を物体検知する Python プログラムを作成してみます。

[Details]
    This program uses pytorch "ssdlite320_mobilenet_v3_large" and pre-trained model.
    The program detects 91 classes because the trained model is trained using the COCO dataset.
    When you run this program for the first time, you will have to wait a lot of time to start the program, as it downloads the trained model.

    このプログラムは pytorch の "ssdlite320_mobilenet_v3_large" および 学習済みモデルを使用します。
    学習済みモデルは COCO dataset を使って学習しているので、このプログラムは91クラスを検知します。
    このプログラムを始めて実行するとき、このプログラムは学習済みモデルのダウンロードを行うため、あなたはプログラム起動に多くの時間を待つ必要があるでしょう。

[Library install]
    cv2:        pip install opencv-python
    pytorch:    pip install torch torchvision torchaudio
'''

import cv2
import torch
from torchvision.models.detection import ssdlite320_mobilenet_v3_large, SSDLite320_MobileNet_V3_Large_Weights
from torchvision.transforms.functional import convert_image_dtype
from torchvision import transforms


# Initialize variables.
user_id     = "user-id"             # Change to match your camera setting
user_pw     = "password"            # Change to match your camera setting
host        = "192.168.0.10"        # Change to match your camera setting
resolution  = "1920x1080"           # Resolution
framerate   =  5                    # Framerate
winname     = "Annotated"           # Window title.

# Step 1: Initialize model with the best available weights
weights = SSDLite320_MobileNet_V3_Large_Weights.DEFAULT
model = ssdlite320_mobilenet_v3_large(weights=weights)
model = model.eval()

# Step 2: Initialize the inference transforms
preprocess = weights.transforms()

# Capture from camera.
url = f"rtsp://{user_id}:{user_pw}@{host}/MediaInput/stream_1"  # H.264/H.265
#url = f"http://{user_id}:{user_pw}@{host}/cgi-bin/nphMotionJpeg?Resolution={resolution}&Quality=Standard&Framerate={framerate}"    # MJPEG
cap = cv2.VideoCapture(url)

# Exception definition.
BackendError = type('BackendError', (Exception,), {})


def IsWindowVisible(winname):
    '''
    [Abstract]
        Check if the target window exists.
        対象ウィンドウが存在するかを確認する。
    [Param]
        winname :       Window title
    [Return]
        True :          exist
                        存在する
        False :         not exist
                        存在しない
    [Exception]
        BackendError :
    '''
    try:
        ret = cv2.getWindowProperty(winname, cv2.WND_PROP_VISIBLE)
        if ret == -1:
            raise BackendError('Use Qt as backend to check whether window is visible or not.')

        return bool(ret)

    except cv2.error:
        return False


while True:
    # Capture image by opencv.
    ret, orig_image = cap.read()
    if orig_image is None:
        continue

    # Convert image from BGR to RGB.
    rgb_image = cv2.cvtColor(orig_image, cv2.COLOR_BGR2RGB)

    # Convert image from numpy.ndarray to torchvision image format.
    rgb_image = rgb_image.transpose((2, 0, 1))
    rgb_image = rgb_image / 255.0
    rgb_image = torch.FloatTensor(rgb_image)

    # Step 3: Apply inference preprocessing transforms
    batch = [preprocess(rgb_image)]

    # Step 4: Use the model and visualize the prediction
    with torch.no_grad():
        prediction = model(batch)[0]

    score_threshold = 0.5
    labels = [weights.meta["categories"][class_index] + f": {score_int:.2f}" for class_index, score_int in zip(prediction["labels"], prediction["scores"]) if score_int > score_threshold]
    boxes = prediction["boxes"][prediction["scores"] > score_threshold]

    # Draw result.
    for box, label in zip(boxes, labels):

        cv2.rectangle(
            orig_image,                         # Image.
            (int(box[0]), int(box[1])),         # Vertex of the rectangle.
            (int(box[2]), int(box[3])),         # Vertex of the rectangle opposite to pt1.
            (255, 255, 0),                      # Color.
            4 )                                 # Line type.

        cv2.putText(
            orig_image,                         # Image.
            label,                              # Text string to drawn.
            (int(box[0])+20, int(box[1])+40),   # Bottom-left corner of the text string in the image.
            cv2.FONT_HERSHEY_SIMPLEX,           # Font face. - フォント種別
            0.8,                                # Font scale.
            (255, 0, 255),                      # Color.
            2)                                  # Line type.

    # Display video.
    cv2.imshow(winname, orig_image)

    # Press the "q" key to finish.
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

    # Exit the program if there is no specified window.
    if not IsWindowVisible(winname):
        break

cap.release()
cv2.destroyAllWindows()

[動画] プログラムを動作させた様子（i-PRO カメラ、5fps）

参考： GPU動作について

本ページの紹介は Pytorch 動作を "CPU" として説明していますが、私の環境で GPU（CUDA）で動作させた場合の概況について参考記載します。

上記ソースコードから device を "cuda:0" へ変更するためのソースコード修正を行うことで、私の環境では特にエラーなど発生することなく CUDA 環境で動作させることができました。しかし残念ながら CPU 動作からパフォーマンス向上を確認することができませんでした。私の実現方法に課題があるのか、または PyTorch 側に問題があるのか、問題の切り分けをまだできておりません。

進展あればこちらへ追記していきたいと思います。

4-2. MobileNetV3-large-SSD-Lite

MobilenetV3 は pytorch-ssd に含まれていますが、学習済みモデルを提供していませんでした。残念。

折角なので、私自身により学習を実施してみました。皆さんが期待するほどの認識性能に達していないかもしれませんが、本ページから私が作成した学習済みデータをダウンロードできるようにしました。このデータを使って MobileNet-SSD-V3 による推論を実行してみたいと思います。合わせてこの学習データを作成した手順についても参考記載します。

※ これで V1,V2,V3 を同等条件で動作比較できそうです。

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

$ cd pytorch-ssd

$ cd data
$ wget http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar
$ wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar
$ wget http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar
$ tar -xvf VOCtrainval_11-May-2012.tar 
$ tar -xvf VOCtrainval_06-Nov-2007.tar 
$ tar -xvf VOCtest_06-Nov-2007.tar 

$ cd data
$ bitsadmin /TRANSFER htmldl http://host.robots.ox.ac.uk/pascal/VOC/voc2012/VOCtrainval_11-May-2012.tar c:\{作業フォルダ}\data\VOCtrainval_11-May-2012.tar
$ bitsadmin /TRANSFER htmldl http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtrainval_06-Nov-2007.tar c:\{作業フォルダ}\data\VOCtrainval_06-Nov-2007.tar
$ bitsadmin /TRANSFER htmldl http://host.robots.ox.ac.uk/pascal/VOC/voc2007/VOCtest_06-Nov-2007.tar c:\{作業フォルダ}\data\VOCtest_06-Nov-2007.tar
$ tar -xvf VOCtrainval_11-May-2012.tar 
$ tar -xvf VOCtrainval_06-Nov-2007.tar 
$ tar -xvf VOCtest_06-Nov-2007.tar 

$ cd ..
$ python train_ssd.py  --dataset_type voc  --datasets ./data/VOC0712/VOC2007 ./data/VOC0712/VOC2012 --validation_dataset ./data/VOC0712/test/VOC2007 --net mb3-large-ssd-lite  --scheduler cosine --lr 0.01 --t_max 200 --validation_epoch 5 --num_epochs 200 --batch_size 16

$ python train_ssd.py  --dataset_type voc  --datasets ./data/VOC0712/VOC2007 ./data/VOC0712/VOC2012 --validation_dataset ./data/VOC0712/test/VOC2007 --net mb3-large-ssd-lite  --pretrained_ssd  models/mb3-large-ssd-lite-Epoch-NNN-Loss-N.NNNNNNNN.pth  --scheduler cosine  --lr 0.001  --t_max 200 --validation_epoch 5 --num_epochs 200 --batch_size 16

Average Precision Per-class:
aeroplane: 0.6858618154005621
bicycle: 0.7953144174658359
bird: 0.5944325029442169
boat: 0.5254286014580958
bottle: 0.29775074049868244
bus: 0.7695870498857185
car: 0.7172673114401424
cat: 0.8129718499191528
chair: 0.4989150543653392
cow: 0.5713323043655254
diningtable: 0.696122825413885
dog: 0.7490342862830122
horse: 0.8064323730818508
motorbike: 0.7576028544694091
person: 0.6886720836774618
pottedplant: 0.3843043827262724
sheep: 0.5665584224827491
sofa: 0.7792946515148939
train: 0.7889272422973491
tvmonitor: 0.5494204663075016

Average Precision Across All Classes:0.6517615617998829

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

$ cd pytorch-ssd

$ python run_ssd_live_demo.py mb3-large-ssd-lite models/mb3-large-ssd-lite-mp-0_652.pth models/voc-model-labels.txt

1: aeroplane
2: bicycle
3: bird
4: boat
5: bottle
6: bus
7: car
8: cat
9: chair
10: cow
11: diningtable
12: dog
13: horse
14: motorbike
15: person
16: pottedplant
17: sheep
18: sofa
19: train
20: tvmonitor

$ git clone https://github.com/qfgaohao/pytorch-ssd.git

$ cd pytorch-ssd

$ python run_ssd_live_demo.py mb3-large-ssd-lite models/mb3-large-ssd-lite-mp-0_652.pth models/voc-model-labels.txt rtsp://{user-id}:{password}@{ip-address}/MediaInput/stream_1

ライセンス

本ページの情報は、特記無い限り下記 MIT ライセンスで提供されます。

参考

• [1] PyTorch
  https://pytorch.org/
• [2] qfgaohao/pytorch-ssd: MobileNetV1, MobileNetV2, VGG based SSD/SSD-lite implementation in Pytorch 1.0 / Pytorch 0.4. Out-of-box support for retraining on Open Images dataset. ONNX and Caffe2 support. Experiment Ideas like CoordConv. (github.com)
  https://github.com/qfgaohao/pytorch-ssd
• [3] PyTorchでMobileNet SSDによるリアルタイム物体検出｜はやぶさの技術ノート (cpp-learning.com)
  https://cpp-learning.com/pytorch_mobilenet-ssd/
• [4] MobilenetSSD : 高速に物体検出を行う機械学習モデル. ailia… | by Kazuki Kyakuno | axinc | Medium
  https://medium.com/axinc/mobilenetssd-高速に物体検出を行う機械学習モデル-be3ca37c411
• [5] Everything You Need To Know About Torchvision’s SSDlite Implementation | PyTorch
  https://pytorch.org/blog/torchvision-ssdlite-implementation/
• [6] vision/ssdlite.py at b6f733046c9259f354d060cd808241a558d7d596 · pytorch/vision · GitHub
  https://github.com/pytorch/vision/blob/b6f733046c9259f354d060cd808241a558d7d596/torchvision/models/detection/ssdlite.py#L159-L162
• [7] Models and pre-trained weights — Torchvision main documentation (pytorch.org)
  https://pytorch.org/vision/main/models.html
• [8] Visualization utilities — Torchvision 0.11.0 documentation (pytorch.org)
  https://pytorch.org/vision/0.11/auto_examples/plot_visualization_utils.html
• [9] PyTorchでObeject Detection (mashykom.com)
  https://www.koi.mashykom.com/pytorch2.html
• [10] SSDLite MobileNetV3 Backbone Object Detection with PyTorch and Torchvision - DebuggerCafe
  https://debuggercafe.com/ssdlite-mobilenetv3-backbone-object-detection-with-pytorch-and-torchvision/
• [11] MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
  https://arxiv.org/pdf/1704.04861.pdf
• [12] MobileNetV2: Inverted Residuals and Linear Bottlenecks
  https://arxiv.org/pdf/1801.04381v3.pdf
• [13] Searching for MobileNetV3
  https://arxiv.org/pdf/1905.02244.pdf
• [14] dusty-nv/pytorch-ssd: MobileNetV1, MobileNetV2, VGG based SSD/SSD-lite implementation in PyTorch. Out-of-box support for retraining on Open Images dataset. ONNX and Caffe2 support. Experiment Ideas like CoordConv. (github.com)
  https://github.com/dusty-nv/pytorch-ssd/
• [15] dusty-nv/jetson-inference: Hello AI World guide to deploying deep-learning inference networks and deep vision primitives with TensorRT and NVIDIA Jetson. (github.com)
  https://github.com/dusty-nv/jetson-inference

変更履歴

Programming Items トップページ

プライバシーポリシー