Coral USB Accelerator（Edge TPU）のベンチマーク

Edge TPUのPreTrained modelでベンチマークを行ってみた。

Image ClassificationとObject Detectionの各モデルをカメラキャプチャして計測。

環境

• Raspberry Pi 3 B + Edge TPU（Coral USB Acceleraror）
• PiCamera V2.1
• Python3
• OpenCV 4.0.1（Self-build）

計測方法

使用したソフトウェアはここに公開。

EdgeTPUのAPIの前後の処理時間を計測。過去100フレームの平均。

結果

Object Detection

model name	elapsed (ms)	FPS
MobileNet SSD v1 (COCO)	58	17
MobileNet SSD v2 (COCO)	62	15

Image Classification

model name	elapsed (ms)	FPS
MobileNet V1 (ImageNet)	12	79
MobileNet V2 (ImageNet)	14	71
Inception V1 (ImageNet)	22	45
Inception V2 (ImageNet)	173	5.7
Inception V3 (ImageNet)	568	1.7
Inception V4 (ImageNet)	1132	0.8

その他・気づいたこと

• 処理時間は安定しているけど、たまにガクッと引っかかるようなときがある。
  何が原因かは不明。
• モデルのロードの時間はモデルのサイズによる。
  これは通常のtensorflow+GPUでも同じ。
• 複数のモデルが同時にロードできるのか？Edge TPUのメモリ？のサイズに影響する？（もしくはホスト？）