Introduction

Entre 2019 et 2026, les charges de travail d’inférence locale (Edge AI) ont changé de nature. Là où un détecteur d’objets MobileNetSSD v2 quantifié en INT8 suffisait il y a cinq ans, les pipelines actuels combinent des modèles de vision plus denses (YOLOv8, YOLOv9, YOLOv11, CLIP), de la transcription audio locale (Whisper) et des modèles de langage ou de vision-langage (LLM / VLM 3B à 8B en INT4/FP4).

Ce guide compare de manière factuelle les cinq principales options matérielles disponibles en 2026 : NVIDIA Jetson Thor, NVIDIA Jetson Orin Nano Super, Hailo-10H / Hailo-8, Intel OpenVINO (iGPU/NPU) et Google Coral Edge TPU.

1. Benchmarks et spécifications techniques (2026)

Le tableau ci-dessous regroupe les caractéristiques matérielles et les performances mesurées sur deux charges de référence :

1. Vision par ordinateur (NVR / Détection temps réel) : inférence YOLOv8m / YOLOv9s (640×640) en millisecondes par image ;
2. IA Générative locale (LLM / VLM) : génération sur un modèle 7B–8B quantifié en INT4 / FP4 (tokens par seconde).

2. Analyse par plateforme : forces et limites réelles

2.1. NVIDIA Jetson Thor (et l’alternative Orin Nano Super)

• Ce qu’apporte Jetson Thor : Basé sur l’architecture GPU Blackwell et doté d’un Transformer Engine matériel en précision FP4/FP8 avec 128 Go de LPDDR5X, Jetson Thor délivre jusqu’à 2070 TFLOPS FP4 (soit environ 7,5× la puissance d’un Jetson AGX Orin). Il est dimensionné pour la robotique humanoïde (plateforme NVIDIA Isaac / GR00T), les systèmes embarqués autonomes et l’exécution simultanée de plusieurs modèles vision-langage (VLM) en temps réel.
• Limites en serveur domestique / Edge léger : Son enveloppe thermique (40 à 130 W) et son coût (~3 499 $) le destinent au secteur industriel. Pour bénéficier de la pile logicielle CUDA / TensorRT sur un budget et une consommation maîtrisés, le Jetson Orin Nano Super (67 TOPS, 8 Go, 7–25 W, ~249 $) reste beaucoup plus cohérent.

2.2. Hailo-10H vs Hailo-8 : l’accélération M.2 basse consommation

Les modules M.2 de Hailo s’insèrent directement dans un port PCIe NVMe d’un Mini-PC x86 ou d’un SBC (comme le Raspberry Pi 5 via un HAT PCIe) avec une consommation inférieure à 5 W :

• Hailo-8 (26 TOPS INT8) : Optimisé exclusivement pour la vision par ordinateur (CNN, YOLOv8/v9, ResNet, MobileNet). Avec une latence de 5 à 8 ms pour moins de 2,5 W, il absorbe 10 à 16 flux caméras 4K sous Frigate NVR sans solliciter le processeur hôte.
• Hailo-10H (40 TOPS INT4 / 20 TOPS INT8) : Contrairement au Hailo-8, le module Hailo-10H embarque sa propre mémoire LPDDR4X (4 à 8 Go) directement sur la carte M.2. Il peut ainsi faire tourner un LLM/VLM compact (Llama-2-7B, Qwen2-7B, Phi-3) à environ 10 tokens/s (avec un Time-To-First-Token inférieur à 1 seconde) ou générer une image Stable Diffusion 2.1 en moins de 5 secondes, tout en laissant le CPU et la RAM de la machine hôte totalement libres.

2.3. Intel OpenVINO (iGPU Iris Xe / Arc et NPU Core Ultra)

• Le standard pragmatique sur serveur x86 : Tout Mini-PC équipé d’un processeur Intel récent (N100, N305, Core i5/i7 de 12e à 15e génération ou Core Ultra avec NPU intégré) dispose déjà d’un accélérateur matériel supporté nativement par OpenVINO.
• Performances : En exposant simplement /dev/dri/renderD128 au conteneur Docker, l’iGPU exécute des modèles modernes (YOLOv9, MobileNetV2, CLIP) entre 7 et 11 ms par inférence, sans achat de carte fille ni pilote propriétaire hors-arbre (out-of-tree kernel module).

2.4. Google Coral Edge TPU : pourquoi il est obsolète en 2026

Longtemps incontournable pour la vidéosurveillance sous Frigate, le Google Coral (4 TOPS) ne doit plus être retenu pour un nouveau déploiement en 2026 :

1. Abandon de la pile logicielle : La bibliothèque libedgetpu et les bindings pycoral ne sont plus maintenus activement par Google (dépendances figées autour de Python 3.9 et du runtime TensorFlow Lite v1).
2. Incompatibilité avec les architectures modernes : Ses 8 Mo de SRAM et son compilateur statique INT8 ne prennent pas en charge les mécanismes d’attention (Transformers) ni certaines opérations des détecteurs récents (YOLOv8/v9/v11), provoquant un repli partiel sur le CPU qui dégrade la latence.
3. Instabilité matérielle de la variante USB : La version USB 3.0 est sujette aux déconnexions sur bus USB sous forte charge thermique, alors qu’un iGPU Intel ou un module PCIe Hailo offre une stabilité continue.

3. Matrice de choix selon votre cas d’usage

4. Intégration Docker Compose (OpenVINO vs Hailo)

Sous Linux, le passage d’un ancien Google Coral USB vers Intel OpenVINO ou Hailo PCIe dans un conteneur (ex. Frigate NVR) ne nécessite que quelques lignes :

services:
  frigate:
    image: ghcr.io/blakeblackshear/frigate:stable
    container_name: frigate
    restart: unless-stopped
    devices:
      # Option A : Intel iGPU / NPU (OpenVINO - sans pilote externe)
      - /dev/dri/renderD128:/dev/dri/renderD128
      # Option B : Module M.2 PCIe Hailo-8 ou Hailo-10H
      - /dev/hailo0:/dev/hailo0
    volumes:
      - ./config:/config
      - /etc/localtime:/etc/localtime:ro
    shm_size: "256mb"

Et dans le fichier config.yml correspondant :

# Exemple 1 : Détecteur Intel OpenVINO (iGPU / NPU)
detectors:
  ov:
    type: openvino
    device: GPU

# Exemple 2 : Détecteur Hailo PCIe (Hailo-8 / Hailo-10H)
# detectors:
#   hailo:
#     type: hailo8l
#     device: PCIe

Conclusion

En 2026, le choix d’un accélérateur Edge dépend avant tout de l’architecture des modèles ciblés :

• Google Coral (4 TOPS) appartient désormais à l’histoire des premiers réseaux convolutifs légers ;
• Intel OpenVINO et Hailo-8 couvrent 95 % des besoins de vision par ordinateur (NVR, détection d’objets) pour une consommation quasi nulle ;
• Hailo-10H ouvre l’exécution de modèles génératifs (LLM/VLM 7B) dans une enveloppe de 3,5 W au format M.2 ;
• NVIDIA Jetson Orin Nano Super et Jetson Thor restent imbattables dès que l’écosystème logiciel CUDA / TensorRT ou la robotique multi-modale lourde sont requis.