Jornal do Dev

Inferência DLA nativa em Python no Jetson AGX Orin

Hardware & ChipsEdição nº 18

Run Native DLA Inference in Python on NVIDIA Jetson AGX Orin Using cuDLA

NVIDIA publicou um guia para rodar inferência nativa no Deep Learning Accelerator (DLA) em Python no Jetson AGX Orin usando a biblioteca cuDLA.

A NVIDIA publicou um guia mostrando como rodar inferência DLA nativa em Python no Jetson AGX Orin usando a camada cuDLA exposta pelo pacote cuda-bindings (introduzido em cuda-bindings 13.3.0). O post descreve um ciclo de inferência em nove etapas — inicializar CUDA, criar um dispositivo DLA em modo híbrido, carregar um loadable compilado, introspectar descritores de tensor, alocar buffers GPU, registrá‑los para DLA, copiar entradas pré‑processadas, submeter a tarefa numa CUDA stream e sincronizar para ler resultados — e explica que JetPack (a partir da versão mencionada) fornece libcudla.so no dispositivo. O exemplo de compilação usa TensorRT 11.4.1 com CUDA 13.4 Update 1 em JetPack 7.2.2 e recomenda pip install "cuda-bindings>=13.3.0"; o mínimo de Python é 3.10 (o texto mostra como instalar Python 3.12 se preciso). Nem todas as camadas são compatíveis com DLA; prepare pipeline para compilar loadables, ajustar o ONNX quando necessário e tratar erros (por exemplo, create_device pode lançar CudlaError(ErrorUnsupportedOperation)).

Desenvolvedor em bancada olhando esperançoso para um laptop; uma placa compacta com um pequeno chip está ao lado e uma caixa binária selada aguarda numa esteira para ser inserida.
Close up da placa mostrando o pequeno chip acelerador; uma mão com luva insere uma caixa binária em um slot. Um tablet exibe blocos coloridos fluindo por uma linha única, primeiro por núcleos pesados e depois pelo motor menor.
Cena de triunfo: dois pequenos robôs representam tarefas de inferência — um trabalha no chip acelerador e outro, agora liberado, realiza tarefas leves junto ao módulo GPU. O desenvolvedor relaxa sorrindo.

Quadrinho 1 de 3

  • #jetson
  • #cuda
  • #dla
  • #embedded

Ver a edição completa