Este é um kit de ferramentas para reconhecimento de AprilTag baseado na biblioteca pupil-apriltags, utilizado para detecção e rastreamento de AprilTags em câmeras.
Deutsch | English | Español | français | 日本語 | 한국어 | Português | Русский | 中文
pip install opencv-python numpy pupil-apriltags
import cv2
from apriltag import Detector, DetectorOptions
# 创建检测器
options = DetectorOptions(
families="tag36h11", # 标签家族
border=1, # 标签边框大小
nthreads=4, # 线程数量
quad_decimate=1.0, # 图像下采样系数
quad_blur=0.0, # 高斯模糊系数
refine_edges=True # 是否精细化边缘
)
detector = Detector(options)
# 读取图像
img = cv2.imread("test_image.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 检测AprilTag
detections = detector.detect(gray)
# 显示检测结果
for detection in detections:
print(f"标签家族: {detection.tag_family}, ID: {detection.tag_id}")
print(f"位置: {detection.center}")
print(f"角点: {detection.corners}")
import numpy as np
from apriltag import draw_detection_results
# 相机内参矩阵和畸变系数
K = np.array([[800, 0, 320], [0, 800, 240], [0, 0, 1]], dtype=np.float32)
D = np.zeros((4, 1), dtype=np.float32)
# 绘制检测结果
result_img = draw_detection_results(img, detections, K, D, tag_size=0.1)
# 显示结果
cv2.imshow("AprilTag检测", result_img)
cv2.waitKey(0)
Um script de teste simples é fornecido para validar a funcionalidade de detecção de AprilTag:
python test_apriltag.py
Isso abrirá a câmera padrão do computador e detectará AprilTags em tempo real. Pressione "q" para sair.
A biblioteca pupil-apriltags suporta as seguintes famílias de tags:
A biblioteca C do AprilTag é obrigatória. Siga estes passos para instalar:
sudo apt-get update
sudo apt-get install -y libapriltag-dev
Usuários do Windows precisam compilar manualmente ou baixar binários pré-compilados, garantindo que apriltag.dll esteja no PATH do sistema ou no diretório atual.
pip install -r requirements.txt -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
pip install pupil-apriltags -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple
A forma mais simples de uso é executar a ferramenta integrada, que fornece um menu interativo para guiá-lo por todas as etapas:
python apriltag_tool.py
Esta ferramenta oferece opções de menu:
Basta seguir as instruções do menu para completar todo o processo.
Antes de usar a detecção de AprilTag, recomenda-se calibrar a câmera para obter parâmetros precisos:
# 首先生成棋盘格标定板
python create_chessboard.py --size 9x6 --square 100 --output chessboard.png --dpi 300
# 打印棋盘格并测量实际方格大小，然后进行标定
python camera_calibration.py --size 9x6 --square 0.025 --output config/camera/HSK_200W53_1080P.yaml
Explicação dos parâmetros:
Ferramenta de Geração de Tabuleiro (create_chessboard.py):
--size: Número de cantos internos do tabuleiro, largura x altura (padrão: 9x6)--square: Tamanho do quadrado, em pixels (padrão: 100)--output: Caminho do arquivo de saída (padrão: chessboard.png)--dpi: DPI da imagem de saída (padrão: 300), afeta o tamanho de impressãoPrograma de Calibração da Câmera (camera_calibration.py):
--size: Número de cantos internos do tabuleiro, largura x altura (padrão: 9x6)--square: Tamanho do quadrado do tabuleiro, em metros (padrão: 0.025)--output: Caminho do arquivo de saída (padrão: config/camera/HSK_200W53_1080P.yaml)--camera: ID do dispositivo da câmera (padrão: 0)--width: Largura de captura da câmera (padrão: 1280)--height: Altura de captura da câmera (padrão: 720)--samples: Número de amostras necessárias para calibração (padrão: 20)--preview: Visualizar efeito de correção após a calibraçãoProcesso de calibração:
Após a calibração, execute o programa de detecção de AprilTag:
python apriltag_detector.py
python apriltag_detector.py [配置文件路径] --camera 相机ID --width 宽度 --height 高度 --camera_info 相机参数文件
Explicação dos parâmetros:
Caminho do arquivo de configuração: Caminho do arquivo de configuração do AprilTag (padrão: config/vision/tags_36h11_all.json)--camera: ID do dispositivo da câmera (padrão: 0)--camera_info: Caminho do arquivo de parâmetros intrínsecos da câmera (padrão: config/camera/HSK_200W53_1080P.yaml)--width: Largura de captura da câmera (padrão: 1280)--height: Altura de captura da câmera (padrão: 720)q: Sair do programaTodas as configurações do sistema podem ser definidas no arquivo config/vision/table_setup.json:
{
"AprilTagConfig": {
"family": "tag36h11", // 标签家族
"size": 0.05, // 标签物理尺寸（单位：米）
"threads": 2, // 处理线程数
"max_hamming": 0, // 最大汉明距离
"z_up": true, // Z轴朝上
"decimate": 1.0, // 图像下采样系数
"blur": 0.8, // 模糊系数
"refine_edges": 1, // 是否精细化边缘
"debug": 0 // 是否打开调试
},
"Camera": {
"device_id": 0, // 相机设备ID
"width": 1280, // 相机宽度分辨率
"height": 720, // 相机高度分辨率
"camera_info_path": "config/camera/HSK_200W53_1080P.yaml" // 相机标定参数文件
},
"Archive": {
"enable": true, // 是否启用数据存档
"preview": true, // 是否显示预览窗口
"save_raw": false, // 是否保存原始图像
"save_pred": false, // 是否保存预测图像
"path": "./data/table_tracking" // 数据保存路径
},
"TableConfig": {
"reference_tags": [0, 1, 2, 3], // 参考标签ID列表
"moving_tags": [4, 5, 6], // 移动标签ID列表
"require_initialization": true, // 是否需要初始化
"tag_positions": { // 预设标签位置（如果有）
"0": [0.0, 0.0, 0.0],
"1": [0.5, 0.0, 0.0],
"2": [0.5, 0.5, 0.0],
"3": [0.0, 0.5, 0.0]
}
}
}
Através da modificação do arquivo de configuração, é possível:
require_initialization como false para pular a etapa de inicialização)Muito simples, basta um comando para iniciar o sistema:
python table_tracking.py
Se necessário usar um arquivo de configuração personalizado:
python table_tracking.py --config 自定义配置文件路径
Após iniciar o sistema, pressione 'i' para acionar manualmente o processo de inicialização a qualquer momento.
Biblioteca apriltag não encontrada
Certifique-se de que a biblioteca apriltag está instalada corretamente e que os arquivos da biblioteca podem ser encontrados no sistema.
Câmera não consegue abrir
Verifique se o ID do dispositivo da câmera está correto e se a câmera não está sendo usada por outro programa.
Resultados de detecção imprecisos
Certifique-se de que sua câmera está calibrada corretamente e que o tamanho das tags no arquivo de configuração está correto.
apriltag_standalone/
├── apriltag.py # AprilTag检测库核心代码
├── apriltag_detector.py # AprilTag检测主程序
├── apriltag_tool.py # 集成工具启动菜单
├── camera_calibration.py # 相机标定程序
├── create_chessboard.py # 棋盘格生成工具
├── configs.py # 配置文件处理
├── config/ # 配置目录
│ ├── camera/ # 相机配置
│ │ └── HSK_200W53_1080P.yaml # 相机参数
│ └── vision/ # 视觉配置
│ └── tags_36h11_all.json # AprilTag配置
├── README.md # 说明文档
└── requirements.txt # Python依赖
Este projeto é uma versão independente portada do pacote ROS AprilTag, removendo dependências do ROS mas mantendo as funcionalidades principais. Utiliza as seguintes tecnologias:
Este projeto está licenciado sob a licença MIT
O sistema agora suporta as seguintes novas funcionalidades:
Inicialização por Foto: Após iniciar, o sistema fará automaticamente uma foto de inicialização, registrando a relação de posição das tags, incluindo:
Tratamento de Oclusão: Após inicialização, mesmo que algumas tags estejam ocluídas:
Rastreamento Múltiplo de Tags: Suporte para rastrear múltiplas tags móveis simultaneamente, padrão para IDs 4,5,6
Todas as configurações do sistema podem ser definidas no arquivo config/vision/table_setup.json:
{
"TableConfig": {
"reference_tags": [0, 1, 2, 3], // 参考标签ID列表
"moving_tags": [4, 5, 6], // 移动标签ID列表
"require_initialization": true, // 是否需要初始化
"tag_positions": { // 预设标签位置（如果有）
"0": [0.0, 0.0, 0.0],
"1": [0.5, 0.0, 0.0],
"2": [0.5, 0.5, 0.0],
"3": [0.0, 0.5, 0.0]
}
}
}
Através da modificação do arquivo de configuração, é possível:
require_initialization como false para pular a etapa de inicialização)Inicie o sistema com configuração padrão:
python table_tracking.py
Inicie o sistema com arquivo de configuração personalizado:
python table_tracking.py --config caminho_do_arquivo_personalizado
Inicialização manual: Pressione 'i' durante a execução do sistema
Certifique-se de que todas as tags estejam visíveis durante a inicialização, o sistema registrará a relação de posição entre elas. Após inicialização, mesmo com oclusão parcial, o sistema conseguirá estimar corretamente a posição de todas as tags.