Modelos por tarefa
Todas as famílias que a biblioteca inclui, geradas a partir do registro de modelos v1.7.0: 115 famílias em 22 tarefas.
Detecção
47 famíliasCaixas ao redor dos objetos. A tarefa para a qual a maior parte da biblioteca foi feita.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
yolo9: t, s, m, c at 640 px; yolo9_p2: t, s at 640 px
n, s, m, l, x at 640 px
deim: n, s, m, l, x at 640 px
s, m, l, x at 640 px
rtdetr: r18, r34, r50, r50m, r101, l, x at 640 px; rtdetrv2: r18, r34, r50, r50m, r101 at 640 px; rtdetrv4: s, m, l, x at 640 px
s, m, l at 640 px
s, m, l at 800 px
s, m, l at 320 to 640 px
s, m, l, x at 640 px
t, s, m, l, x at 640 px
b at 640 px
n, t, s, m, l, x at 416 to 640 px
base, large at 768 px
e2b, e4b at 896 px
t, b at 800 px
1b, 2b, 8b at 448 px
224 at 224 px
450m, 3b at 512 px
3b at 2500 px
2, 3 at 384 to 512 px
t at 640 px
s, m, l at 640 px
b16, l14 at 960 to 1008 px
2b, 4b, 8b at 1024 px
7b at 1024 px
500m at 512 px
2b, 4b at 1440 px
resdcn18, dla34 at 512 px
r50ss, r50ssdc5, r50, r50refine, r50twostage at 800 px
r50, r50dc5, r101, r101dc5 at 800 px
r50, r50s5, swinl at 800 px
n, s, m, l at 320 to 800 px
r50 at 800 px
t, s, m, l, x at 640 px
r50 at 800 px
r50, r50v2 at 800 px
300 at 300 px
t, b at 448 px
t, b at 416 to 608 px
t, b, spp at 416 to 608 px
t, b at 416 to 608 px
Segmentação
15 famíliasMáscaras por instância em vez de caixas.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
n, s, m, l, x at 640 px
s, m, l, x at 640 px
t, s, m, l, x at 640 px
tiny at 1024 px
pico at 96 px
base, large, huge at 1024 px
large at 1008 px
7b at 1024 px
2b, 4b at 1440 px
s, b, l at 512 px
r50 at 800 px
Pontos-chave
7 famíliasEsqueletos e landmarks em cada instância detectada.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
s, m, l, x at 640 px
s, m, l at 640 px
7b at 1024 px
w32 at 640 px
Classificação
15 famíliasUm rótulo para a imagem inteira, e os backbones por trás de todo o resto.
t, s, b at 224 px
n, s, m, l at 518 px
b0, b1, b2, b3 at 224 to 300 px
s, m, l at 224 to 256 px
18, 34, 50, 101 at 224 px
l256, h256, g256, g384 at 256 to 384 px
b at 224 px
t, s, b, l at 224 px
16, 19, 16bn, 19bn at 224 px
ti, s, b, l at 224 px
t, s, b at 224 px
Caixas orientadas
4 famíliasCaixas rotacionadas, para imagens aéreas e tudo que não fica alinhado aos eixos.
n, s, m, l for detection and oriented boxes; n through xx for segmentation; x for pose
rtdetr: r18, r34, r50, r50m, r101, l, x at 640 px; rtdetrv2: r18, r34, r50, r50m, r101 at 640 px; rtdetrv4: s, m, l, x at 640 px
s, m, l at 640 px
Profundidade
8 famíliasDistância por pixel a partir de uma única imagem.
7b at 1024 px
l at 504 px
s, b, l, g at 518 px
b at 1024 px
s, l at 256 to 384 px
b, bnpu at 384 px
Segmentação semântica
10 famíliasUma classe para cada pixel, sem separar instâncias.
n, s, m, l at 518 px
s, b, l at 512 px
r50, r101 at 520 px
s, m, l at 1024 px
Segmentação panóptica
2 famíliasMáscaras semânticas e de instância em uma única passada.
7b at 1024 px
s, b, l at 512 px
Pontos e contagem
9 famíliasCentroides em vez de caixas, barato o suficiente para rodar em microcontroladores.
base, large at 768 px
3b at 2500 px
4b, 8b at 378 px
2, 3 at 384 to 512 px
2b, 4b, 8b at 1024 px
7b at 1024 px
2b at 1344 px
2b, 4b at 1440 px
Reconhecimento de texto
3 famíliasEncontrar e ler texto em uma imagem.
7b at 1024 px
2b, 4b at 1440 px
t, l at 960 px
Embeddings
7 famíliasVetores para busca, clustering e recuperação.
n, s, m, l at 518 px
l256, h256, g256, g384 at 256 to 384 px
l at 224 px
Olhar
1 famíliasPara onde uma pessoa está olhando.
r18, r34, r50, r101, r152 at 448 px
Detecção de bordas
3 famíliasContornos e limites.
Normais de superfície
3 famíliasPara que lado cada superfície aponta.
b at 1024 px
s, b, l at 518 px
Matting
5 famíliasRecortes com canal alfa, cabelo e bordas incluídos.
2b, 4b at 1440 px
b at 1024 px
t, l at 1024 px
l at 1024 px
s at 512 px
Restauração
7 famíliasRemoção de ruído, correção de desfoque e aumento de escala.
s, l at 256 px
t at 256 px
m2 at 64 px
x4, x2, x4t at 64 px
s, m, l at 64 px
Robot policies
1 famíliasAction chunks from camera observations and robot state.
smolvla: base at 512 px; act_policy: base at 224 px; diffusion_policy: base at 224 px
3D detection
4 famíliasCamera-frame cuboids from a single image.
h at 896 px
r101 at 1600 px
l at 1008 px
Image generation
2 famíliasAn image from a text prompt, with the seed that makes it again.
4b at 1024 px
3D generation
1 famíliasThe whole object as 3D Gaussian splats, from one picture of it.