原文：YOLOv8新版本支持实时检测Transformer（RT-DETR）、SAM分割一切 - 知乎 (zhihu.com)
 

一、SAM

分割任何模型 （Segment Anything Model - SAM） 是一种突破性的图像分割模型，可实现具有实时性能的快速分割。

项目地址

https://github.com/facebookresearch/segment-anything​github.com/facebookresearch/segment-anything

demo测试

Segment Anything​segment-anything.com/demo#​编辑

SAM 在一系列分割任务中表现出卓越的零样本性能，开箱即用，可针对各种应用进行快速工程设计。

SAM 可用于各种视觉场景下游任务，涉及训练数据之外的对象和图像分布。包括边缘检测、对象推荐生成、实例分割和初级文本到掩码预测。通过采用提示工程，SAM可以零样本的方式适应新任务和数据分布，使其成为图像分割任务的多功能和强大工具。

二、YOLOv8中使用SAM模型

当前YOLOv8支持两种SAM模型，分别是base与large版本SAM模型。

以base模型为例，基于YOLOv8框架，SAM实现推理图像分割一切

from ultralytics import SAM


model = SAM('sam_b.pt') # 第一次运行会自动下载sam_b.pt

model.info()

result = model.predict('1.jpeg')

分割后的结果：

YOLOV8自动实例分割标注

from ultralytics.yolo.data.annotator import auto_annotate


# 自动实例分割标注
auto_annotate(data='images', det_model='yolov8x.pt', sam_model='sam_b.pt')

会在label文件下生成实例标注信息

三、RT-DERT

RT-DETR是一种实时目标检测模型，它结合了两种经典的目标检测方法：Transformer和DETR（Detection Transformer）。

超越YOLOv8，飞桨推出精度最高的实时检测器RT-DETR！​mp.weixin.qq.com/s/o03QM2rZNjHVto36gcV0Yw​编辑

code:

https://github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rtdetr​github.com/PaddlePaddle/PaddleDetection/tree/develop/configs/rtdetr