我花了一整晚,终于把视频里的人像”干干净净”抠出来了

封面

上周三晚上,我接到一个活儿:把一段舞蹈视频里的人物抠出来,换一个干净的背景。

听起来很简单对吧?

我打开Premiere,用了Roto Brush,逐帧调了两个小时。头发丝全糊了,裙摆边缘像被狗啃过一样。

然后我试了某在线抠图工具。上传视频,等了5分钟,结果人物边缘闪烁得像迪厅灯光球——每一帧的抠像边界都在抖动,根本没法用。

我当时的心情可以用四个字形容:崩溃边缘。

直到凌晨1点,我在GitHub上刷到了一个叫 MatAnyone2 的项目。

这东西到底是什么?

MatAnyone2效果展示

MatAnyone2 是南洋理工大学 S-Lab 和商汤科技联合开发的视频人像抠像框架,今年刚被 CVPR 2026 收录——这是计算机视觉领域的顶级会议。

它做的事情说白了就是一件:把视频里的人,连头发丝、薄纱、烟雾这些半透明的细节,都完整地抠出来。

你可能会说,这不就是绿幕干的事吗?

对,但关键是——不需要绿幕。

随便一段手机拍的视频,哪怕背景乱七八糟,它都能把人干干净净地提取出来。

第一次用,我震惊了

我下载好模型,打开 Gradio 界面,拖入那段让我崩溃了一晚上的舞蹈视频。

操作流程极其简单:

  1. 1. 上传视频
  2. 2. 在第一帧上点几下,标记出要抠的人物
  3. 3. 点击”Video Matting”

操作演示

然后我就等着。

大概两分钟后(我的显卡是3080),结果出来了。

我点开 alpha 通道视频一看——头发丝是头发丝,裙摆是裙摆,连手指之间的缝隙都抠得明明白白。

说实话,那一刻我的感受就是:我之前那两个小时的Roto Brush是在干什么?

凭什么它能做到这么好?

MatAnyone1 vs 2对比

研究了一下论文,我发现 MatAnyone2 有一个核心创新,叫 MQE(Matting Quality Evaluator,抠像质量评估器)。

说人话就是——模型自己有一个”内部质检员”。

传统的视频抠像模型都是拿合成数据训练的:找一个人物前景,找一个背景,合成在一起,模型学着把人扣回来。但问题是,合成的数据和真实世界差距太大了。一到复杂场景——风吹头发、光线变化、快速运动——模型就懵了。

MatAnyone2 的做法是:让模型自己评估”我抠得好不好”。MQE会生成一个像素级的质量地图,标出哪些区域抠得准、哪些区域有问题。训练的时候,模型只学习那些”抠得好”的区域,忽略有问题的部分。

靠这个机制,研究团队构建了一个叫 VMReal 的数据集——28000个视频片段,240万帧,全是真实世界的视频。

这就是为什么它在真实视频上效果这么好:因为它就是用真实视频训练出来的。

实际效果展示

下面是一些测试样本,你感受一下抠像的精细程度:

测试样本1 测试样本2 测试样本3

注意看头发边缘和半透明区域。这不是”分割”(非黑即白的二值蒙版),而是真正的”matting”——每个像素都有精确的透明度值。

这意味着你把抠出来的人物放到任何新背景上,都不会出现那种尴尬的”贴纸感”。

它还支持多人抠像

你没看错——可以在同一个视频里标记多个人物,分别抠出来。这对做视频合成、特效的人来说简直是福音。

怎么用?

硬件要求

  • • NVIDIA显卡(建议8GB显存以上)
  • • 支持CUDA

最简单的用法(命令行)

python inference_matanyone2.py -i your_video.mp4 -m your_mask.png -o results/

输入一个视频和第一帧的蒙版,输出两个文件:前景视频(绿幕背景)和 alpha 通道视频。

交互式界面(推荐新手)

启动 Gradio 界面后,所有操作都可以用鼠标完成。内置了 SAM(Segment Anything Model),点几下就能生成蒙版,不需要提前准备。

Python API

from matanyone2 import MatAnyone2, InferenceCore

model = MatAnyone2.from_pretrained("PeiqingYang/MatAnyone2")
processor = InferenceCore(model, device="cuda:0")
processor.process_video(
    input_path="your_video.mp4",
    mask_path="your_mask.png",
    output_path="results",
)

三行代码搞定。可以直接集成到你自己的工作流里。

和其他工具对比

工具 头发丝细节 时间一致性 半透明区域 是否需要绿幕
Premiere Roto Brush 手动调,累死人 还行 很差 不需要
在线抠图工具 一般 很差(闪烁) 不支持 不需要
传统绿幕 好 好 好 需要
MatAnyone2 极好 极好 极好 不需要

数据管线:为什么它能持续进化

数据管线

MatAnyone2 的数据管线设计得很聪明。MQE 不只是用来训练的——它还负责”策展”数据。多个不同的抠像模型分别处理同一段视频,MQE 从每个模型的结果中挑出最好的区域,拼成一个更高质量的标注。

这意味着随着更多模型和数据的加入,标注质量会持续提升。这不是一个静态的工具,而是一个能自我进化的系统。

写在最后

说实话,做了这么多年视频后期,我见过太多”一键抠图”的工具了。大多数都是噱头——demo看着好,实际用起来一塌糊涂。

但MatAnyone2确实不一样。

它不是”差不多就行”的分割,而是真正的matting——像素级的透明度估计。它不是靠合成数据硬凑的,而是用240万帧真实视频训练出来的。

如果你做短视频、做影视后期、做虚拟直播,或者就是想把自己拍的视频换个好看的背景——试试这个。

它可能会改变你对”视频抠像”这件事的认知。

项目地址:https://github.com/pq-yang/MatAnyone2

在线体验:https://huggingface.co/spaces/PeiqingYang/MatAnyone2

一键部署包下载:https://xueshu.fun/7259

 

会员分体验会员和永久会员,都可以免费下载本站所有课程、软件等资源。

体验会员状态的刷新时间为北京时间上午8:00。AI软件下载后可以永久使用,与会员有效期无关。

本站所有资源支持免费更新,具体规则如下:

  • 登录后单独购买的资源,可以永久免费更新,无时间限制
  • 购买体验会员的用户,在会员到期后,下载的内容将无法继续获得更新
  • 购买永久会员的用户,可以永久免费更新,无时间限制

由于商品的特殊性,本站不支持退款,所以在开通会员之前,请确认你的需求。如果不放心,可以开通体验会员体验,满意再升级其他会员套餐。

从2019年开始已经运行3年多时间,诚信经营,会员过万,所有数据均有3级容灾备份,不存在安全问题。

碰到问题可优先查看文章教程。AI软件相关问题,请先检查自己机器是否为N卡,除非特别注明支持A卡或者CPU,一般默认只支持N卡运行,有些软件需要安装 CUDA 才能运行,请参考CUDA安装教程。其他售前售后问题请添加学术Fun公众号,站长每天上午8-9点,晚上7-8点时间段统一回复解决问题,其他时间看到留言也会第一时间解决。