强大的开源实时视频抠图工具，头发丝也能完整保留

admin

       BackgroundMattingV2 是华盛顿大学几位研究员提出的一种实时、高分辨率的背景替换技术，能保留头发细节，效果惊人，是基于 Python 实现的。在 4K 分辨率下，该技术的运行速度为 30fps，在现代 GPU 上，高清的运行速度为 60fps。该技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复前景蒙版和前景层。
' o" [( ?+ r/ l7 |& z
项目源码地址：
https://github.com/PeterL1n/BackgroundMattingV2
+ u9 d8 o& z5 ^0 ~8 T* Q项目依赖库：
  kornia==0.4.1
3 ~% V8 `  ?0 `4 T  tensorboard==2.3.0
  torchvision==0.8.1
  X3 P0 \( |4 u* H. `6 Z* |  tqdm==4.51.0
  opencv-python==4.4.0.44
  onnxruntime==1.6.0
, L& e% R+ E, G* M% r开发者提供的一些文件资源（国内需木弟子）：
8 b' w" F* I0 h: L* L! t1、下载模型/权重文件
https://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing
$ ~8 O# h) @/ {2、用于练习的视频和图片文件
1 V! M# Z' d% e. x4 W5 OHD视频：
https://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq
4K视频和图片：
https://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing
4 R! W, e8 d( ]; G项目demo脚本介绍:
! E2 S5 H. v! t1 e/ ninference_images.py：用于图片中的背景替换，用法如下：
' h" }' k: W  @- spython inference_images.py
--model-type mattingrefine
0 S( ^; }0 }8 @& g--model-backbone resnet50
7 x( A5 a' T# m3 j4 h--model-backbone-scale 0.25
--model-refine-mode sampling
+ ?5 V. l: P2 ]$ f--model-refine-sample-pixels 80000
--model-checkpoint "PATH_TO_CHECKPOINT"
! [5 p4 L/ C* B1 X2 e! j( k; _--images-src "PATH_TO_IMAGES_SRC_DIR"
2 c8 u3 K8 ?# p$ `% ?--images-bgr "PATH_TO_IMAGES_BGR_DIR"
--output-dir "PATH_TO_OUTPUT_DIR"
--output-type com fgr pha
inference_video.py: 用于视频中的背景替换，用法如下：
5 Y. i. k& }) l+ \python inference_video.py
& |( m) _' D1 o* q/ g# y, _7 M4 I! ^--model-type mattingrefine
--model-backbone resnet50
5 v; r& b  M" g2 f--model-backbone-scale 0.25
8 c  Y; ^' Y" L- g- I--model-refine-mode sampling
1 [! m/ `6 k+ Z! P8 ]5 A  f--model-refine-sample-pixels 80000
# q* {8 V; v; m& I0 T--model-checkpoint "PATH_TO_CHECKPOINT"
--video-src "PATH_TO_VIDEO_SRC"
' b1 H% e9 T5 c+ {( e! n$ x) ]& E& ^--video-bgr "PATH_TO_VIDEO_BGR"
--video-resize 1920 1080
/ Y# x) t! l% t, D--output-dir "PATH_TO_OUTPUT_DIR"
--output-type com fgr pha err ref
+ A1 o5 w1 O. j% v- p' H# kinference_webcam.py：用于使用网络摄像头下的交互式背景替换，用法如下：
: U$ F# n. G& P3 b, E# Wpython inference_webcam.py
--model-type mattingrefine
9 o. L4 ]% Y! u; b$ Y& y9 [: W--model-backbone resnet50
/ L2 U$ s, t" u! Y. w; d--model-checkpoint "PATH_TO_CHECKPOINT"
--resolution 1280 720
虚拟摄像机
       开发者提供了一个应用插件，通过他们的模型将网络摄像头视频输送到一个虚拟摄像头。该插件仅适用于Linux系统，可以在Zoom视频会议软件中使用。更多详情请查看:
https://github.com/andreyryabtsev/BGMv2-webcam-plugin-linux
在Google Colab上体验
/ j9 s, ^. I- F. V! ^! }       另外，开发者还提供了Google Colab的体验地址（国内需要木弟子），可以体验替换图片和视频中的背景。
1、图片背景替换体验地址：
7 s/ n, q% `/ d+ @  p8 `' H* y7 h' Mhttps://colab.research.google.com/drive/1cTxFq1YuoJ5QPqaTcnskwlHDolnjBkB9?usp=sharing
2、视频背景替换体验地址：
https://colab.research.google.com/drive/1Y9zWfULc8-DDTSsCH-pX6Utw8skiJG5s?usp=sharing
, ]8 H  K; O0 N( r( m* x附上开发者提供的项目演示视频：
* N( I( @  |8 B" ?; ~! ?5 l7 _0 h

: V4 u  R) L5 m9 C1 P1 S