强大的开源实时视频抠图工具，头发丝也能完整保留

admin

       BackgroundMattingV2 是华盛顿大学几位研究员提出的一种实时、高分辨率的背景替换技术，能保留头发细节，效果惊人，是基于 Python 实现的。在 4K 分辨率下，该技术的运行速度为 30fps，在现代 GPU 上，高清的运行速度为 60fps。该技术是基于背景抠图，其中一帧额外的背景被捕获并用于恢复前景蒙版和前景层。
! O% ]" ^5 E0 Y0 _
项目源码地址：
) e; t/ X8 n, z0 ]) bhttps://github.com/PeterL1n/BackgroundMattingV2
项目依赖库：
  kornia==0.4.1
5 y" |* h: j  c! ~9 I  tensorboard==2.3.0
  torchvision==0.8.1
  tqdm==4.51.0
( C. H) A7 R3 e5 x! g+ Y  opencv-python==4.4.0.44
  onnxruntime==1.6.0
9 @$ z% b1 \0 ~& {开发者提供的一些文件资源（国内需木弟子）：
1、下载模型/权重文件
$ @- O& M( f) |5 i7 F& H% Shttps://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing
! N2 a; Y" I7 r8 p5 \4 j2、用于练习的视频和图片文件
3 M. f1 Z% t$ U* R; \8 ~6 h  U) H; EHD视频：
https://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq
) g/ G, b3 t% B) ?4K视频和图片：
2 P6 j( Q' k  O( z  r) H/ r+ I& Whttps://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing
. i: A+ i. H$ S1 T6 I项目demo脚本介绍:
3 P: G$ x* v% f, }* {, a- Einference_images.py：用于图片中的背景替换，用法如下：
python inference_images.py
--model-type mattingrefine
" l  x& j' Y! x/ j2 }4 `0 f6 ]--model-backbone resnet50
--model-backbone-scale 0.25
--model-refine-mode sampling
6 [: z4 z9 v: U" F' H--model-refine-sample-pixels 80000
--model-checkpoint "PATH_TO_CHECKPOINT"
--images-src "PATH_TO_IMAGES_SRC_DIR"
+ R/ I8 B& ?  c7 a- e3 f7 u--images-bgr "PATH_TO_IMAGES_BGR_DIR"
--output-dir "PATH_TO_OUTPUT_DIR"
  z4 O# G0 L# R2 E--output-type com fgr pha
inference_video.py: 用于视频中的背景替换，用法如下：
python inference_video.py
--model-type mattingrefine
7 [7 p! Z3 M( }9 k) D" {. ^1 `6 Y5 ~--model-backbone resnet50
$ ?  v! k- @/ q. i# o--model-backbone-scale 0.25
--model-refine-mode sampling
! F  A  k& S' ?, A# Z6 ?4 W1 j) {--model-refine-sample-pixels 80000
" W: k' _6 h3 v; b5 L: E7 s8 ~7 G--model-checkpoint "PATH_TO_CHECKPOINT"
--video-src "PATH_TO_VIDEO_SRC"
--video-bgr "PATH_TO_VIDEO_BGR"
--video-resize 1920 1080
9 _; \1 L" R; S+ K$ H6 @) m1 m--output-dir "PATH_TO_OUTPUT_DIR"
" x6 W& p4 D9 ?: k% K--output-type com fgr pha err ref
inference_webcam.py：用于使用网络摄像头下的交互式背景替换，用法如下：
python inference_webcam.py
--model-type mattingrefine
1 N; L* b4 u' b0 W9 P; t3 r--model-backbone resnet50
--model-checkpoint "PATH_TO_CHECKPOINT"
--resolution 1280 720
虚拟摄像机
4 N+ G0 Z/ d: k1 @. P) G- i6 j       开发者提供了一个应用插件，通过他们的模型将网络摄像头视频输送到一个虚拟摄像头。该插件仅适用于Linux系统，可以在Zoom视频会议软件中使用。更多详情请查看:
$ a# ?* ^/ ^0 ?: z* \% ^- n7 [https://github.com/andreyryabtsev/BGMv2-webcam-plugin-linux
3 b; S0 Z, g, Z- w& d+ |在Google Colab上体验
       另外，开发者还提供了Google Colab的体验地址（国内需要木弟子），可以体验替换图片和视频中的背景。
1、图片背景替换体验地址：
. x% s' ^4 U' U* J# j& y  whttps://colab.research.google.com/drive/1cTxFq1YuoJ5QPqaTcnskwlHDolnjBkB9?usp=sharing
2、视频背景替换体验地址：
https://colab.research.google.com/drive/1Y9zWfULc8-DDTSsCH-pX6Utw8skiJG5s?usp=sharing
; g( s+ P4 _: k$ Q( V' i+ w) n附上开发者提供的项目演示视频：
: s8 J0 B" H+ ^: d

% z9 ?: |1 S- b3 a+ i+ x