QQ登录

只需要一步,快速开始

APP扫码登录

只需要一步,快速开始

查看: 5907|回复: 0

[Python] 强大的开源实时视频抠图工具,头发丝也能完整保留

[复制链接]

等级头衔

积分成就    金币 : 2861
   泡泡 : 1516
   精华 : 6
   在线时间 : 1328 小时
   最后登录 : 2026-5-15

丰功伟绩

优秀达人突出贡献荣誉管理论坛元老活跃会员

联系方式
发表于 2021-1-11 15:08:16 | 显示全部楼层 |阅读模式
       BackgroundMattingV2 是华盛顿大学几位研究员提出的一种实时、高分辨率的背景替换技术,能保留头发细节,效果惊人,是基于 Python 实现的。在 4K 分辨率下,该技术的运行速度为 30fps,在现代 GPU 上,高清的运行速度为 60fps。该技术是基于背景抠图,其中一帧额外的背景被捕获并用于恢复前景蒙版和前景层。
) u0 ]& i: {0 {8 D5 @9 n" u1 x 1.jpg
4 X  W/ J# z% y) H5 X9 \项目源码地址:
( b) K3 c" y3 c$ C) k  r7 D" p0 zhttps://github.com/PeterL1n/BackgroundMattingV2& w" Q$ S9 X( [5 M/ |
项目依赖库:" T* t4 L; w& w. G
  kornia==0.4.1
( n: |+ |9 q4 P. }  tensorboard==2.3.01 \; _" g" m+ b& [3 t" Z, i; `
  torchvision==0.8.1
1 L& e1 m: C5 j  tqdm==4.51.0& w; u; l1 l5 w1 l# \
  opencv-python==4.4.0.445 A" C7 U8 U! T. i
  onnxruntime==1.6.05 q1 I0 j0 @7 K  F3 s2 z( M& I
开发者提供的一些文件资源(国内需木弟子):: l, ~* i3 r2 ~
1、下载模型/权重文件
- M0 w+ C/ P7 N& chttps://drive.google.com/drive/folders/1cbetlrKREitIgjnIikG1HdM4x72FtgBh?usp=sharing
" B* h3 e0 X1 h$ |  U2、用于练习的视频和图片文件, C6 d% G1 N. ~0 \1 z  [# b7 }
HD视频:
/ R2 i( ]4 L4 t1 i  chttps://drive.google.com/drive/folders/1j3BMrRFhFpfzJAe6P2WDtfanoeSCLPiq
0 A8 O1 A- a$ i% D/ Y9 k" \& Z4K视频和图片:
) B& x, J/ X) A7 A. Ihttps://drive.google.com/drive/folders/16H6Vz3294J-DEzauw06j4IUARRqYGgRD?usp=sharing
2 h% h2 c$ l8 x" |9 H& \7 d9 `项目demo脚本介绍:# @. R! _+ _. X3 v
inference_images.py:用于图片中的背景替换,用法如下:
3 i& ^5 C5 b; }. \! K+ hpython inference_images.py
9 @  n1 L% V% p4 W& p9 o) e' W--model-type mattingrefine2 g( \  q" Y2 n
--model-backbone resnet50
* M7 N$ \; @* o--model-backbone-scale 0.25
" A' {' ^8 X; F  L4 P  |4 m--model-refine-mode sampling
, {2 n. H: X% K8 s- x2 U--model-refine-sample-pixels 80000/ e& f* V) ]7 u4 J6 @. B
--model-checkpoint "PATH_TO_CHECKPOINT"9 O9 p+ m* \/ J
--images-src "PATH_TO_IMAGES_SRC_DIR"/ q) l9 {% i8 ^. U$ l
--images-bgr "PATH_TO_IMAGES_BGR_DIR") V: W& Q5 |: C7 m1 B! w7 L
--output-dir "PATH_TO_OUTPUT_DIR"$ |5 h: ^9 H9 L
--output-type com fgr pha
7 K$ m/ h( y0 I4 o. ~8 W0 r) xinference_video.py: 用于视频中的背景替换,用法如下:+ H3 T1 F. d! V4 \' P5 E
python inference_video.py
- A: [  M0 h4 _8 U+ Y3 h--model-type mattingrefine " P, o! _- Z# E4 s1 F. i
--model-backbone resnet50 7 U' k0 |3 q* v
--model-backbone-scale 0.25
7 f" L- c8 I! L) @) C--model-refine-mode sampling ; Y2 @9 B" V! z
--model-refine-sample-pixels 80000 ; _6 N  }9 S) o% o8 ~1 J- d
--model-checkpoint "PATH_TO_CHECKPOINT" 5 B/ `" e7 Z5 M: P4 Q
--video-src "PATH_TO_VIDEO_SRC"
/ Y/ P+ v$ K% i! |. i--video-bgr "PATH_TO_VIDEO_BGR" . T, E! ~0 _) X
--video-resize 1920 1080
  P3 d! B+ O4 N1 {* [5 r--output-dir "PATH_TO_OUTPUT_DIR" 0 B" T6 a. N6 Q0 U
--output-type com fgr pha err ref2 I# Z* ]* Z; z. U& W5 p
inference_webcam.py:用于使用网络摄像头下的交互式背景替换,用法如下:
* m+ r; k0 i1 z$ \. G: Fpython inference_webcam.py ) [; H/ t- y6 D
--model-type mattingrefine 1 U8 w4 n/ @9 g) Y) \7 g, s
--model-backbone resnet50 & i6 r: d0 @$ j' r9 F5 \( ?  h
--model-checkpoint "PATH_TO_CHECKPOINT"
/ _( ]: \! T) _' W% X--resolution 1280 720
5 U, O& f( X0 J" f0 m虚拟摄像机) E; |5 z/ h5 h( _; u$ i( N9 _
       开发者提供了一个应用插件,通过他们的模型将网络摄像头视频输送到一个虚拟摄像头。该插件仅适用于Linux系统,可以在Zoom视频会议软件中使用。更多详情请查看:
: V: \& |( x: Z2 q6 d9 G% fhttps://github.com/andreyryabtsev/BGMv2-webcam-plugin-linux) I( J0 P) M9 ]- T: j! u
在Google Colab上体验+ t  B' J) }. b3 i  J
       另外,开发者还提供了Google Colab的体验地址(国内需要木弟子),可以体验替换图片和视频中的背景。0 Q. X$ G3 S7 i1 c) o4 `# {
1、图片背景替换体验地址:. y* C! J- W2 x: V0 o, x
https://colab.research.google.com/drive/1cTxFq1YuoJ5QPqaTcnskwlHDolnjBkB9?usp=sharing: s2 p( X7 s: r' L, Q9 z
2、视频背景替换体验地址:6 y4 {8 @. x& [+ k6 K' E( o" y
https://colab.research.google.com/drive/1Y9zWfULc8-DDTSsCH-pX6Utw8skiJG5s?usp=sharing
% m$ G" V1 n( [! j3 g附上开发者提供的项目演示视频:
$ ^0 n5 r( C6 W

, y5 e6 N( U( b  A1 u" {. g- Q5 M
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|paopaomj.COM ( 渝ICP备18007172号|渝公网安备50010502503914号 )

GMT+8, 2026-7-13 05:40

Powered by paopaomj X3.5 © 2016-2025 sitemap

快速回复 返回顶部 返回列表