這篇文章主要介紹“python人物視頻背景替換實現虛擬空間穿梭的方法”,在日常操作中,相信很多人在python人物視頻背景替換實現虛擬空間穿梭的方法問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”python人物視頻背景替換實現虛擬空間穿梭的方法”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
在實現該功能之前,我們需要准備好python==3.7 然後執行:
pip install mediapipe
方案一: PC端可以選擇外界攝像頭或者連接網絡攝像頭,最好挑選一個純屬的背景板作為視頻畫面背景(這樣有利於任務分割);
方案二: 網上下載有人物活動的視頻,然後用下載的視頻替代連接攝像頭。
到這裡我們基礎物件已經搭建好了,本實驗代碼選擇方案二,對下載視頻分析,其shape=(740,640,3)。接下來我將帶領大家實現三個版本的背景替換
基礎板:將人物提取出來,替換成設定好的純色背景(可以通過RGB設定)。其基本流程如下:
1. 輸入視頻
2. 獲取視頻幀
3. 提取幀內人物圖像
4. 設定背景RGB值
5. 創建同視頻幀同shape的RGB圖像
6. 結合背景圖與人物圖
7. 輸出結合圖
示例demo:
import cv2import mediapipe as mpimport numpy as npmp_drawing = mp.solutions.drawing_utilsmp_selfie_segmentation = mp.solutions.selfie_segmentationBG_COLOR = (0, 0, 225) # redcap = cv2.VideoCapture('111.mp4')with mp_selfie_segmentation.SelfieSegmentation( model_selection=0) as selfie_segmentation: bg_image = None while cap.isOpened(): success, image = cap.read() if not success: break image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB) image.flags.writeable = False results = selfie_segmentation.process(image) image.flags.writeable = True image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR) condition = np.stack( (results.segmentation_mask,) * 3, axis=-1) > 0.8 if bg_image is None: bg_image = np.zeros(image.shape, dtype=np.uint8) bg_image[:] = BG_COLOR print(bg_image.shape) output_image = np.where(condition, image, bg_image) cv2.imshow('MediaPipe Selfie Segmentation', output_image) if cv2.waitKey(5) & 0xFF == 27: breakcap.release()
原視頻節選幀&替換背景幀:
由於我們已知圖像的shape,我們可以在網上挑選自己喜歡的背景圖,然後調整背景圖的shape,使其與視頻圖像保持一致。整體流程圖下:
1. 下載選擇喜歡的背景圖像
2. 調整下載圖像的shape=(740,604,3)
3. 讀取視頻
4. 獲取視頻幀
5. 獲取視頻幀內人物圖像
6. 結合背景圖和人物圖像
7. 輸出視頻畫面
修改圖像大小並進行50%縮放後的背景圖:
背景圖結合人物圖:
這裡我的背景圖選擇的有些單調,也不是那麼適合,望讀者見諒! 代碼部分修改:
bg_image = cv2.imread("BBB.jpg")
到此,關於“python人物視頻背景替換實現虛擬空間穿梭的方法”的學習就結束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續學習更多相關知識,請繼續關注億速雲網站,小編會繼續努力為大家帶來更多實用的文章!