視頻剪輯培訓課程哪家教得好？火星時代是一所專注于數字藝術教育的培訓機構，主要是培養影視制作、游戲制作、室內設計、ui設計、互聯網程序開發等行業專精人才。火星時代的教學是由北京總部統一切屏教學，再由分校區老師進行教學與輔導，這樣一來，也是為了增加教學內容的統一性，可以說無論是在哪個校區學習，都是一樣的。

(資料圖片僅供參考)

AI修圖，好像最早是PS推出的一個功能：內容感知。后來NVIDIA研究人員開發了一個更厲害的軟件演示，可以說“一鍵修圖”。在圖上把不需要的物體只要抹一下，算法就會自動填補抹掉物體空白處，而且融合還相當可以。視頻一鍵Roto真實現了？一起來看今天這篇技術解析！

很多小伙伴說，這只是圖片，如果是視頻那才真正的厲害。如果有這樣的技術，Roto工作效率會大大提高。哎？這次真的來了。研究人員本著“只要你敢想，我就給你研發原則”真的做出來了。來，看動圖！

這里要強調的是不僅僅扣除了人還要包括陰影區域，而且輪廓也要從鏡頭中消失。看見上圖了么？就是這么Niubility！讓我們看看其他一些例子。

如果單獨修復一張圖，這遠遠不是研究人員的追求，所以要換成視頻也必須看起來非常完美才可以。

可是因為時間連貫性的要求，視頻的處理是非常的難。針對這個問題自弗吉尼亞大學和Facebook的研究團隊四位大佬Chen Gao, Ayush Saraf, Jia-Bin Huang和Johannes Kopf發表了一篇論文《Flow-edge Guided Video Completion》翻譯過來應該是《光流邊緣引導視頻算法》。

論文介紹是這樣說的：

“我們提出了一個新的基于光流的視頻修復算法。之前的光流修復算法通常無法保持運動邊界的銳度。我們的方法首先提取并完成運動邊緣，然后利用運動邊緣來引導具有銳邊的分段光滑流補全。現有的方法在相鄰幀之間的局部光流連接之間傳播色彩。然而，并不是視頻中所有缺失的區域都可以用這種方法進行恢復，因為運動的邊界形成了不可逾越的障礙。我們的方法通過相隔較遠的幀之間的全局光流(non-local flow)連接減輕了這個問題，允許在運動邊界上傳播視頻內容。我們在DAVIS數據集驗證了我們的方法，視覺和定量結果都表明，我們的方法優于最先進的算法。”

實現方法概述：

那過程到底是如實現的呢？喏，都在下面這張模型圖里了。

過程大致是這樣的：首先，輸入一個要修復的視頻和一個二進制掩碼視頻，大概意思就是要告訴算法哪些部分需要合成。

然后算法開始計算正向和反向流以及一組非相鄰幀，補全這些流場中的缺失區域。

紅線部分是神經網絡自己補充出來的邊緣

接著用流邊緣來引導視頻中被水印/人物擋住的缺失區域的修復。

完事后，沿著流的軌跡為每個丟失像素傳播一組候選像素。從鏈接前向和后向的流向量得到兩個候選點，直到到達一個已知像素。

上圖中，綠色區域代表缺失部分；黃色、橙色和棕色線分別代表：第一個非局部幀、當前幀和第三個非局部幀的掃描線。

通過跟蹤流動軌跡（黑色虛線）達到缺失區域的邊緣，可以獲得圖中藍色像素的局部候選對象。但由于人腿部運動形成的流動遮擋，計算紅色像素點的候選像素就有些困難了。這里研究人員引入非相鄰幀的非局部光流后，紅色像素點就得到了額外的非局部領域（黃線和棕線上的紅色像素點），然后就還原了被腿部遮擋的真實背景。

然后，再在梯度域中，使用置信加權平均值（A Confidence-weighted Average）將每個缺失像素的候選像素與有效候選像素進行融合以便重建顏色。

最后將整個過程不斷迭代，并將結果傳播到視頻的其余部分，直到沒有缺失像素為止。

是不是驚呆了？這樣的技術如果能應用在我們CG行業的Roto上簡直瘋狂的不要不要的，效率得提高多少！！希望這個技術能盡快應用到實際項目中，哈哈，就不用一幀一幀摳圖啦！