視頻質素
視頻質素是量化一段視頻通過視頻傳輸／處理系統時畫面質素變化（通常是下降）程度的方法。由於視頻處理系統可能會導致一定的視頻訊號失真，因此視頻質素評價對於視頻傳輸／處理系統的選擇，顯得十分重要。
從模擬訊號到數碼訊號
自從世界上第一段視頻被錄製以來，各種各樣的視頻處理系統都被設計生產。在模擬視頻系統時期，評估視頻處理系統的質素可使其播放一些"傳統測試訊號"，並計算其頻率響應得到。（比如一系列的色條與圓圈）
如今，數碼視頻已經取代模擬視頻，評價的方法也隨之改變。數碼視頻處理系統的性能顯着地取決於輸入視頻的動態特性（如動作或空間細節）。
客觀視頻質素
客觀視頻評估技術是一些與主觀質素評估結果相近的數學模型，但是它們通常由計算機按照一定的標準與指標自動完成。評價的方法大致是將原視頻（高品質、一般不被壓縮）與處理後的視頻進行分類對比。分類對比分為三種：全參考（FR）、部分參考（RR）、無參考（NR）。全參考比較處理前後的兩段視頻每個像素的差別，部分參考提取兩段視頻的一些特性，並依此給予它們評分。以上兩種方法通常在原視頻可用時使用，如在有限的帶寬下。無參考則試圖在沒有任何原視頻的參考下進行評估，通常在視頻編碼方法已知時使用。
當然，最傳統的方法是計算兩段視頻信噪比（SNR）與峰值信噪比（PSNR）的差異。 PSNR是使用最廣泛的客觀視頻質素的度量方法，但由於人類視覺系統的非線性，因此PSNR值與人眼感受到的視頻質素仍有較大出入。近來一些更複雜、更精確的一些指標被指定，比如VQM （頁面存檔備份，存於互聯網檔案館）、PEVQ、結構相似性（SSIM）、VQuad-HD （頁面存檔備份，存於互聯網檔案館）、CZD。
一個客觀的視頻質素指標的表現由計算客觀分數與視頻主觀質素測試分數之間的相關性得出。後者被稱為平均意見分數（MOS）。最常用的相關係數有：線性相關係數、斯皮爾曼等級相關係數、峰度、Kappa係數與離群率。
客觀視頻質素模型的分類
客觀模型可以根據原始訊號、接收訊號或是否存在訊號的可用信息量進行分類:[1]
- 全參考方法 (FR): FR模型通過將原始視頻訊號與接收的視頻訊號進行比較來計算質素差異。典型地，將來自源的每個像素與接收到的視頻中的對應像素進行比較，而不了解其間的編碼或傳輸過程。更複雜的算法可以選擇將基於像素的估計與其他方法相結合，如下所述。FR模型通常是最精確的，但代價是較高的計算量。因為它們要求在傳輸或編碼之前原始視頻的可用性，所以它們不能用於所有情況(例如，從客戶端設備測量質素)。
- 弱參考方法 (RR): RR模型提取兩個視頻的一些特徵，並對它們進行比較以給出質素分數。當所有原始視頻不可用時，或者當實際上不可能這樣做時，例如在帶寬有限的傳輸中，使用它們。這使得它們比FR模型更有效率，但代價是精度更低。
- 無參考方法 (NR): NR模型試圖在不參考原始訊號的情況下評估失真視頻的質素。由於沒有原始訊號，它們可能不如FR或RR方法準確，但計算效率更高。
使用圖像質素模型進行視頻質素評估
用於視頻質素評估的一些模型(如PSNR或SSIM)只是圖像質素模型，其輸出是為視頻序列的每一幀計算的。然後可以記錄每一幀的質素度量，並隨着時間的推移匯集在一起，以評估整個視頻序列的質素。雖然這種方法很容易實現，但它沒有考慮到隨時間發展的某些類型的降級，例如由數據包丟失及其隱藏引起的運動偽像。考慮質素下降的時間方面的視頻質素模型，如VQM或電影指數，可能能夠產生更準確的人類感知質素的預測。
實例
| 指標 | 用途 | 描述 | |
|---|---|---|---|
| 全參考 | PSNR (峰值信噪比) | 圖像 | 它是在原始視頻訊號和降級視頻訊號的每一幀之間計算的。PSNR是最廣泛使用的客觀圖像質素指標。然而，由於人類視覺系統的複雜、高度非線性的行為，PSNR值與感知的圖像質素不太相關。 |
| SSIM[2] (結構相似性) | 圖像 | SSIM是一種基於感知的模型，它將圖像退化視為結構信息中的感知變化，同時還結合了重要的感知現象，包括亮度掩蔽和對比度掩蔽項。 | |
| MOVIE[3] 基於運動的視頻完整性評估 | 視頻 | MOVIE 指數是一個基於神經科學的模型，用於預測(可能是壓縮的或失真的)電影或視頻相對於原始參考視頻的感知質素。 | |
| VMAF[4] 視頻多方法評估 | 視頻 |
VMAF使用四個特徵來預測視頻質素VIF、DLM、MCPD和信噪比。使用基於SVM的回歸來融合上述特徵，以提供單個輸出分數。然後，使用算術平均在整個視頻序列上暫時匯集這些分數，以提供總體差異平均意見分數(DMOS)。 | |
| 弱參考 | SRR[5] (基於SSIM的弱參考) | 視頻 | SRR值由接收的(目標)視頻訊號SSIM與參考視頻模式SSIM值的比值計算。 |
| ST-RRED[6] | 視頻 | 計算視頻序列中相鄰幀之間幀差的小波係數(用GSM建模)。它用於評估導致時間性再狹窄的相對熵差異。它結合通過在視頻的每一幀上應用空間平均指數而評估的空間平均指數，產生時空平均指數 | |
| 無參考 | NIQE[7] Naturalness Image Quality Evaluator | 圖像 | 該IQA模型建立在從局部圖像塊提取的感知相關空間域n自然場景統計(NSS)特徵的基礎上，該特徵有效地捕捉自然圖像的基本低階統計。 |
| BRISQUE[8] 無參考圖像空間質素評估器 | 圖像 | 方法提取局部歸一化亮度訊號的逐點統計，並基於測量到的與自然圖像模型的偏差來測量圖像自然度(或缺乏自然度)。它還對相鄰歸一化亮度訊號的成對統計分佈進行建模，從而提供失真方向信息。 | |
| Video-BLIINDS[9] | 視頻 | 計算幀差的離散餘弦變換係數的統計模型，並計算運動特徵。基於這些特徵用 SVM 方法預測分數。 | |
當評估一個視頻編解碼器的質素時，所有上文提到的客觀方法可能都要逐一反覆進行測試，以滿足所需的視覺質素水平。無疑，這十分費時、複雜，並且在商業化應用中不切實際。出於上述原因，許多研究都專注於開發新的客觀評價方法，使其更為實用[1][永久失效連結] 。
主觀視頻質素
許多主觀視頻質素的主要目標是自動評估用戶（即觀眾）對視頻處理系統處理後的視頻質素的意見。其主要思路與MOS相近，即記錄觀眾意見的平均值來評估視頻的質素。但是測試出的細節出入可能極大。
評估視頻質素的工具
| 工具 | 獲取方式 | 包含的指標 |
|---|---|---|
| FFmpeg （頁面存檔備份，存於互聯網檔案館） | 免費 | PSNR, SSIM, VMAF |
| MSU VQMT （頁面存檔備份，存於互聯網檔案館） | 基礎指標免費
HDR指標付費 |
PSNR, SSIM, MS-SSIM, 3SSIM, VMAF, NIQE, VQM, Delta, MSAD, MSE
MSU提出的指標: 模糊程度指標, 區塊效應指標, 亮度抖動指標, 丟幀指標, 噪聲估計指標 |
| EPFL VQMT （頁面存檔備份，存於互聯網檔案館） | 免費 | PSNR, PSNR-HVS, PSNR-HVS-M, SSIM, MS-SSIM, VIFp |
| OpenVQ （頁面存檔備份，存於互聯網檔案館） | 免費 | PSNR, SSIM, OPVQ(開放式感知視頻質素指標) |
| Elecard （頁面存檔備份，存於互聯網檔案館） | 收費 | PSNR, APSNR, MSAD, MSE, SSIM, Delta, VQM, NQI, VMAF, VIF |
| AviSynth （頁面存檔備份，存於互聯網檔案館） | 免費 | SSIM |
| VQ Probe （頁面存檔備份，存於互聯網檔案館） | 免費 | PSNR, SSIM, VMAF |
- FFmpeg - FFmpeg是領先的多媒體框架，能夠解碼、編碼、轉碼、多路復用、多路分解、流式傳輸、濾鏡和播放人類和機器創造的幾乎任何東西。它的支持範圍囊括從最古老的格式到最新的格式。不管這些格式是由標準委員會、社區還是公司設計的。它還具有很高的可移植性:FFmpeg 可跨Linux、Mac OS X、微軟Windows、BSDs、Solaris等在各種各樣的構建環境、機器架構和配置下編譯、運行並通過稱為FATE的測試基礎設施，
- MSU VQMT - MSU視頻質素測量工具是一個客觀的視頻質素評估程序。它提供了全參考(檢查兩個視頻)和單參考(分析一個視頻)比較的功能。
- EPFL VQMT - 該軟件提供了以下客觀指標的快速實現:PSNR、SSIM、MS-SSIM、VIFp、PSNR-HVS、PSNR-HVS-M。在該軟件中，上述指標是基於其開發人員提供的原始Matlab實現在OpenCV (C++)中實現的。
- OpenVQ - OpenVQ是一個視頻質素評估工具包。該項目的目標是為任何對視頻質素評估感興趣的人提供一個工具包，該工具包提供了現成的視頻質素指標實現，並使實現其他視頻質素指標變得容易。
- Elecard - 視頻質素測量工具，旨在根據客觀指標來比較編碼流的質素，例如PSNR、APSNR、SSIM、DELTA、MSE、MSAD、VQM、NQI、VMAF，VIF。
- AviSynth - AviSynth是視頻後期製作的有力工具。它提供了編輯和處理視頻的方法。AviSynth作為一個框架伺服器工作，提供即時編輯，而不需要臨時文件。AviSynth本身不提供圖形用戶界面(GUI)，而是依賴於允許高級非線性編輯的腳本系統。
- VQ Probe - VQ Probe是一個專業的用來評估客觀和主觀視頻質素的視頻工具。該工具允許用戶比較不同的編解碼器標準，建立研發曲線，並計算BD速率。
參見
參考
- ITU-T Rec. J.341（01/11）Objective perceptual multimedia video quality measurement of HDTV for digital cable television in the presence of a full reference （頁面存檔備份，存於互聯網檔案館）
- ITU-T Rec. J.247（08/08）Objective perceptual multimedia video quality measurement in the presence of a full reference （頁面存檔備份，存於互聯網檔案館）
- ITU-T Rec. J.246（08/08）Perceptual audiovisual quality measurement techniques for multimedia services over digital cable television networks in the presence of a reduced bandwidth reference （頁面存檔備份，存於互聯網檔案館）
- Digital Video Quality, Stefan Winkler, Wiley, March 2005, ISBN 0-470-02404-6
- "Quality Control", Duvall, Richard, Broadcast Engineering, February 2010
延伸閱讀
- 官方VQuad-HD網站 （頁面存檔備份，存於互聯網檔案館）
- 422 10位元壓縮視頻質素增益
- 視頻質素專家組 （頁面存檔備份，存於互聯網檔案館）
- ATIS與IPTV互操作性論壇 （頁面存檔備份，存於互聯網檔案館）
- 客觀視頻質素評估 （頁面存檔備份，存於互聯網檔案館）
- ITU-R網頁上關於主觀視頻質素的建議
參考文獻
- ^ Shahid, Muhammad; Rossholm, Andreas; Lövström, Benny; Zepernick, Hans-Jürgen. No-reference image and video quality assessment: a classification and review of recent approaches. EURASIP Journal on Image and Video Processing. 2014-08-14, 2014: 40. ISSN 1687-5281. doi:10.1186/1687-5281-2014-40
.
- ^ Wang, Zhou; Bovik, A.C.; Sheikh, H.R.; Simoncelli, E.P. Image quality assessment: from error visibility to structural similarity. IEEE Transactions on Image Processing. 2004-04-01, 13 (4): 600–612. Bibcode:2004ITIP...13..600W. CiteSeerX 10.1.1.2.5689 . ISSN 1057-7149. PMID 15376593. doi:10.1109/TIP.2003.819861.
- ^ Seshadrinathan, K.; Bovik, A.C. Motion Tuned Spatio-Temporal Quality Assessment of Natural Videos. IEEE Transactions on Image Processing. 2010-02-01, 19 (2): 335–350. CiteSeerX 10.1.1.153.9018 . ISSN 1057-7149. PMID 19846374. doi:10.1109/TIP.2009.2034992.
- ^ vmaf: Perceptual video quality assessment based on multi-method fusion, Netflix, Inc., 2017-07-14 [2017-07-15], （原始內容存檔於2022-07-13）
- ^ Kourtis, M.-A.; Koumaras, H.; Liberal, F. Reduced-reference video quality assessment using a static video pattern. Journal of Electronic Imaging. July–August 2016. doi:10.1117/1.jei.25.4.043011 .
- ^ Soundararajan, R.; Bovik, A.C. Video Quality Assessment by Reduced Reference Spatio-Temporal Entropic Differencing. IEEE Transactions on Circuits and Systems for Video Technology. 2013-04-04, 23: 684–694. doi:10.1109/tcsvt.2012.2214933.
- ^ Mittal, A.; Soundararajan, R.; Bovik, A.C. Making a “Completely Blind” Image Quality Analyzer. IEEE Signal Processing Letters. March 2013, 20: 209–212. doi:10.1109/lsp.2012.2227726.
- ^ Mittal, A.; Moorthy, A.K.; Bovik, A.C. Blind/Referenceless Image Spatial Quality Evaluator. 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals, Systems and Computers (ASILOMAR). 2011-11-09. doi:10.1109/acssc.2011.6190099.
- ^ Saad, M. A.; Bovik, A. C.; Charrier, C. Blind Prediction of Natural Video Quality. IEEE Transactions on Image Processing. March 2014, 23 (3): 1352–1365. CiteSeerX 10.1.1.646.9045 . ISSN 1057-7149. PMID 24723532. doi:10.1109/tip.2014.2299154.
