DSP的低碼率實(shí)時(shí)視頻編碼器設(shè)計(jì)與實(shí)現(xiàn)

機(jī)載視頻圖像種類多樣,要求編碼器具備很高的處理能力和靈活性。設(shè)計(jì)一種基于dsp和fpga的編碼器,通過對(duì)h.264/avc算法進(jìn)行適當(dāng)修改,實(shí)現(xiàn)dsp和fpga并行流水處理。fpga作為dsp的協(xié)處理器,完成子像素運(yùn)動(dòng)估計(jì)和幀內(nèi)模式預(yù)測功能,大大降低了dsp的計(jì)算負(fù)載。經(jīng)測試,設(shè)計(jì)的編碼器可以實(shí)現(xiàn)1路高清視頻(hdtv:1280×720,30幀/s)或者2路標(biāo)清視頻(sdtv:720×576,25幀/s)的實(shí)時(shí)編碼。同時(shí),fpga還可以完成遙測數(shù)據(jù)與視頻碼流的融合打包傳輸,簡化了機(jī)上遙測系統(tǒng)的設(shè)計(jì)。

介紹了在tms320dm6446dsp平臺(tái)上實(shí)現(xiàn)avs視頻編碼器的算法設(shè)計(jì)與優(yōu)化方法。在軟件整體設(shè)計(jì)優(yōu)化的基礎(chǔ)上,重點(diǎn)對(duì)運(yùn)動(dòng)估計(jì)等算法進(jìn)行了優(yōu)化改進(jìn);同時(shí)針對(duì)平臺(tái)特點(diǎn)給出結(jié)構(gòu)優(yōu)化方法,主要包括提高代碼并行性及存儲(chǔ)器和數(shù)據(jù)搬移的優(yōu)化。測試結(jié)果表明,通過優(yōu)化,在保證圖像質(zhì)量損失較小的情況下,編碼器的編碼速率有顯著提高。

基于高速定點(diǎn)dsp處理器tms320dm642,設(shè)計(jì)并實(shí)現(xiàn)了一款嵌入式實(shí)時(shí)h.264視頻編碼器,提出了局部自適應(yīng)預(yù)測運(yùn)動(dòng)估計(jì)算法.采用c64xcpu的軟件優(yōu)化技術(shù),解決了視頻編碼的實(shí)時(shí)性問題.實(shí)驗(yàn)結(jié)果表明,h.264編碼器對(duì)分辨率為320×288yuv格式視頻信號(hào)的編碼速率達(dá)到每秒13幀以上,且具有極低的碼流速率和較高的圖像編碼質(zhì)量.

視頻編碼器的對(duì)比和選擇 本文來自hulu全球高級(jí)研發(fā)經(jīng)理、視頻編解碼與傳輸領(lǐng)域資深專家傅德良在 livevideostackcon2018熱身分享，并由livevideostack整理而成。在分享中，傅德良以 hulu實(shí)踐為基礎(chǔ)，介紹了視頻編解碼標(biāo)準(zhǔn)與視頻編碼器間的紛爭以及視頻編碼器對(duì)比中的 常見誤區(qū)。 大家好，我是傅德良，在hulu主要負(fù)責(zé)的團(tuán)隊(duì)是在做音視頻編解碼和傳輸相關(guān)的一些優(yōu) 化和開發(fā)的工作，很高興跟大家聊一聊對(duì)于視頻編碼器的對(duì)比和選擇。 主要內(nèi)容分為以下三個(gè)方面： 1，紛爭的視頻標(biāo)準(zhǔn)與視頻編碼器 2，視頻編碼器對(duì)比中的常見誤區(qū) 3，選擇最合適的視頻編碼器 由于今天的熱身分享時(shí)間相對(duì)比較有限，所以今天主要會(huì)講常見誤區(qū)這一塊，關(guān)于選擇最 合適的視頻編解碼器這個(gè)領(lǐng)域，更多的會(huì)在10月份的livevideostackcon2018正式分享 中進(jìn)行介紹。 前言

針對(duì)高清視頻龐大的數(shù)據(jù)量以及h.264編碼器復(fù)雜的編碼結(jié)構(gòu)引起的低編碼速率的問題,對(duì)影響算法編碼速率的原因進(jìn)行了深入分析,并設(shè)計(jì)了高效的多核并行方案,進(jìn)而充分利用tms320c6678的多核性能,并結(jié)合tms320c6678的運(yùn)算存儲(chǔ)特性,對(duì)h.264編碼器進(jìn)行了多方面的優(yōu)化,最終使h.264編碼器對(duì)720p高清視頻序列編碼速率從1.2fps增加到27.2fps,更加貼近于實(shí)際應(yīng)用。

針對(duì)無人機(jī)(uva)航拍對(duì)高清視頻的需求,設(shè)計(jì)并實(shí)現(xiàn)了基于數(shù)字信號(hào)處理器(dsp)平臺(tái)的mpeg-4高清視頻編碼器,具有體積小、功耗低和可靠性高的特點(diǎn)。根據(jù)dsp片內(nèi)資源設(shè)計(jì)了存儲(chǔ)器分配方案,優(yōu)化了編碼過程中的數(shù)據(jù)流傳輸,降低了數(shù)據(jù)訪問對(duì)編碼速度的影響。針對(duì)視頻編碼算法中復(fù)雜度較高的部分,采用了基于預(yù)測的運(yùn)動(dòng)估計(jì),減少了匹配搜索時(shí)間;提出了改進(jìn)的變長編碼方案,大幅提高了編碼速度;提出了一種提前判斷全零系數(shù)塊的充分條件,有效減少了離散余弦變換(dct)和量化計(jì)算。實(shí)驗(yàn)結(jié)果表明,該編碼器對(duì)720p格式(1280pixel×720pixel分辨率)視頻的編碼速度在20幀/s以上,并且峰值信噪比(psnr)高于35db,具有良好的畫面質(zhì)量和較低的碼率。

文中詳細(xì)闡述了針對(duì)adsp-bf561雙核dsp芯片的mpeg-4視頻編碼算法的優(yōu)化方法。實(shí)驗(yàn)數(shù)據(jù)表明,優(yōu)化后的編碼器性能得到了全面提升,實(shí)現(xiàn)了基于adsp-bf561雙核平臺(tái)上的4cif視頻實(shí)時(shí)編碼。

設(shè)計(jì)了一種用fpga實(shí)現(xiàn)mpeg-4編碼器方案。為進(jìn)一步提高編碼的效率,在算法和結(jié)構(gòu)方面進(jìn)行了優(yōu)化。提出了帶有判全零系數(shù)的loeffler快速dct算法,并采用"十字"形運(yùn)動(dòng)估計(jì)算法,設(shè)計(jì)了高度并行、緊湊流水線的fpga實(shí)現(xiàn)方案。用veriloghdl硬件描述語言編寫了代碼,在quartusii集成開發(fā)環(huán)境下,進(jìn)行了fpga(field-programmablegatearray)系統(tǒng)仿真驗(yàn)證。測試結(jié)果表明,該設(shè)計(jì)編碼高效,符合實(shí)時(shí)視頻通信的需求。可廣泛應(yīng)用于移動(dòng)視頻通信和遠(yuǎn)程無線監(jiān)控等領(lǐng)域。

針對(duì)現(xiàn)場可編程門陣列(fpga)平臺(tái),提出可重構(gòu)視頻編碼(rvc)的硬件實(shí)現(xiàn)方案.為提高系統(tǒng)吞吐量和功能單元(fu)的可重用及可擴(kuò)性,提出分層的、多顆粒度并存的、可重用的功能單元設(shè)計(jì)方法;為重構(gòu)的簡單性及降低實(shí)現(xiàn)復(fù)雜度,提出在功能單元之間采用不同的存儲(chǔ)結(jié)構(gòu)作為數(shù)據(jù)連接方式.最終實(shí)現(xiàn)支持h.264/avc和avs的全i幀可重構(gòu)視頻編碼器.結(jié)果表明,該編碼器在xilinxvirtex-5330上能夠分別實(shí)現(xiàn)h.264/avc標(biāo)準(zhǔn)下25幀及avs標(biāo)準(zhǔn)下37幀1920×1080視頻的實(shí)時(shí)編碼,比2個(gè)標(biāo)準(zhǔn)單獨(dú)的設(shè)計(jì)實(shí)現(xiàn)代價(jià)降低了33%.

vga+hdmi高清視頻編碼器hs-b100v/h-e 一、產(chǎn)品介紹： vga+hdmi高清視頻編碼器hs-b100v/h-e是一款專業(yè)的高清音視頻編碼器， 該產(chǎn)品具有1路hdmi音視頻輸入接口，1路vga高清視頻輸入，1路立體聲輸入， 支持h.264編碼格式，可同時(shí)可對(duì)hdmi，vga，音頻進(jìn)行編碼。輸出不同信號(hào)的 ts雙碼流設(shè)計(jì)，是一款雙路高清編碼器?？筛鶕?jù)不同需要設(shè)置每一路的輸出碼 流分辨率，該設(shè)備具有高集成，低成本的優(yōu)勢，可廣泛應(yīng)用于各種數(shù)字電視播出 系統(tǒng)，網(wǎng)絡(luò)電視系統(tǒng)，全面代替采集卡使用。全面支持vlc解碼操作。 二、產(chǎn)品特點(diǎn)： 全面支持onvif協(xié)議,可支持nvr錄播； 采用標(biāo)準(zhǔn)h264編碼； 音頻編碼支持mpeg1audiolayer2； cbr/vbr/abr碼率控制，16kbit/s～16mbit/s； 網(wǎng)絡(luò)接口采用10

rohm面向監(jiān)視攝像頭和家居安全設(shè)備、汽車行駛記錄儀等安裝有相機(jī)模塊的設(shè)備，開發(fā)了內(nèi)置霧圖像處理功能的視頻編碼器icbu6521kv。

視頻編碼器接線圖：ioi

視頻編碼器產(chǎn)品技術(shù)方案

h.264/avc是itu-t和iso/iec兩大國際組織共同制定的新一代視頻壓縮編碼標(biāo)準(zhǔn)。指數(shù)哥倫布編碼是熵編碼的重要主要組成模塊,對(duì)從碼流中提取的句法元素進(jìn)行編碼。它與基于上下文自適應(yīng)的可變長編碼(cavlc)或基于上下文自適應(yīng)的算術(shù)編碼(cabac)共同構(gòu)成了熵編碼。本文全面介紹了指數(shù)哥倫布的基本原理及本設(shè)計(jì)中指數(shù)哥倫布編碼的句法元素,重點(diǎn)闡述了指數(shù)哥倫布編碼器的硬件實(shí)現(xiàn)方法。實(shí)驗(yàn)結(jié)果表明,該設(shè)計(jì)能滿足分辨率為1920×1080的視頻序列的實(shí)時(shí)編碼對(duì)質(zhì)量和速度的要求。

該文設(shè)計(jì)了一種低復(fù)雜度編碼器并對(duì)其進(jìn)行了硬件實(shí)現(xiàn)。該編碼器針對(duì)具有準(zhǔn)循環(huán)結(jié)構(gòu)的ldpc碼,利用快速迭代編碼算法,在設(shè)計(jì)中只需簡單的循環(huán)移位以及異或操作就可實(shí)現(xiàn),因此具有較低的編碼復(fù)雜度。同時(shí)針對(duì)(528,264)的qc-ldpc碼,在xilinx公司virtex6系列的xc6vsx130t芯片上實(shí)現(xiàn)了該編碼器設(shè)計(jì),經(jīng)過ise軟件布局布線后,結(jié)果顯示編碼器只消耗了280個(gè)slices資源,而編碼吞吐量達(dá)到了147.168mbps。另外利用時(shí)序仿真軟件isim進(jìn)行驗(yàn)證,結(jié)果顯示輸出比輸入只延遲了7個(gè)時(shí)鐘,可見該算法的編碼速度比較快。

為了解決標(biāo)準(zhǔn)清晰度監(jiān)控系統(tǒng)中存在的一些問題,設(shè)計(jì)了一個(gè)基于tms320dm365的高清視頻壓縮系統(tǒng)。采用itu-t的h.264(dm365內(nèi)嵌硬件壓縮器)視頻壓縮算法,高清模擬視頻信號(hào)通過專用視頻解碼芯片tvp7002轉(zhuǎn)換成數(shù)字視頻信號(hào),在dm365中進(jìn)行數(shù)據(jù)壓縮,內(nèi)嵌arm把數(shù)據(jù)打包后傳到internet,通過pc機(jī)軟件解碼,進(jìn)行視頻播放。實(shí)踐證明,本編碼方案很好的完成了數(shù)據(jù)壓縮及傳輸,符合設(shè)計(jì)要求。

設(shè)計(jì)了一套基于tms320dm6446的視頻壓縮系統(tǒng)。主芯片采用ti公司的tms320dm6446,模擬視頻信號(hào)送入解碼器tvp5150后,解碼為符合itu-rbt.656標(biāo)準(zhǔn)的數(shù)字視頻信號(hào),bt.656數(shù)字視頻信號(hào)被送往tms320dm6446,tms320dm6446內(nèi)嵌dsp實(shí)現(xiàn)視頻信號(hào)的h.264壓縮,內(nèi)嵌arm對(duì)壓縮后數(shù)據(jù)進(jìn)行打包并進(jìn)行網(wǎng)絡(luò)傳輸。實(shí)踐證明,該編碼方案很好地完成了數(shù)據(jù)壓縮及傳輸,當(dāng)碼率為372kb/s時(shí),psnr為39.18db(使用news序列),符合設(shè)計(jì)要求。

在ti最新的davinci處理器tms320dm6467開發(fā)平臺(tái)上實(shí)現(xiàn)了h.264視頻編碼的移植。重點(diǎn)闡述了davinci平臺(tái)的特點(diǎn)及開發(fā)方法,分析了h.264的移植過程中遇到的難點(diǎn),解決了該芯片內(nèi)部dsp端和arm端之間的雙核通信及h.264視頻編碼程序在雙核系統(tǒng)中分割等問題。

以太網(wǎng)音視頻橋接技術(shù)(ethernetaudio/videobridging,簡稱ethernetavb)是一項(xiàng)新的ieee802標(biāo)準(zhǔn),其在傳統(tǒng)以太網(wǎng)絡(luò)的基礎(chǔ)上,通過保障帶寬(bandwidth),限制延遲(latency)和精確時(shí)鐘同步(timesynchronization),提供完美的服務(wù)質(zhì)量(qos),以支持各種基于音頻、視頻的網(wǎng)絡(luò)流媒體應(yīng)用。本文采用音視頻壓縮專用處理器與一種具有以太網(wǎng)avb功能的交換芯片,設(shè)計(jì)了一種具有優(yōu)良的音視頻網(wǎng)絡(luò)傳輸特性的音視頻編碼器。

介紹了xilinx公司的32位軟核處理器microblaze的結(jié)構(gòu),分析了國家音視頻編解碼標(biāo)準(zhǔn)avs的技術(shù)特點(diǎn),簡述了軟硬件協(xié)同設(shè)計(jì)的avs視頻編碼器的體系結(jié)構(gòu)及軟硬件劃分,重點(diǎn)闡述了在此體系中microblaze處理器及相應(yīng)軟件的設(shè)計(jì)。

針對(duì)type-1視頻編碼平臺(tái)中的幀間預(yù)測僅有全搜索算法,從而計(jì)算復(fù)雜度很高的問題,提出了改進(jìn)的umhexa-gons快速搜索算法.該算法采用了umhexagons算法的框架,針對(duì)該算法在參考幀數(shù)目和編碼模式受限的條件下,建立了一種起始位置運(yùn)動(dòng)矢量預(yù)測模型;同時(shí),為了解決umhexagons算法中第2類提前截止閾值計(jì)算不準(zhǔn)確而導(dǎo)致編碼性能下降的問題,提出了利用空間相關(guān)性的閾值修正方式.在type-1平臺(tái)中的實(shí)驗(yàn)結(jié)果表明,該算法的搜索精度較高,并且能夠較好地適應(yīng)不同序列的紋理特性.相比于全搜索算法,平均節(jié)省97%以上的時(shí)間,同時(shí)編碼效率下降控制在平均0.032db以內(nèi).得出結(jié)論:改進(jìn)的算法能夠提升編碼效率,同時(shí)節(jié)省平均運(yùn)動(dòng)搜索時(shí)間.

H3CEC1000系列視頻編碼器快速入門