青島視頻會議系統(tǒng)安裝公司 -青島寶利通視頻會議 -青島華為視頻會議系統(tǒng)銷售商。寶利通視頻會議系統(tǒng)青島經(jīng)銷商;索尼視頻會議系統(tǒng)青島銷售商;華為視頻會議系統(tǒng)青島銷售商;
視頻會議系統(tǒng)的主要功能及其實現(xiàn)原理
編輯:青島億恒升智能控制有限公司 黨經(jīng)理 發(fā)表日期:2017-01-19 (盜版追究法律責(zé)任)
一般而言,視頻會議的主要核心功能是:多人語音、多人視頻、公共電子白板、會議房間管理。
本文我們將介紹視頻會議系統(tǒng)的主要功能及其實現(xiàn)原理,后面有空在介紹詳細每個功能的詳細實現(xiàn)細節(jié)。
一.語音通話
1.基礎(chǔ)模型
在視頻會議中,網(wǎng)絡(luò)語音通話通常多對多的的,但就模型層面來說,我們討論一個方向的通道就可以了。一方說話,另一方則聽到聲音。看似簡單而迅捷,但是其背后的流程卻是相當(dāng)復(fù)雜的。我們將其經(jīng)過的各個主要環(huán)節(jié)簡化成下圖所示的概念模型:
這是一個最基礎(chǔ)的模型,由五個重要的環(huán)節(jié)構(gòu)成:采集、編碼、傳送、解碼、播放。
語音采集指的是從麥克風(fēng)采集音頻數(shù)據(jù),即聲音樣本轉(zhuǎn)換成數(shù)字信號。其涉及到幾個重要的參數(shù):采樣頻率、采樣位數(shù)、聲道數(shù)。
假設(shè)我們將采集到的音頻幀不經(jīng)過編碼,而直接發(fā)送,那么我們可以計算其所需要的帶寬要求,仍以上例:320*100 =32KBytes/s,如果換算為bits/s,則為256kb/s。這是個很大的帶寬占用。而通過網(wǎng)絡(luò)流量監(jiān)控工具,我們可以發(fā)現(xiàn)采用類似QQ等IM軟件進行語音通話時,流量為3-5KB/s,這比原始流量小了一個數(shù)量級。而這主要得益于音頻編碼技術(shù)。 所以,在實際的語音通話應(yīng)用中,編碼這個環(huán)節(jié)是的。目前有很多常用的語音編碼技術(shù),像、iLBC、AAC、SPEEX等等。
當(dāng)一個音頻幀完成編碼后,即可通過網(wǎng)絡(luò)發(fā)送給通話的對方。對于語音對話這樣Realtime應(yīng)用,低延遲和平穩(wěn)是非常重要的,這就要求我們的網(wǎng)絡(luò)傳送非常順暢。
當(dāng)對方接收到編碼幀后,會對其進行解碼,以恢復(fù)成為可供聲卡直接播放的數(shù)據(jù)。
完成解碼后,即可將得到的音頻幀提交給聲卡進行播放。
2.高級功能
如果僅僅依靠上述的技術(shù)就能實現(xiàn)一個效果良好的應(yīng)用于廣域網(wǎng)上的語音對話系統(tǒng),那就太easy了。正是由于很多現(xiàn)實的因素為上述的概念模型引入了眾多挑戰(zhàn),使得網(wǎng)絡(luò)語音系統(tǒng)的實現(xiàn)不是那么簡單,其涉及到很多專業(yè)技術(shù)。一個“效果良好"的語音對話系統(tǒng)應(yīng)該達到如下幾點:低延遲,背景噪音小,聲音流暢、沒有卡、停頓的感覺,沒有回音。青島視頻會議系統(tǒng)安裝公司 -青島寶利通視頻會議 -青島華為視頻會議系統(tǒng)銷售商。寶利通視頻會議系統(tǒng)青島經(jīng)銷商;索尼視頻會議系統(tǒng)青島銷售商;華為視頻會議系統(tǒng)青島銷售商;
對于低延遲,只有在低延遲的情況下,才能讓通話的雙方有很強的Realtime的感覺。當(dāng)然,這個主要取決于網(wǎng)絡(luò)的速度和通話雙方的物理位置的距離,就單純軟件的角度,優(yōu)化的可能性很小。
(1)回音消除
現(xiàn)在大家?guī)缀醵家呀?jīng)都習(xí)慣了在語音時,直接用PC或筆記本的聲音外放功能。當(dāng)使用外放功能時,揚聲器播放的聲音會被麥克風(fēng)再次采集,傳回給對方,這樣對方就聽到了自己的回音。
回音消除的原理簡單地來說就是,回音消除模塊依據(jù)剛播放的音頻幀,在采集的音頻幀中做一些類似抵消的運算,從而將回聲從采集幀中清除掉。這個過程是相當(dāng)復(fù)雜的,因為它還與你時所處的房間的大小、以及你在房間中的位置有關(guān),因為這些信息決定了聲波反射的時長。 智能的回音消除模塊,能動態(tài)調(diào)整內(nèi)部參數(shù),以適應(yīng)當(dāng)前的環(huán)境。
(2)噪聲抑制
噪聲抑制又稱為降噪處理,是根據(jù)語音數(shù)據(jù)的特點,將屬于背景噪音的部分識別出來,并從音頻幀中過濾掉。有很多編碼器都內(nèi)置了該功能。
(3)抖動緩沖區(qū)
抖動緩沖區(qū)(JitterBuffer)用于解決網(wǎng)絡(luò)抖動的問題。所謂網(wǎng)絡(luò)抖動,就是網(wǎng)絡(luò)延遲一會大一會小,在這種情況下,即使發(fā)送方是定時發(fā)送數(shù)據(jù)包的(比如每100ms發(fā)送一個包),而接收方的接收就無法同樣定時了,有時一個周期內(nèi)一個包都接收不到,有時一個周期內(nèi)接收到好幾個包。如此,導(dǎo)致接收方聽到的聲音就是一卡一卡的。青島視頻會議系統(tǒng)安裝公司 -青島寶利通視頻會議 -青島華為視頻會議系統(tǒng)銷售商。寶利通視頻會議系統(tǒng)青島經(jīng)銷商;索尼視頻會議系統(tǒng)青島銷售商;華為視頻會議系統(tǒng)青島銷售商;
JitterBuffer工作于之后,語音播放之前的環(huán)節(jié)。即語音解碼完成后,將解碼幀放入JitterBuffer,聲卡的播放回調(diào)到來時,從JitterBuffer中取出最老的一幀進行播放。
JitterBuffer的緩沖深度取決于網(wǎng)絡(luò)抖動的程度,網(wǎng)絡(luò)抖動越大,緩沖深度越大,播放音頻的延遲就越大。所以,JitterBuffer是利用了較高的延遲來換取聲音的流暢播放的,因為相比聲音一卡一卡來說,稍大一點的延遲但更流暢的效果,其主觀體驗要更好。
當(dāng)然,JitterBuffer的緩沖深度不是一直不變的,而是根據(jù)網(wǎng)絡(luò)抖動程度的變化而動態(tài)調(diào)整的。當(dāng)網(wǎng)絡(luò)恢復(fù)到非常平穩(wěn)通暢時,緩沖深度會非常小,這樣因為JitterBuffer而增加的播放延遲就可以忽略不計了。












所有評論僅代表網(wǎng)友意見,與本站立場無關(guān)。