序論：寫(xiě)作是一種深度的自我表達(dá)。它要求我們深入探索自己的思想和情感，挖掘那些隱藏在內(nèi)心深處的真相，好投稿為您帶來(lái)了七篇語(yǔ)音視頻范文，愿它們成為您寫(xiě)作過(guò)程中的靈感催化劑，助力您的創(chuàng)作。

篇(1)

文章結(jié)合我校大學(xué)英語(yǔ)網(wǎng)絡(luò)教學(xué)改革已進(jìn)行到中期階段的背景，依據(jù)相關(guān)的外語(yǔ)習(xí)得及教學(xué)理論，結(jié)合課題的研究?jī)?nèi)容與目標(biāo)，對(duì)我校正在開(kāi)發(fā)的大學(xué)英語(yǔ)音視頻資源庫(kù)進(jìn)行詳細(xì)論述及深入探討。以資源的準(zhǔn)確性、實(shí)用性、完整性、可擴(kuò)展性為標(biāo)準(zhǔn)，對(duì)教學(xué)資源科學(xué)分類(lèi)整合，構(gòu)建音視頻資源庫(kù)平臺(tái)，服務(wù)于學(xué)生的自主學(xué)習(xí)，提升學(xué)生英語(yǔ)學(xué)習(xí)的興趣與效率，強(qiáng)化他們的自主學(xué)習(xí)能力。并對(duì)后續(xù)存在的問(wèn)題進(jìn)行了探究，提出可行的解決方案。

關(guān)鍵詞

教學(xué)改革；自主學(xué)習(xí)；資源庫(kù)；開(kāi)發(fā)；應(yīng)用

0引言

我校在過(guò)去10年推行了大學(xué)英語(yǔ)網(wǎng)絡(luò)化教學(xué)改革，投入數(shù)百萬(wàn)元建成了13個(gè)網(wǎng)絡(luò)型語(yǔ)音室，構(gòu)建了完善的英語(yǔ)自主學(xué)習(xí)環(huán)境，硬件設(shè)施在省內(nèi)遙遙領(lǐng)先，但在軟件資源建設(shè)及后續(xù)投入上卻乏力。僅創(chuàng)建了網(wǎng)絡(luò)英語(yǔ)學(xué)習(xí)平臺(tái)主頁(yè)，鏈接了外教社的新理念學(xué)習(xí)平臺(tái)，但網(wǎng)站里內(nèi)容不夠充實(shí)，大多是一些外鏈資源，缺乏實(shí)用性和自主性，對(duì)學(xué)生沒(méi)有吸引力。為了構(gòu)建完善的大學(xué)英語(yǔ)自主學(xué)習(xí)與教學(xué)網(wǎng)絡(luò)資源庫(kù)，進(jìn)一步推進(jìn)大學(xué)英語(yǔ)教學(xué)改革進(jìn)程，課題組成員擬用兩年時(shí)間完成大學(xué)英語(yǔ)音視頻資源庫(kù)的開(kāi)發(fā)和建設(shè)，根據(jù)師生應(yīng)用中的反饋意見(jiàn)，積極改進(jìn)各項(xiàng)功能，完善資源庫(kù)。

1資源庫(kù)開(kāi)發(fā)的理論基礎(chǔ)

自主學(xué)習(xí)是以學(xué)生作為學(xué)習(xí)的主體，通過(guò)學(xué)生獨(dú)立地分析、探索、實(shí)踐、質(zhì)疑、創(chuàng)造等方法來(lái)實(shí)現(xiàn)學(xué)習(xí)目標(biāo)，培養(yǎng)學(xué)生搜集和處理信息的能力、獲取新知識(shí)的能力、分析和解決問(wèn)題的能力以及交流與合作的能力?；谶@一觀(guān)點(diǎn)，筆者認(rèn)為大學(xué)英語(yǔ)的自主學(xué)習(xí)應(yīng)是給予每個(gè)學(xué)習(xí)者理想的外語(yǔ)學(xué)習(xí)環(huán)境，通過(guò)教師的引導(dǎo)，充分調(diào)動(dòng)每個(gè)學(xué)習(xí)者的主動(dòng)性，最終達(dá)成英語(yǔ)學(xué)習(xí)的目標(biāo)。而理想的外語(yǔ)學(xué)習(xí)環(huán)境，就目前我校大學(xué)英語(yǔ)教學(xué)改革的現(xiàn)狀，首要任務(wù)就是完善自主學(xué)習(xí)中心，開(kāi)發(fā)建設(shè)大學(xué)英語(yǔ)音視頻資源庫(kù)。美國(guó)著名語(yǔ)言教育家克拉申（Krashen）認(rèn)為：只有當(dāng)習(xí)得者接觸到“可理解的語(yǔ)言輸入”（comprehensiveinput），即略高于他現(xiàn)有語(yǔ)言技能水平的第二語(yǔ)言輸入，而他又能把注意力集中于對(duì)意義或?qū)π畔⒌睦斫舛皇菍?duì)形式的理解時(shí)，才能產(chǎn)生習(xí)得，理想的語(yǔ)言輸入應(yīng)具備可理解性、有趣又相關(guān)、足夠的輸入量等特點(diǎn)。大學(xué)英語(yǔ)音視頻資源庫(kù)的建立正是為了最大限度地為我校學(xué)生提供英語(yǔ)語(yǔ)言學(xué)習(xí)材料和實(shí)踐機(jī)會(huì)，接觸真正的西方社會(huì)與文化，使他們能廣泛而有效地獲取英語(yǔ)語(yǔ)言知識(shí)、從而提高語(yǔ)言習(xí)得能力，真正實(shí)現(xiàn)“有效地輸出”。

2資源庫(kù)開(kāi)發(fā)的重要性

2.1發(fā)展自主學(xué)習(xí)中心的需要

目前國(guó)內(nèi)各高校自主學(xué)習(xí)平臺(tái)主要由兩種路徑形成。一是從出版社直接購(gòu)買(mǎi)的學(xué)習(xí)平臺(tái)，另一個(gè)則是各高校自建的資源庫(kù)。前者可以通過(guò)學(xué)校資金和人力的投入，短期內(nèi)則可以投入使用，形成效果。但校本音視頻資源庫(kù)的建設(shè)是一個(gè)長(zhǎng)期的過(guò)程，需要課題組的持續(xù)努力。通過(guò)建設(shè)有特色的自主學(xué)習(xí)資源庫(kù)，才能為學(xué)生的自主學(xué)習(xí)創(chuàng)造更好的條件，適應(yīng)網(wǎng)絡(luò)化、個(gè)性化英語(yǔ)教學(xué)的需要。

2.2有利于提升英語(yǔ)學(xué)習(xí)興趣、提高學(xué)習(xí)效率

外語(yǔ)教學(xué)的最終目的是培養(yǎng)應(yīng)用語(yǔ)言進(jìn)行有效交流的能力。英語(yǔ)音視頻資源輔助教學(xué)及應(yīng)用于自主學(xué)習(xí)，不僅有利于語(yǔ)言習(xí)得的發(fā)展，而且為學(xué)生提供大量運(yùn)用語(yǔ)言的機(jī)會(huì)，實(shí)現(xiàn)跨文化交流，音視頻是了解西方文化的最好媒介。

2.3豐富教學(xué)方式，實(shí)現(xiàn)教學(xué)創(chuàng)新，提升教師的教育技術(shù)水平

互聯(lián)網(wǎng)+風(fēng)潮要求我們教師既要更新教學(xué)觀(guān)念，又要在課堂教學(xué)模式、教學(xué)內(nèi)容上進(jìn)行創(chuàng)新。建設(shè)英語(yǔ)音視頻資源庫(kù)過(guò)程中可以充分調(diào)動(dòng)老師們的積極性，形成良好的教學(xué)創(chuàng)新氛圍；通過(guò)自學(xué)等途徑提升了現(xiàn)代教育技術(shù)水平，豐富了教學(xué)方式。

3建設(shè)大學(xué)英語(yǔ)音視頻資源庫(kù)的方法與途徑

資源庫(kù)的建設(shè)管理是一項(xiàng)持久而龐大的工程，需要課題組成員通過(guò)各種渠道搜集各類(lèi)資源，進(jìn)行分類(lèi)整理，同時(shí)需要不斷提升現(xiàn)代教育技術(shù)水平。在學(xué)院領(lǐng)導(dǎo)及相關(guān)部門(mén)的大力支持下，贛南師范大學(xué)的英語(yǔ)音視頻資源庫(kù)已基本建設(shè)完成，并投入使用一年多，在師生中產(chǎn)生了非常好的反響。我們主要通過(guò)以下方法與途徑進(jìn)行資源庫(kù)的開(kāi)發(fā)與建設(shè)：（1）數(shù)字化各類(lèi)英語(yǔ)教材。各類(lèi)教材是英語(yǔ)教學(xué)的主要教學(xué)資源，它們也是英語(yǔ)學(xué)習(xí)者的首選材料，具備較好的權(quán)威性及廣泛性。數(shù)字化英語(yǔ)教材，就是把各類(lèi)英語(yǔ)教材附帶的光盤(pán)、磁帶轉(zhuǎn)換成能在計(jì)算機(jī)上保存的音視頻文件，存貯在服務(wù)器上，從而實(shí)現(xiàn)網(wǎng)絡(luò)化共享。在數(shù)字這些素材時(shí)，既要考慮到教材的完整性，也要充分考慮到學(xué)生自主學(xué)習(xí)時(shí)的易用性，根據(jù)用途及層次對(duì)聽(tīng)力材料進(jìn)行分層管理，文件命名均采用見(jiàn)名知義的命名方法，使師生在調(diào)用時(shí)簡(jiǎn)單易懂，實(shí)現(xiàn)快捷訪(fǎng)問(wèn)、高效利用。（2）自主開(kāi)發(fā)點(diǎn)播系統(tǒng)，入庫(kù)優(yōu)質(zhì)資源。視頻資源比音頻資源更加直觀(guān)、形象，是學(xué)生首選的學(xué)習(xí)素材。在我?，F(xiàn)代外語(yǔ)教育技術(shù)應(yīng)用與研究中心的指導(dǎo)幫助下，我們自主設(shè)計(jì)開(kāi)發(fā)了英語(yǔ)視頻點(diǎn)播系統(tǒng)，內(nèi)容涵蓋：①各種英語(yǔ)視頻課程：如學(xué)校自建的精品視頻公開(kāi)課和師生的英語(yǔ)教學(xué)競(jìng)賽視頻，全球知名大學(xué)的視頻公開(kāi)課。②流行英語(yǔ)學(xué)習(xí)課程：如“走遍美國(guó)”、“空中英語(yǔ)教室”等。③主流英語(yǔ)媒體節(jié)目，如中央電視臺(tái)英語(yǔ)頻道，ABC美國(guó)廣播公司，CNN廣播公司等節(jié)目源。④英語(yǔ)演講視頻：如CCTV杯英語(yǔ)風(fēng)采大賽，TED演講集、經(jīng)典演講視頻等。⑤影視資源：我們搜集整理了各類(lèi)影視經(jīng)典資源，包括奧斯卡歷年最佳影片、IMDB最佳影片top250等優(yōu)質(zhì)影視資源。從實(shí)際應(yīng)用情況來(lái)看，該資源是學(xué)生點(diǎn)擊率最高的版塊，可見(jiàn)其受歡迎程度。（3）購(gòu)買(mǎi)適合教學(xué)與自主學(xué)習(xí)的音視頻資源目前教育資源市場(chǎng)上針對(duì)英語(yǔ)學(xué)習(xí)方面的資源庫(kù)是越來(lái)越多，為了與硬件設(shè)設(shè)相配套，完善我校英語(yǔ)網(wǎng)絡(luò)教學(xué)與自主學(xué)習(xí)環(huán)境，我校近些年加大了對(duì)軟件建設(shè)的投入，購(gòu)買(mǎi)了一些重點(diǎn)資源庫(kù)，涵蓋英語(yǔ)學(xué)習(xí)、考試及出國(guó)留學(xué)等音視頻資源，主要包括外語(yǔ)自主學(xué)習(xí)資源庫(kù)、新東方多媒體學(xué)習(xí)庫(kù)、環(huán)球英語(yǔ)網(wǎng)絡(luò)、Fif外語(yǔ)學(xué)習(xí)資源庫(kù)和部分試用資源庫(kù)，極大地豐富了英語(yǔ)教學(xué)與自主學(xué)習(xí)資源，完善了英語(yǔ)網(wǎng)絡(luò)學(xué)習(xí)環(huán)境。（4）制作音視頻資源導(dǎo)航頁(yè)，從互聯(lián)網(wǎng)上下載相關(guān)打包資源?；ヂ?lián)網(wǎng)是英語(yǔ)學(xué)習(xí)、教學(xué)的寶藏，里面有非常豐富、完整的各類(lèi)英語(yǔ)音視頻學(xué)習(xí)、教學(xué)資源等待我們?nèi)ネ诰蛘?，如喬丹NBA經(jīng)典比賽視頻合輯、經(jīng)典足球比賽欣賞、倫敦奧運(yùn)會(huì)開(kāi)幕式、老鷹樂(lè)隊(duì)澳大利亞告別演唱會(huì)等經(jīng)典高清英語(yǔ)資源，由于視頻格式和播放器的局限性，我們通過(guò)迅雷等下載工具直接打包下載到服務(wù)器上，然后再制作資源導(dǎo)航頁(yè)，讓學(xué)生通過(guò)下載到本地的方式進(jìn)行欣賞，這樣既減輕了服務(wù)器的壓力，也使學(xué)生有更多時(shí)間去慢慢領(lǐng)會(huì)其中所包含的文化價(jià)值意義。

4資源庫(kù)的應(yīng)用

有了英語(yǔ)音視頻資源庫(kù)，教師可以直接調(diào)用資源庫(kù)中的教學(xué)資料進(jìn)行課堂教學(xué)，有了英語(yǔ)音視頻資源庫(kù)和其它配套的學(xué)習(xí)系統(tǒng)，教師可以根據(jù)不同專(zhuān)業(yè)學(xué)生特點(diǎn)，采取靈活多樣的教學(xué)，選擇與其專(zhuān)業(yè)相符的教學(xué)內(nèi)容，實(shí)行因材施教，把專(zhuān)業(yè)學(xué)習(xí)與英語(yǔ)學(xué)習(xí)有機(jī)結(jié)合起來(lái)，實(shí)現(xiàn)共贏(yíng)?；谶@些豐富、完整的數(shù)字化資源，學(xué)生們可以根據(jù)自己興趣愛(ài)好和專(zhuān)業(yè)特點(diǎn)，在網(wǎng)絡(luò)型語(yǔ)音室或?qū)嬍以诰€(xiàn)自主學(xué)習(xí)，選擇合適的學(xué)習(xí)內(nèi)容，按照自己的進(jìn)度安排學(xué)習(xí)，實(shí)現(xiàn)高效利用時(shí)間，最終使學(xué)生具備較強(qiáng)的自主學(xué)習(xí)能力，養(yǎng)成良好的自主學(xué)習(xí)習(xí)慣。

5結(jié)束語(yǔ)

通過(guò)教學(xué)實(shí)踐證明，有了基于本校實(shí)際的大學(xué)英語(yǔ)音視頻資源庫(kù)，給老師與學(xué)生帶來(lái)非常大的學(xué)習(xí)能動(dòng)性。教師可以充分利用起網(wǎng)絡(luò)語(yǔ)音室的各項(xiàng)功能，進(jìn)行教學(xué)改革創(chuàng)新，施行因生、因材施教，提高課堂教學(xué)效率，最大化地轉(zhuǎn)化學(xué)習(xí)效果。同時(shí)，基于校園網(wǎng)的學(xué)生在線(xiàn)自主學(xué)習(xí)，通過(guò)選擇與自己水平、興趣相當(dāng)?shù)膶W(xué)習(xí)素材，真正實(shí)現(xiàn)自己學(xué)習(xí)、主動(dòng)學(xué)習(xí)，充分激發(fā)了學(xué)生的求知欲望，打破課堂局限，通過(guò)網(wǎng)絡(luò)互動(dòng)有利地建設(shè)了第二課堂，使學(xué)習(xí)延伸到課外生活中去，從而使學(xué)生真正具備較強(qiáng)的自主學(xué)習(xí)能力，實(shí)現(xiàn)培養(yǎng)目標(biāo)。但我們的研究也存在一些需要改進(jìn)的問(wèn)題。比如隨著智能手機(jī)在學(xué)生中的普及，需要我們將資源進(jìn)行轉(zhuǎn)換，以適應(yīng)安卓、蘋(píng)果手機(jī)上的使用，這對(duì)我們的技術(shù)提出了新的挑戰(zhàn)；另外，老師和學(xué)生才是資源的真正使用者，對(duì)如何選材、使用效果及如何改進(jìn)等方面最有發(fā)言權(quán)，課題組應(yīng)及時(shí)與他們進(jìn)行溝通、問(wèn)卷調(diào)查，進(jìn)一步完善資源庫(kù)，實(shí)現(xiàn)更廣的社會(huì)傳播價(jià)值。

作者：賴(lài)藝 劉忠平 單位：贛南師范大學(xué)外國(guó)語(yǔ)學(xué)院

參考文獻(xiàn)

[2]零月秀,李波.大學(xué)英語(yǔ)聽(tīng)說(shuō)教學(xué)數(shù)字化資源庫(kù)的建設(shè)[J].通化師范學(xué)院學(xué)報(bào),2004.25(1):106-108.

[3]莫錦國(guó).大學(xué)英語(yǔ)自主式教學(xué)資源庫(kù)開(kāi)發(fā)初探[J].外語(yǔ)電化教學(xué),2005(102):36-39.

[4]教育部高等教育司.大學(xué)英語(yǔ)課程教學(xué)要求[M].北京:清華大學(xué)出版社,2007:18-25.

[5]門(mén)斌.大學(xué)英語(yǔ)多媒體網(wǎng)絡(luò)教學(xué)資源庫(kù)的建設(shè)[J].電化教育研究,2009(7):68-72.

[6]甘玲玲.大學(xué)英語(yǔ)自主學(xué)習(xí)：校本網(wǎng)絡(luò)資源庫(kù)的開(kāi)發(fā)[J].百色學(xué)院學(xué)報(bào),2009.22(6):104-107.

[7]海霞.新疆大學(xué)英語(yǔ)教學(xué)網(wǎng)絡(luò)資源庫(kù)建設(shè)調(diào)查報(bào)告[J].新疆廣播電視大學(xué)學(xué)報(bào),2011(3):54-56.

[8]郭繼榮,戴煒棟.大學(xué)生英語(yǔ)自主學(xué)習(xí)評(píng)價(jià)實(shí)證研究[J].外語(yǔ)界,2011(6):79-87:

篇(2)

關(guān)鍵詞：軟件；音頻；視頻；采集；壓縮；傳輸

中圖分類(lèi)號(hào)：TN919.8

本文闡述了一種基于軟件的IP音視頻通信系統(tǒng)解決方案。本系統(tǒng)優(yōu)點(diǎn)：音視頻采集設(shè)備簡(jiǎn)單，投資??；采用軟件壓縮，便于升級(jí)，可按需定制；純C語(yǔ)言開(kāi)發(fā)，效率高，易于集成和移植，可以在Windows和Linux操作系統(tǒng)上運(yùn)行；傳輸與采集模塊分離，便于維護(hù)；采用標(biāo)準(zhǔn)網(wǎng)絡(luò)協(xié)議棧設(shè)計(jì)，擴(kuò)展性好；可以支持多種音視頻采集和播放架構(gòu)；不需要架設(shè)服務(wù)器，無(wú)中心，抗毀性強(qiáng)；支持多種音視頻編解碼標(biāo)準(zhǔn)，可擴(kuò)展；可以根據(jù)網(wǎng)絡(luò)狀況限制視頻編解碼器碼率，減輕對(duì)網(wǎng)絡(luò)的壓力，適于在低帶寬條件下使用；可支持點(diǎn)到點(diǎn)音視頻通信，同時(shí)支持音頻組播通信；基于PC平臺(tái)開(kāi)發(fā)，架設(shè)簡(jiǎn)單，無(wú)需額外硬件支持；不需要SIP協(xié)議握手，網(wǎng)絡(luò)開(kāi)銷(xiāo)低。

1 系統(tǒng)描述

本系統(tǒng)可以支持的音頻采集與播放架構(gòu)包括：mme（Windows）、alsa（Linux）、oss（Linux）和arts（Linux）等?？梢灾С值囊曨l采集與播放架構(gòu)包括：v4w（Windows）、directshow（Windows）、v4l（Linux）、v4l2（Linux）和SDL（Linux）等。

本系統(tǒng)可以支持的視頻編解碼標(biāo)準(zhǔn)包括H264、H263、theora、mp4v和x-snow等。本系統(tǒng)可支持的音頻編解碼標(biāo)準(zhǔn)細(xì)節(jié)如表1。

RTP協(xié)議（Real-time Transport Protocol）提供具有實(shí)時(shí)特征的、端到端的數(shù)據(jù)傳送服務(wù)，可用來(lái)傳送聲音和運(yùn)動(dòng)圖像數(shù)據(jù)。在這項(xiàng)數(shù)據(jù)傳送服務(wù)中包含了裝載數(shù)據(jù)的標(biāo)識(shí)符、序列計(jì)數(shù)、時(shí)戳和傳送監(jiān)視。通常RTP的協(xié)議元是用UDP協(xié)議元來(lái)裝載的，并利用UDP的復(fù)用和校驗(yàn)和來(lái)實(shí)現(xiàn)RTP的復(fù)用。RTP包括兩個(gè)關(guān)系十分密切的子協(xié)議：實(shí)時(shí)傳輸協(xié)議（RTP），用于傳輸實(shí)時(shí)數(shù)據(jù)；實(shí)時(shí)控制協(xié)議（RTCP），用于監(jiān)視網(wǎng)絡(luò)的服務(wù)質(zhì)量[2]。RTP包協(xié)議格式如圖2所示。

圖2 RTP協(xié)議格式

語(yǔ)音組播基于組播成員管理協(xié)議IGMP（Internet Group Management Protocol）。IGMP協(xié)議作用在主機(jī)和與主機(jī)直接相連的組播路由器之中，主機(jī)使用IGMP協(xié)議通知本地邊緣組播路由器，告知其想加入的組播組，組播路由器通過(guò)IGMP協(xié)議來(lái)維護(hù)組播組成員列表，并定期發(fā)送詢(xún)問(wèn)信息詢(xún)問(wèn)組播成員是否在線(xiàn)[3]。

圖3 IGMPv2協(xié)議格式

2 模塊實(shí)現(xiàn)

圖4 系統(tǒng)軟件模塊結(jié)構(gòu)圖

本系統(tǒng)軟件模塊結(jié)構(gòu)圖如圖4所示。oRTP庫(kù)主要實(shí)現(xiàn)RTP協(xié)議棧，尊從開(kāi)源LGPL許可證。ffmpeg是一個(gè)開(kāi)源免費(fèi)跨平臺(tái)的視頻和音頻流解決方案，屬于自由軟件，依據(jù)你選擇的組件尊從開(kāi)源LGPL（GNU Library General Public License）或開(kāi)源GPL（GNU General Public License）許可證。speex是一套主要針對(duì)語(yǔ)音的開(kāi)源免費(fèi)，無(wú)專(zhuān)利保護(hù)的音頻壓縮格式庫(kù)。mediastreamer2庫(kù)主要負(fù)責(zé)音視頻編解碼、采集、播放和回音消除，尊從開(kāi)源GPL許可證。

msx264庫(kù)是一個(gè)H264視頻編碼器插件，尊從開(kāi)源GPL許可證。msilbc庫(kù)是iLBC語(yǔ)音編解碼器插件，尊從開(kāi)源GPL許可證。msbcg729是Sipro實(shí)驗(yàn)室開(kāi)發(fā)的基于G729A標(biāo)準(zhǔn)的專(zhuān)利語(yǔ)音編解碼器插件。msamr庫(kù)是AMR窄帶專(zhuān)利語(yǔ)音編解碼器插件。mssilk庫(kù)是軟電話(huà)Skype專(zhuān)用的專(zhuān)利語(yǔ)音編解碼器插件。mediastreamer2可以以插件的形式擴(kuò)展msx264、msilbc、msbcg729、msamr和mssilk。筆者主要開(kāi)發(fā)了圖4中上層API調(diào)用部分。

3 應(yīng)用效果

為了驗(yàn)證通信效果，筆者搭建了3臺(tái)筆記本電腦組成的演示系統(tǒng)，分別安裝Windows XP、Windows 7和ubuntu Linux操作系統(tǒng)，筆記本之間通過(guò)WiFi互聯(lián)，演示系統(tǒng)沒(méi)有中心服務(wù)器，每個(gè)筆記本的地位是平等的，任何一臺(tái)筆記本關(guān)機(jī)不會(huì)影響其他筆記本的正常音視頻通信，如圖5所示。

圖5 演示系統(tǒng)結(jié)構(gòu)圖

任意2臺(tái)筆記本之間可以進(jìn)行點(diǎn)到點(diǎn)音視頻通信，在采用H264視頻編解碼標(biāo)準(zhǔn)的情況下，限制視頻通信占用帶寬上限100kbps，PC1和PC2之間的視頻通信效果如圖6所示，視頻分辨率352×288。左側(cè)大窗口是PC2傳給PC1的視頻，右下方的小窗口是PC1本地?cái)z像頭采集的視頻。右側(cè)大窗口是PC1傳給PC2的視頻，右下方的小窗口是PC2本地?cái)z像頭采集的視頻。

圖6 視頻通信效果圖

如圖6，在限制msx264編碼器碼率100kbps條件下，PC1和PC2之間的視頻通信效果比較清晰。

3臺(tái)筆記本可以實(shí)現(xiàn)點(diǎn)到點(diǎn)或者組播（1發(fā)2收）語(yǔ)音通信，音質(zhì)清晰。算上IP/UDP頭等協(xié)議棧開(kāi)銷(xiāo)，iLBC占用帶寬約30kbps，speex占用帶寬約18kbps，寬帶speex占用帶寬約26kbps。

4 結(jié)束語(yǔ)

本系統(tǒng)是一套完整的音視頻通信解決方案，擴(kuò)展性好，通用性強(qiáng)，可跨平臺(tái)移植，架設(shè)簡(jiǎn)單，抗毀性強(qiáng)，可以在較低帶寬條件下進(jìn)行清晰、實(shí)時(shí)的點(diǎn)到點(diǎn)/組播音視頻通信。

參考文獻(xiàn)：

[1]Comparison of audio formats[EB/OL].http：///wiki/Comparison_of_audio_formats.

[2]Zourzouvillys，T.Rescorla，E.An Introduction to Standards-Based VoIP：SIP，RTP，and rnet Computing，IEEE Journal gazines， lume：14，Issue：2，Publication Year：2010，Page（s）：69-73.

[3]Tian Yonghui；Hu，R.A Resolution for IGMP V3 Protocol Using Finite State Machine.2012 International Conference on Computer Science and Electronics Engineering（ICCSEE）.IEEE Conference Publications.Volume：2，Publication Year：2012，Page（s）：517-520.

篇(3)

分系統(tǒng)設(shè)計(jì)方案

1單兵圖傳設(shè)備

單兵無(wú)線(xiàn)圖像傳輸模塊的功能是：實(shí)現(xiàn)3km范圍內(nèi)無(wú)線(xiàn)視頻通信。所采用的關(guān)鍵技術(shù)是編碼正交頻分復(fù)用（COFDM）技術(shù)和TDD時(shí)分雙工技術(shù)?；贑OFDM的單兵無(wú)線(xiàn)圖像傳輸模塊由兩個(gè)部分組成：?jiǎn)伪l(fā)射機(jī)和中心接收模塊。單兵發(fā)射機(jī)設(shè)備可以實(shí)現(xiàn)現(xiàn)場(chǎng)視頻數(shù)據(jù)的單向采集和發(fā)送，以及雙向語(yǔ)音通信；中心接收模塊接收視頻信號(hào)并進(jìn)行解碼和播放，同時(shí)支持和單兵的雙向語(yǔ)音通信，圖2是其原理框圖。

2應(yīng)急指揮箱

應(yīng)急指揮箱系統(tǒng)基于3G通信及IP軟交換通信技術(shù)和DSP信號(hào)處理技術(shù)，能支持1至3公里范圍內(nèi)無(wú)線(xiàn)單兵音視頻傳輸、EVDO/WCDMA等3G音視頻通訊[2-3]，支持CDMA手機(jī)、GSM手機(jī)、2路電臺(tái)/對(duì)講機(jī)等語(yǔ)音信號(hào)接入，網(wǎng)絡(luò)狀況自檢測(cè)及視頻編碼率自動(dòng)調(diào)整，1路音視頻輸入，支持視頻抓拍、錄像、點(diǎn)播及3G視頻會(huì)議[4]功能。設(shè)計(jì)原理框圖如圖3所示。

3IP互聯(lián)互通設(shè)備

IP互聯(lián)互通設(shè)備是基于先進(jìn)的IP軟交換通信技術(shù)和DSP信號(hào)處理技術(shù)研制開(kāi)發(fā)的新一代智能IP互聯(lián)互通調(diào)度通信系統(tǒng)[5]。其主要功能如下：1）具備多網(wǎng)交換功能，可在有線(xiàn)電話(huà)系統(tǒng)、短波通信系統(tǒng)、超短波常規(guī)通信系統(tǒng)、GSM移動(dòng)電話(huà)通信系統(tǒng)、CDMA移動(dòng)電話(huà)通信系統(tǒng)、衛(wèi)星電話(huà)、模擬或數(shù)字集群等不同系統(tǒng)間進(jìn)行話(huà)音通信。2）具備座席調(diào)度功能，即多個(gè)通過(guò)不同通信手段呼入時(shí)，控制臺(tái)可進(jìn)行調(diào)度把呼叫分配給不同的座席。3）具備超強(qiáng)的業(yè)務(wù)功能，支持有無(wú)線(xiàn)通話(huà)自動(dòng)或人工轉(zhuǎn)接兩種方式、一號(hào)通、語(yǔ)音短消息自動(dòng)、錄音、監(jiān)聽(tīng)、強(qiáng)插、強(qiáng)拆、跨網(wǎng)多方會(huì)議等功能。

技術(shù)特點(diǎn)

1基于TDD雙工模式的多點(diǎn)自組網(wǎng)技術(shù)

指揮箱和單兵之間可以通過(guò)時(shí)分雙工（TDD）的模式實(shí)現(xiàn)多點(diǎn)同時(shí)接入，也可以實(shí)現(xiàn)多跳中繼。系統(tǒng)采用時(shí)分多址（TDMA）方式和時(shí)分雙工（TDD[6]）方式。TDMA時(shí)分多址是把時(shí)間分割成周期性的幀，每一個(gè)幀再分割成若干個(gè)時(shí)隙。單兵給指揮箱發(fā)送信號(hào)時(shí)，在滿(mǎn)足定時(shí)和同步的條件下，指揮箱可以分別在各時(shí)隙中接收到各個(gè)單兵的信號(hào)而不混擾。同時(shí)，指揮箱發(fā)向多個(gè)單兵的信號(hào)都按順序安排在規(guī)定的時(shí)隙中傳輸，各單兵只要在指定的時(shí)隙內(nèi)接收，就能在合路的信號(hào)中把發(fā)給它的信號(hào)區(qū)分并接收下來(lái)。TDD雙工方式的上下行鏈路信道都采用相同的頻率，上下行信道占用不同的時(shí)隙，利用時(shí)間轉(zhuǎn)換開(kāi)關(guān)的轉(zhuǎn)換實(shí)現(xiàn)上下行雙向通信，通過(guò)時(shí)間轉(zhuǎn)換開(kāi)關(guān)的靈活設(shè)置，可以較好的支持上下行不對(duì)稱(chēng)業(yè)務(wù)?；赥DD[7]雙工的組網(wǎng)形式可以根據(jù)現(xiàn)場(chǎng)情況不同分為兩種形式，一種方法如圖4所示，是以指揮箱為中心，實(shí)現(xiàn)周?chē)帱c(diǎn)覆蓋，多個(gè)前端圖像數(shù)據(jù)采集點(diǎn)信息同時(shí)接入指揮箱；另一種方法是如圖5所示，以某一個(gè)或兩個(gè)點(diǎn)為中繼，通過(guò)多跳傳輸，實(shí)現(xiàn)遠(yuǎn)距離覆蓋。

2多種語(yǔ)音網(wǎng)絡(luò)互聯(lián)技術(shù)

語(yǔ)音通信是系統(tǒng)不可或缺的一部分，作為語(yǔ)音通信的核心技術(shù)-多種語(yǔ)音網(wǎng)絡(luò)互聯(lián)技術(shù)是項(xiàng)目攻克的又一難關(guān)。多種語(yǔ)音網(wǎng)絡(luò)互聯(lián)技術(shù)[8]的功能是實(shí)現(xiàn)集群、電臺(tái)、對(duì)講機(jī)、手機(jī)、固定電話(huà)、網(wǎng)絡(luò)電話(huà)等多種語(yǔ)音通信網(wǎng)絡(luò)的互連互通，本系統(tǒng)充分考慮不同制式的通信方式的接口定義，做到接口統(tǒng)一，實(shí)現(xiàn)較好的語(yǔ)音質(zhì)量。其設(shè)計(jì)原理是采集對(duì)講機(jī)、集群、手機(jī)等通信終端的模擬信號(hào)，采樣后轉(zhuǎn)換成數(shù)字信號(hào)，進(jìn)一步打包成網(wǎng)絡(luò)數(shù)據(jù)包，在IP層上實(shí)現(xiàn)各種語(yǔ)音網(wǎng)絡(luò)的互連互通。和Voip網(wǎng)關(guān)比較，異種語(yǔ)音互連通信模塊增加了對(duì)無(wú)線(xiàn)電臺(tái)和GSM/CDMA的支持。需要注意的是，在實(shí)際應(yīng)用中，對(duì)講機(jī)/電臺(tái)的種類(lèi)較多，其通話(huà)的語(yǔ)音大小差別較大，因此如何兼容不同功率的輸入終端是研究的難點(diǎn)。異種語(yǔ)音互連通信模塊的結(jié)構(gòu)框圖如圖6所示。

篇(4)

關(guān)鍵詞：音視頻信號(hào)；同步技術(shù)

中圖分類(lèi)號(hào)：TN919.8文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)：1007-9599 (2012) 06-0000-02

進(jìn)入21世紀(jì)以后，計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)以及寬帶通信技術(shù)得到了飛速發(fā)展，同時(shí)它也為多媒體通信技術(shù)的發(fā)展奠定了基礎(chǔ)。就目前而言，多媒體在不同領(lǐng)域都得到了廣泛的應(yīng)用，例如視頻會(huì)議、遠(yuǎn)程教學(xué)、視頻電話(huà)以及遠(yuǎn)程低碼率媒體協(xié)同工作等等。而媒體間的同步技術(shù)就是支持這些多媒體能夠正常應(yīng)用的一個(gè)關(guān)鍵技術(shù)。如果要實(shí)現(xiàn)音頻和視頻的同步，就需要使音視頻信號(hào)的同步采集、壓縮、傳輸以及同步播放等問(wèn)題得到很好地需要解決，而解決這些問(wèn)題的最終目的就是實(shí)現(xiàn)客戶(hù)端的圖像和聲音的同步播放。

一、音視頻系統(tǒng)中的同步技術(shù)的概念

對(duì)于音視頻系統(tǒng)的同步技術(shù)，是指具有兩種或者兩種以上的多媒體事件按照一定的時(shí)間順序關(guān)系進(jìn)行播放，同時(shí)也可以用來(lái)實(shí)現(xiàn)多個(gè)媒體事件在時(shí)間域中的播放機(jī)制或過(guò)程的協(xié)調(diào)工作。采用同步技術(shù)可以控制并協(xié)調(diào)兩種或者兩種以上的媒體事件，在其同步播放的過(guò)程中其內(nèi)在本質(zhì)或由指定所決定的進(jìn)展和聯(lián)系。

我們?nèi)绻凑諘r(shí)間關(guān)系來(lái)對(duì)同步進(jìn)行劃分的話(huà)，可將同步劃分為三類(lèi)：媒體流之間的同步、媒體流內(nèi)的同步以及媒體對(duì)象之間的同步。這三類(lèi)同步是組成多媒體同步的三個(gè)主要層次，并且媒體流內(nèi)的同步是在同一個(gè)時(shí)間相關(guān)媒體流內(nèi)而進(jìn)行的。我們可以發(fā)現(xiàn)，由于文字、圖像等與時(shí)間無(wú)關(guān)的媒體，并不存在這種所謂的同步問(wèn)題。

二、應(yīng)用音視頻信號(hào)同步技術(shù)的重要性

目前，由于許多時(shí)間相關(guān)性數(shù)據(jù)類(lèi)型被引入多媒體系統(tǒng)，在建立過(guò)程中這些多媒體數(shù)據(jù)的時(shí)間相關(guān)性往往被隱含，特別是對(duì)于活動(dòng)視頻的圖像序列，很多情況下都是由用戶(hù)自己定義的。在多媒體系統(tǒng)中就必須體現(xiàn)時(shí)間相關(guān)性必須體現(xiàn)，此外由于存儲(chǔ)、通信和計(jì)算會(huì)導(dǎo)致系統(tǒng)延遲，在數(shù)據(jù)演示過(guò)程中也是必須克服的。對(duì)于以上的這些特定要求，都迫使我們引進(jìn)先進(jìn)的同步技術(shù)來(lái)加以解決。

三、MPEG音視頻同步壓縮方法

（一）MPEG的標(biāo)準(zhǔn)

目前，MPEG標(biāo)準(zhǔn)主要可分為五個(gè)，分別為MPEG-1、MPEG-2、MPEG-4、MPEG-7以及MPEG-21等。我們常常說(shuō)的MPEG標(biāo)準(zhǔn)的視頻壓縮編碼技術(shù)，它是利用了具有運(yùn)動(dòng)補(bǔ)償功能的幀間壓縮編碼技術(shù)，從而達(dá)到了減小時(shí)間冗余度的目的；并且也利用了DCT技術(shù)，實(shí)現(xiàn)減小圖像空間冗余度的目的；還利用了熵編碼，這就使其在信息表示方面實(shí)現(xiàn)減小統(tǒng)計(jì)冗余度的目的。這些技術(shù)的運(yùn)用，使其壓縮性能得到很大增強(qiáng)。

（二）MPEG-4的優(yōu)點(diǎn)

（1）MPEG-4的優(yōu)點(diǎn)在于它可以在低帶寬等條件設(shè)計(jì)算法，這樣就使得MPEG4的壓縮比更高，從而就達(dá)到了低碼率的視頻傳輸?shù)男Ч?。并且它可以使用公用電?huà)線(xiàn)來(lái)進(jìn)行連續(xù)傳輸視頻，圖像的質(zhì)量也是可以保證的，這一點(diǎn)是其它技術(shù)做不到的。

（2）可以很大程度上節(jié)省存儲(chǔ)空間。如果在同樣的條件下，經(jīng)過(guò)編碼處理的圖像文件就會(huì)越小，相對(duì)而言所占用的存儲(chǔ)空間也就越小。和MPEG-1、MPEG-2相比MPEG-4算法更加優(yōu)化，因而它的壓縮效率更高。

（3）所傳送的圖像質(zhì)量好。由于MPEG4的最高圖像清晰度為768X576，基本上達(dá)到DVD的畫(huà)面效果。此外，相對(duì)于其它的壓縮技術(shù)來(lái)說(shuō)，MPEG4算法上的不具有局限性，它可以保證畫(huà)面中出現(xiàn)快速運(yùn)動(dòng)的人或者物體等的圖像質(zhì)量不會(huì)下降，從而使畫(huà)面清晰度得到保證。

四、關(guān)于MPEG-4音視頻的同步方案的設(shè)計(jì)與實(shí)現(xiàn)

（一）對(duì)音視頻的同步系統(tǒng)的硬件進(jìn)行設(shè)計(jì)

對(duì)于系統(tǒng)硬件的設(shè)計(jì)，該系統(tǒng)在pSOS實(shí)時(shí)嵌入式操作系統(tǒng)下運(yùn)行，所用的開(kāi)發(fā)語(yǔ)言是C語(yǔ)言。能夠選擇使用的軟件包有以下幾種：IADK和NDK集成應(yīng)用開(kāi)發(fā)包以及DVE-2開(kāi)發(fā)板自帶的板支持包BSP。對(duì)于DVE-2板來(lái)說(shuō)，它集成了音視頻采集模塊等部件，并且可以把音視頻信號(hào)儲(chǔ)存在閃存里，或者可以通過(guò)以太網(wǎng)、PCI、RS232或者JTAG接口來(lái)對(duì)外傳輸，它的設(shè)計(jì)是為了滿(mǎn)足當(dāng)前數(shù)字音視頻以及網(wǎng)絡(luò)傳輸為核心的DSP發(fā)展需要。目前DVE-2的應(yīng)用范圍很廣，它包括了MPEG／JPEG視頻／圖像的壓縮、解壓以及視頻電話(huà)與視頻會(huì)議等等。

（二）制訂MPEG-4基本碼流的同步方案

同步層打包，是指流在同步層中的一個(gè)基本碼流被映射成一個(gè)帶有時(shí)間標(biāo)記的數(shù)據(jù)包序列，它是將基本的流數(shù)據(jù)進(jìn)行整理在一起后，把其變成訪(fǎng)問(wèn)單元AU或者訪(fǎng)問(wèn)單元的一部分，每路同步層對(duì)應(yīng)相應(yīng)的一路基本流?；敬a流接口就是很好地對(duì)打包信息的抽象接口進(jìn)行描述，而打包信息用來(lái)在產(chǎn)生基本碼流的實(shí)體和同步層之間的交換信息的。

我們所說(shuō)的同步層打包流，是通過(guò)一種傳輸機(jī)制被傳輸?shù)?，而且該傳輸機(jī)制并不是在MPEG-4的標(biāo)準(zhǔn)范圍之內(nèi)，它僅僅只在DMIF應(yīng)用接口(DAI)中被描述，而DAI可以對(duì)同步層和傳輸機(jī)制間對(duì)指定的信息進(jìn)行交換，該種傳輸機(jī)制就是同步層產(chǎn)生的數(shù)據(jù)包的組幀。

對(duì)于SL數(shù)據(jù)包，它是這樣的數(shù)據(jù)包，即同步層指定基本碼流數(shù)據(jù)進(jìn)行打包，然后打包成訪(fǎng)問(wèn)單元或者是把它當(dāng)成訪(fǎng)問(wèn)單元的一部分的語(yǔ)法。對(duì)于一個(gè)音頻流，一般情況下一個(gè)訪(fǎng)問(wèn)單元只對(duì)應(yīng)一個(gè)音頻幀；同樣，對(duì)于一個(gè)視頻流，一般情況下一個(gè)訪(fǎng)問(wèn)單元也只對(duì)應(yīng)一個(gè)視頻幀。而對(duì)于A(yíng)U單元，它們的內(nèi)容由于不透明性，這就意味著同步層對(duì)基本碼流數(shù)據(jù)的打包是以AU單元為單位進(jìn)行的，并且它是同步層中唯一需要在端到端保護(hù)的語(yǔ)義數(shù)據(jù)。一個(gè)SL的數(shù)據(jù)包，它是由一個(gè)數(shù)據(jù)包和一個(gè)包頭有效載荷組合而成。對(duì)于包頭來(lái)說(shuō)，它是可以防止數(shù)據(jù)丟失的連續(xù)性提供檢驗(yàn)的方法，并且攜帶有表示時(shí)間戳和相關(guān)信息的編碼。對(duì)于該數(shù)據(jù)包并不包含長(zhǎng)度信息，而長(zhǎng)度信息會(huì)留給傳輸協(xié)議層加入，因?yàn)樗枰捎煤线m的低層協(xié)議來(lái)進(jìn)行組幀，不然就是不可以對(duì)其進(jìn)行存儲(chǔ)和解碼的。

（三）對(duì)音視頻的同步系統(tǒng)模塊進(jìn)行設(shè)計(jì)

對(duì)于模擬音頻信號(hào)來(lái)說(shuō)，它是通過(guò)使用音頻編解碼芯片來(lái)實(shí)現(xiàn)數(shù)字音頻信號(hào)的轉(zhuǎn)換，然后把轉(zhuǎn)換好的信號(hào)輸入PNXl300，對(duì)其進(jìn)行G.722語(yǔ)音信號(hào)的編碼。該系統(tǒng)并不需要在板子上同時(shí)實(shí)現(xiàn)編解碼，而只是需要將輸入的模擬音頻信號(hào)通過(guò)A／D轉(zhuǎn)換之后，然后把轉(zhuǎn)換好的信號(hào)輸入PNXl300芯片內(nèi)編碼成G.722的SB.ADPCM碼流，該碼流加上同步層的包頭，就可以形成SL音頻包，從而就可以實(shí)現(xiàn)和視頻的同步。

對(duì)視頻數(shù)據(jù)的采集，它是通過(guò)一個(gè)視頻輸入定時(shí)中斷函數(shù)VI來(lái)實(shí)現(xiàn)的。通常我們把視頻數(shù)據(jù)都儲(chǔ)存在可以進(jìn)行高速讀寫(xiě)的SDRAM中，這樣就可以大幅度地提升系統(tǒng)的實(shí)時(shí)響應(yīng)速度，這樣也就使其特別適用于實(shí)時(shí)應(yīng)用的同步環(huán)境。同時(shí)，對(duì)所采集的數(shù)據(jù)要經(jīng)過(guò)亞采樣，這樣就使得采集的數(shù)據(jù)從Yuv4：2：2格式轉(zhuǎn)換成為YUV4：2：0格式，最后被轉(zhuǎn)換的數(shù)據(jù)就被送到編碼器進(jìn)行編碼。

（四）MPEG-4的音視頻同步的實(shí)現(xiàn)

為了能夠得到想要的流暢的語(yǔ)音以及視頻信息，我們首先就應(yīng)該考慮對(duì)多媒體的同步問(wèn)題進(jìn)行解決。在一般情況下可以把一個(gè)流媒體視頻系統(tǒng)劃分為五個(gè)主要的部分：媒體進(jìn)行數(shù)據(jù)的采集、編碼的壓縮、網(wǎng)絡(luò)的傳輸、解碼以及媒體表現(xiàn)。為了使音視頻同步達(dá)到預(yù)定的效果，就需要對(duì)各個(gè)部分采取相應(yīng)的策略。

作為處在接收端的音頻信號(hào)與視頻信號(hào)的同步而言。就需要在收到音頻、視頻數(shù)據(jù)之后，把音頻、視頻數(shù)據(jù)分別放到語(yǔ)音播放緩沖區(qū)和視頻播放緩沖區(qū)中，并且要定時(shí)從音頻緩沖區(qū)中提取音頻數(shù)據(jù)來(lái)進(jìn)行播放，在視頻播放的過(guò)程中，如果發(fā)現(xiàn)所取出的音頻時(shí)間戳和視頻的時(shí)間戳相當(dāng)?shù)奈呛?，在這種情況下就可以同時(shí)播放相應(yīng)視頻。由于每個(gè)人的聽(tīng)覺(jué)相對(duì)較視覺(jué)而言敏感，因此在固定頻率聲音播放時(shí)，如果出現(xiàn)暫時(shí)的停頓或者速率忽高忽低都使人難以接受。可知，在對(duì)于音視頻進(jìn)行同步處理時(shí)，音頻數(shù)據(jù)就應(yīng)該起到主導(dǎo)的作用，而視頻數(shù)據(jù)就必須以音頻作為參考。

五、經(jīng)驗(yàn)總結(jié)

總而言之，隨著信息化腳步的不斷加快，人們對(duì)音頻視頻信號(hào)同步的要求也越來(lái)越強(qiáng)烈。而如果想實(shí)現(xiàn)音頻和視頻的同步，就需要使音視頻信號(hào)的同步采集、壓縮、傳輸以及同步播放這五個(gè)主要的部分上下工夫，來(lái)解決音視頻不同步的問(wèn)題。

參考文獻(xiàn)：

[1]儀雄,余松煜,莊建敏.MPEG-2傳輸流中的時(shí)間信息與音視頻同步[J].紅外與激光工程,2000

[2]鄭慶華.分布式多媒體同步中表現(xiàn)質(zhì)量的參數(shù)計(jì)算[J].通訊學(xué)報(bào),1999

[3]常義林,楊付正.H.323同步控制實(shí)現(xiàn)研究[J].通信學(xué)報(bào),2004

篇(5)

能源行業(yè)應(yīng)用需求良好擴(kuò)展兼容才能滿(mǎn)足溝通

能源機(jī)構(gòu)需要跨市跨省甚至跨國(guó)溝通處理內(nèi)部事務(wù)，必須具有良好的擴(kuò)展性與兼容性，不僅可以無(wú)縫連接分

布在各地的不同網(wǎng)絡(luò)，且能夠與原有的視頻設(shè)備實(shí)現(xiàn)良好的兼容。

高保真音視頻才能廣泛應(yīng)用

能源行業(yè)會(huì)議眾多，經(jīng)常需要通過(guò)音視頻交流來(lái)協(xié)同辦公，必須擁有高保真的、品質(zhì)良好的音視頻效果。

傳輸安全可靠才能安全放心

能源行業(yè)的生產(chǎn)和一切業(yè)務(wù)都把安全放在首位，視頻會(huì)議系統(tǒng)傳輸?shù)囊磺袛?shù)據(jù)也必須安全可靠。

靈活的擴(kuò)展性與兼容性

不同的地理?xiàng)l件會(huì)導(dǎo)致各地的網(wǎng)絡(luò)情況迥異，對(duì)視頻會(huì)議有一定影響，但由于A(yíng)VCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)能適應(yīng)多種網(wǎng)絡(luò)接入方式，強(qiáng)大的播服務(wù)，跨越內(nèi)外網(wǎng)，支持通過(guò)、網(wǎng)關(guān)、路由等各種上網(wǎng)方式，還具有優(yōu)良的網(wǎng)絡(luò)支持性、擴(kuò)展性、互聯(lián)性和兼容性。同時(shí)，AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)能支持多種操作系統(tǒng)，各平臺(tái)之間實(shí)現(xiàn)無(wú)縫連接，不需用戶(hù)更改自己現(xiàn)有的網(wǎng)絡(luò)，最大程度方便用戶(hù)的多網(wǎng)絡(luò)連接與跨系統(tǒng)平臺(tái)操作。

一流的音視頻效果

針對(duì)能源機(jī)構(gòu)遍布全國(guó)各地、對(duì)音視頻效果的特殊要求，AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)采用國(guó)際領(lǐng)先的H264及自創(chuàng)的X264CBR、X264VBR網(wǎng)絡(luò)視頻編解碼技術(shù)和G723.1AVCONWB音頻多媒體壓縮技術(shù)，支持TCP、UDP、AUTO方式的音視頻傳輸。同時(shí)AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)支持GIPS算法具有高保真的語(yǔ)音品質(zhì)，具有回音消除、自動(dòng)增益、噪音抑制、靜音檢測(cè)、平滑處理等功能特點(diǎn)，保證了音視頻的清晰流暢圓潤(rùn)，使任何異地或是本地的會(huì)議清晰流暢。

無(wú)可比擬的安全性與穩(wěn)定性

1）雙重加密，保障安全

AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)使用統(tǒng)一、完備的權(quán)限控制體系，保證每一個(gè)用戶(hù)在系統(tǒng)中身份是唯一的。采用H.235加密和128位AES硬件加密技術(shù)，可以有效的隔絕來(lái)自外部網(wǎng)絡(luò)的攻擊，杜絕信息在傳輸過(guò)程中可能的泄漏情況。另外，雙重權(quán)限認(rèn)證，也能保障會(huì)議信息不被泄漏，使AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)具有極高的安全性。

2）MCU多級(jí)集連、互聯(lián)完善系統(tǒng)穩(wěn)定

MCU支持多級(jí)集聯(lián)、網(wǎng)絡(luò)優(yōu)化、集連、容錯(cuò)技術(shù)，當(dāng)其中任一個(gè)MCU發(fā)生崩潰、斷電或遭受病毒攻擊等意外情況時(shí)，其它分MCU可接管已喪失功能的MCU，以保證系統(tǒng)的正常使用。

AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)以其強(qiáng)大的應(yīng)用功能，為能源行業(yè)打造了一套視訊業(yè)內(nèi)性?xún)r(jià)比最佳的網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)。AVCON網(wǎng)絡(luò)視頻會(huì)議系統(tǒng)全新感受的音視頻效果，將使用戶(hù)在應(yīng)用中真實(shí)感受多維的工作空間，使協(xié)同辦公如處一室、異地會(huì)議身臨其境，大大提高了工作效率。

篇(6)

該系統(tǒng)由前端音視頻采集設(shè)備、安全監(jiān)控儀、3G無(wú)線(xiàn)傳輸設(shè)備、和指揮中心平臺(tái)系統(tǒng)組成。前端音視頻采集設(shè)備將現(xiàn)場(chǎng)音視頻信號(hào)經(jīng)過(guò)安全監(jiān)控儀壓縮處理后，通過(guò)3G無(wú)線(xiàn)傳輸設(shè)備回傳監(jiān)控指揮中心平臺(tái)，監(jiān)控指揮中心平臺(tái)對(duì)接收到的音視頻信號(hào)經(jīng)解碼后儲(chǔ)存到存儲(chǔ)服務(wù)器，相關(guān)負(fù)責(zé)人可以通過(guò)Internet網(wǎng)絡(luò)遠(yuǎn)程監(jiān)看施工現(xiàn)場(chǎng)的音視頻信號(hào)，同時(shí)可以與現(xiàn)場(chǎng)作業(yè)人員實(shí)現(xiàn)雙向語(yǔ)音、視頻對(duì)話(huà)，便于指揮中心對(duì)現(xiàn)場(chǎng)情況的掌握和控制，并可直接指揮前方人員作業(yè)。

2 技術(shù)關(guān)鍵點(diǎn)及創(chuàng)新點(diǎn)

基于嵌入式Linux（2.6）操作系統(tǒng)的開(kāi)發(fā)以及相關(guān)驅(qū)動(dòng)程序的開(kāi)發(fā)。其中涉及到視頻編、解碼器，通信轉(zhuǎn)化器。

利用3G無(wú)線(xiàn)通信、語(yǔ)音圖像編碼壓縮技術(shù)，實(shí)現(xiàn)圖像、雙向語(yǔ)音處理和無(wú)線(xiàn)數(shù)據(jù)傳輸；

系統(tǒng)集“視頻編解碼”、“語(yǔ)音編解碼”、“無(wú)線(xiàn)寬帶組網(wǎng)”、“電子技術(shù)”、“軟件開(kāi)發(fā)”、“環(huán)境數(shù)據(jù)收集”、“遠(yuǎn)程控制”等多種技術(shù)的綜合運(yùn)用；

創(chuàng)新點(diǎn)。監(jiān)控儀通過(guò)3G網(wǎng)絡(luò)無(wú)線(xiàn)視頻終端將攝像機(jī)采集的現(xiàn)場(chǎng)操作信息、音頻信號(hào)回傳到應(yīng)急監(jiān)控中心平臺(tái)。

具備無(wú)線(xiàn)上網(wǎng)的地方隨時(shí)隨地通過(guò)遠(yuǎn)程觀(guān)看，突破距離限制。

采用3G國(guó)際標(biāo)準(zhǔn)，無(wú)論你身在何處，只要有3G移動(dòng)網(wǎng)絡(luò)覆蓋的地方，皆可從指揮中心上監(jiān)看實(shí)時(shí)畫(huà)面。真正做到隨時(shí)隨地，隨心所欲。錄像存儲(chǔ)回放，確保信息完整。

用戶(hù)可任意選擇在攝像機(jī)采集端、電腦終端和服務(wù)器端，任何一端進(jìn)行錄像。隨時(shí)在電腦終端上調(diào)取某時(shí)間段的錄像。

逐級(jí)加密，確保視頻信息的安全。由于視頻信息經(jīng)過(guò)高效的壓縮、編碼、加密、解碼，每個(gè)步驟操作前加入了嚴(yán)格的身份驗(yàn)證，確保用戶(hù)信息的安全?？呻S時(shí)在電腦上，進(jìn)行多畫(huà)面觀(guān)看。移動(dòng)終端業(yè)務(wù)用戶(hù)在電腦終端上，可單畫(huà)面/多畫(huà)面任意切換觀(guān)看，最多可達(dá)16路不同畫(huà)面。

采用標(biāo)準(zhǔn)H.264壓縮技術(shù)，畫(huà)面更清晰，圖像更流暢。

支持的網(wǎng)絡(luò)協(xié)議包括TCP/IP、DHCP、PPPOE、HTTP、DDNS等。接入的網(wǎng)絡(luò)類(lèi)型有電信、移動(dòng)、聯(lián)通、LAN、internet等具有固定或動(dòng)態(tài)IP地址的專(zhuān)網(wǎng)或公網(wǎng)。

3 典型的應(yīng)用前景分析

基建現(xiàn)場(chǎng)應(yīng)用分析：

變電站基建施工現(xiàn)場(chǎng)安裝安全自動(dòng)監(jiān)控儀，可視范圍覆蓋了整個(gè)施工現(xiàn)場(chǎng)，視頻信號(hào)可通過(guò)3G通信網(wǎng)絡(luò)實(shí)現(xiàn)遠(yuǎn)傳。

主要實(shí)現(xiàn)：了解現(xiàn)場(chǎng)的施工進(jìn)度、施工工序、安全措施以及施工人員工作狀況等信息，便于及時(shí)發(fā)現(xiàn)問(wèn)題，解決問(wèn)題，對(duì)施工安全、質(zhì)量、進(jìn)度進(jìn)行全面監(jiān)控；及時(shí)了解施工現(xiàn)場(chǎng)情況，并且應(yīng)能協(xié)助相關(guān)部門(mén)檢查是否有違章作業(yè)、違規(guī)操作等行為，加強(qiáng)監(jiān)管的力度；進(jìn)出口要道是工地安全管理。

生產(chǎn)作業(yè)現(xiàn)場(chǎng)應(yīng)用分析：

便攜式安全自動(dòng)監(jiān)控儀將現(xiàn)代科技與具體的生產(chǎn)實(shí)踐相結(jié)合，可將現(xiàn)場(chǎng)作業(yè)的視頻、音頻傳輸?shù)郊刂行摹⒅甸L(zhǎng)、安檢部門(mén)等相關(guān)部門(mén)、領(lǐng)導(dǎo)。

主要實(shí)現(xiàn)：對(duì)工作前準(zhǔn)備情況的監(jiān)視；對(duì)人員分工情況的監(jiān)視；對(duì)危險(xiǎn)點(diǎn)的預(yù)控措施的監(jiān)視；對(duì)作業(yè)流程的監(jiān)視；對(duì)現(xiàn)場(chǎng)的遠(yuǎn)程指揮；對(duì)間隔誤闖的預(yù)警提示。

線(xiàn)路巡檢、搶修現(xiàn)場(chǎng)應(yīng)用分析：

在處置電網(wǎng)事故時(shí)，依賴(lài)于電力應(yīng)急預(yù)案，電力公司各有關(guān)單位迅速行動(dòng)，按照各自職責(zé)積極進(jìn)行事故搶修和聯(lián)動(dòng)處置。進(jìn)行搶修時(shí)可利用3G無(wú)線(xiàn)網(wǎng)絡(luò)實(shí)現(xiàn)現(xiàn)場(chǎng)圖像實(shí)時(shí)回傳，搶修作業(yè)車(chē)輛及現(xiàn)場(chǎng)配備EW6016便攜式安全自動(dòng)監(jiān)控儀，應(yīng)急指揮中心能夠遠(yuǎn)程觀(guān)測(cè)搶修現(xiàn)場(chǎng)狀況、組織專(zhuān)家遠(yuǎn)程診斷，并及時(shí)與事故搶修現(xiàn)場(chǎng)溝通，提高搶修效率。

主要實(shí)現(xiàn)：實(shí)時(shí)監(jiān)測(cè)應(yīng)急事件的發(fā)展及處理過(guò)程；實(shí)時(shí)動(dòng)態(tài)跟蹤事故現(xiàn)場(chǎng)；實(shí)時(shí)顯示搶修人員及預(yù)備隊(duì)的部署情況；動(dòng)態(tài)跟蹤應(yīng)急儲(chǔ)備物資的準(zhǔn)備情況；遠(yuǎn)程專(zhuān)家診斷；現(xiàn)場(chǎng)指揮；為領(lǐng)導(dǎo)決策提供依據(jù)；

4 推廣應(yīng)用的意義

通過(guò)建設(shè)基建遠(yuǎn)程監(jiān)控系統(tǒng)，加強(qiáng)了基建工程施工現(xiàn)場(chǎng)的安全、質(zhì)量和進(jìn)度的管控，加強(qiáng)了基建工程的標(biāo)準(zhǔn)化管理，提高了基建標(biāo)準(zhǔn)化管理水平。主要體現(xiàn)在以下方面：⑴公司領(lǐng)導(dǎo)、基建相關(guān)部門(mén)負(fù)責(zé)人通過(guò)登錄系統(tǒng)管理平臺(tái)，可以遠(yuǎn)程查看基建現(xiàn)場(chǎng)各監(jiān)測(cè)點(diǎn)圖像，實(shí)現(xiàn)了遠(yuǎn)程對(duì)現(xiàn)場(chǎng)工作的監(jiān)督管理；⑵基建工程現(xiàn)場(chǎng)施工過(guò)程的實(shí)時(shí)記錄；⑶基建工程現(xiàn)場(chǎng)突發(fā)事件的遠(yuǎn)程指揮；⑷提高了基建工程現(xiàn)場(chǎng)的建筑材料、設(shè)備等財(cái)產(chǎn)的安全；⑸對(duì)施工現(xiàn)場(chǎng)作業(yè)過(guò)程中的重要環(huán)節(jié)提供事后分析依據(jù)。

篇(7)

在現(xiàn)有的即時(shí)通信系統(tǒng)中，實(shí)現(xiàn)音視頻通信的核心組件包括音視頻處理框架和即時(shí)通信協(xié)議兩個(gè)部分。音視處理框架集成了音視頻采集、音視頻編解碼、音視頻分流控制、音視頻數(shù)據(jù)流網(wǎng)絡(luò)擁塞控制等技術(shù)模塊，能夠完成音視頻數(shù)據(jù)流的采集、編碼、分流等基本處理流程;即時(shí)通信協(xié)議則負(fù)責(zé)為音視頻數(shù)據(jù)協(xié)商傳輸通道，并且在協(xié)商好的傳輸通道上建立對(duì)應(yīng)的連接，從而為音視頻數(shù)據(jù)的順暢傳輸提供保障。

1即時(shí)通信協(xié)議

即時(shí)通信協(xié)議是進(jìn)行即時(shí)通信必須遵循的信息規(guī)范，主要負(fù)責(zé)完成用戶(hù)信息傳輸通道協(xié)商，客戶(hù)端與服務(wù)器通信信令傳輸控制等任務(wù)。XMPP是主流即時(shí)通信協(xié)議之一，是基于可擴(kuò)展標(biāo)記語(yǔ)言(XML)的協(xié)議，其繼承了在XML的高可擴(kuò)展性，可以通過(guò)發(fā)送擴(kuò)展的信息來(lái)處理用戶(hù)需求。目前最常用的即時(shí)通信協(xié)議體系主要是SIP和XMPP協(xié)議體系，兩者都可以完成音視頻通信功能。另外，一些商業(yè)公司自行開(kāi)發(fā)私有的即時(shí)通信協(xié)議實(shí)現(xiàn)了相對(duì)封閉的通信環(huán)境，例如QQ和MSN。XMPP協(xié)議是個(gè)總稱(chēng)，包括核心協(xié)議，擴(kuò)展協(xié)議等。

核心協(xié)議只規(guī)定了很小、很基本的一些功能，大部分功能都是在擴(kuò)展協(xié)議中規(guī)定的。實(shí)際上，XMPP協(xié)議只是作為協(xié)商協(xié)議應(yīng)用，真正的P2P連接和實(shí)時(shí)通信是通過(guò)其擴(kuò)展協(xié)議實(shí)現(xiàn)的。Jingle就是典型的擴(kuò)展協(xié)議案例。Jingle［6］是Google開(kāi)發(fā)的XMPP協(xié)議上的擴(kuò)展，其解決了在XMPP協(xié)議體系下點(diǎn)對(duì)點(diǎn)的P2P連接問(wèn)題。Jingle協(xié)議提供了多種傳輸方式用于數(shù)據(jù)傳輸，而針對(duì)多媒體數(shù)據(jù)的最為常見(jiàn)的模式是兩種UDP傳輸方式。一種傳輸模型是RAWUDP［9］，RAWUDP是在UDP協(xié)議上發(fā)送媒體數(shù)據(jù)包的傳輸通道模型，可以實(shí)現(xiàn)在同一局域網(wǎng)下的P2P連接，沒(méi)有網(wǎng)絡(luò)穿越功能，無(wú)法實(shí)現(xiàn)遠(yuǎn)程通信;另一種模型則是功能更為強(qiáng)大的ICE－UDP［8］，ICE－UDP也是在UDP協(xié)議上發(fā)送媒體數(shù)據(jù)包，并且可以實(shí)現(xiàn)具有防火墻的網(wǎng)絡(luò)穿越和ICE連接性檢查，實(shí)現(xiàn)遠(yuǎn)程通信。ICE是標(biāo)準(zhǔn)的建立P2P連接性檢查的協(xié)議，其自身不能獨(dú)立工作，必需在信號(hào)通道的協(xié)調(diào)下建立連接，而XMPP協(xié)議就可以作為ICE通道協(xié)商的協(xié)議標(biāo)準(zhǔn)。

基于Jingle/XMPP協(xié)議實(shí)現(xiàn)的即時(shí)通信框圖如圖1所示。Jingle通過(guò)XMPP完成P2P通道的協(xié)商任務(wù)，同時(shí)通過(guò)Jingle協(xié)議建立P2P通道并進(jìn)行連接性檢查，然后建立并完成RTP會(huì)話(huà)，從而完成音視頻通信。如果選擇ICE－UDP通道傳輸模型進(jìn)行RTP視頻數(shù)據(jù)傳輸，XMPP服務(wù)器可以使用STUN［2］服務(wù)器收集用戶(hù)的地址，包括NAT［3］后面的私有地址以及NAT與互聯(lián)網(wǎng)連接的公共地址，并且以此為基礎(chǔ)建立映射機(jī)制，完成會(huì)話(huà)參與者跟具體的網(wǎng)絡(luò)地址間的轉(zhuǎn)換和NAT穿越。

2音視頻處理框架

即時(shí)通信系統(tǒng)中的音視頻處理框架主要為用戶(hù)提供一組多媒體數(shù)據(jù)處理的接口，用戶(hù)可以用這些接口實(shí)現(xiàn)從多媒體采集卡上獲得數(shù)據(jù)，進(jìn)行壓縮編碼、格式轉(zhuǎn)換、數(shù)據(jù)封包等一系列操作，從而完成多媒體的實(shí)時(shí)處理傳輸功能，大大簡(jiǎn)化多媒體處理的復(fù)雜性。目前具有二次開(kāi)發(fā)功能的音視頻處理框架包括Gstreamer，Directshow，Opencore等。其中DirectShow是微軟公司在A(yíng)ctiveMovie和VideoforWindows基礎(chǔ)上推出的基于COM的流媒體處理開(kāi)發(fā)包。運(yùn)用DirectShow可以很方便地從支持Windows驅(qū)動(dòng)模型的采集卡上捕獲數(shù)據(jù)，并進(jìn)行相應(yīng)的后期處理乃至存儲(chǔ)到文件中。OpenCore則是手機(jī)操作系統(tǒng)Android的多媒體核心，OpenCore的代碼非常龐大，是一個(gè)基于C++的實(shí)現(xiàn)，定義了全功能的操作系統(tǒng)移植層，各種基本的功能均被封裝成類(lèi)的形式，各層次之間的接口多使用繼承等方式。而基于Linux平臺(tái)的GStreamer則是完全開(kāi)源的多媒體框架庫(kù)，利用其可以構(gòu)建一系列媒體處理模塊，包括從簡(jiǎn)單的Ogg播放功能到復(fù)雜的音頻混音和視頻非線(xiàn)性編輯處理。Gstreamer應(yīng)用非常廣泛，大多數(shù)手機(jī)平臺(tái)及個(gè)人電腦Linux平臺(tái)均采用Gstreamer進(jìn)行音視頻處理開(kāi)發(fā)。

2.1Gstreamer音視頻處理

Gstreamer通過(guò)其模塊化設(shè)計(jì)理念，更加便于構(gòu)建流媒體應(yīng)用程序。它將各個(gè)模塊封裝起來(lái)，以元件的形式提供給用戶(hù)使用。用戶(hù)可以利用庫(kù)中原有的元件進(jìn)行應(yīng)用程序的編程，同樣也可以編寫(xiě)元件，然后插入到庫(kù)中，以便日后調(diào)用時(shí)使用。如果只利用庫(kù)中的元件來(lái)實(shí)現(xiàn)特定功能，只需要采用模塊化的方式編寫(xiě)應(yīng)用程序［4］。Gstreamer實(shí)現(xiàn)局域網(wǎng)內(nèi)簡(jiǎn)單多媒體音視頻傳輸發(fā)送端的框圖如圖2所示。對(duì)于視頻數(shù)據(jù)流，Gstreamer在發(fā)送端將攝像頭(v4l2src1)采集的數(shù)據(jù)依次經(jīng)過(guò)色度空間轉(zhuǎn)換(ffmpegcsp1)、H263視頻編碼(ffenc_h263p1)、RTP［1］載荷頭添加(rtph263ppay1)，在gstrtpbin中實(shí)現(xiàn)實(shí)時(shí)傳輸協(xié)議(RTP)和實(shí)時(shí)傳輸控制協(xié)議(RTCP)數(shù)據(jù)包整合，并添加發(fā)送報(bào)告的背景時(shí)鐘時(shí)間戳，便于在接受端進(jìn)行音視頻同步播放，然后發(fā)到UDP端口(udpsink)。在接收端，從UDP端口截獲的數(shù)據(jù)依次經(jīng)過(guò)RTP和RTCP數(shù)據(jù)包解析、RTP載荷頭解碼、H263解碼器解碼視頻數(shù)據(jù)、色度空間轉(zhuǎn)換，最后經(jīng)過(guò)視頻顯示插件顯示到窗口中。其中g(shù)strtpbin是進(jìn)行RTP會(huì)話(huà)管理的核心組件，可以完成RTP數(shù)據(jù)包傳輸控制、RTCP數(shù)據(jù)包生成、沖突檢測(cè)、音視頻分流等任務(wù)。

2.2Farsight視頻會(huì)議框架

通過(guò)Gstreamer開(kāi)發(fā)庫(kù)中的基礎(chǔ)元件可以完成音視頻處理的功能，并且可以進(jìn)行簡(jiǎn)單的局域網(wǎng)內(nèi)視頻通信。但是，在視頻會(huì)議等復(fù)雜應(yīng)用中經(jīng)常包含多個(gè)多媒體會(huì)話(huà)，而且多媒體會(huì)話(huà)之間的協(xié)調(diào)非常復(fù)雜，需要通過(guò)更為高層的處理框架來(lái)實(shí)現(xiàn)會(huì)話(huà)管理的功能。Farsight是以Gstreamer為基礎(chǔ)開(kāi)發(fā)的視頻會(huì)議框架，它能夠提供一套完整的為多媒體流協(xié)議編寫(xiě)插件的應(yīng)用程序接口，同時(shí)還為用戶(hù)提供API調(diào)用這些插件。即時(shí)通信應(yīng)用程序可以使用Farsight進(jìn)行音視頻會(huì)議，而無(wú)須擔(dān)心底層的數(shù)據(jù)流和NAT穿越的問(wèn)題。因?yàn)镕arsight［5］是以Gstre-amer為基礎(chǔ)進(jìn)行開(kāi)發(fā)，所以開(kāi)發(fā)新的元件能夠和已有的Gstreamer元件整合，實(shí)現(xiàn)完成視頻會(huì)議功能的多媒體框架。Farsight可以包含多路音視頻會(huì)話(huà)流，包含多個(gè)會(huì)話(huà)參與者，具有強(qiáng)大的音視頻會(huì)話(huà)管理功能。它通過(guò)模塊化設(shè)計(jì)為許多即時(shí)通信軟件提供音視頻會(huì)議的服務(wù)，大大擴(kuò)展了多媒體處理的功能，并且可以實(shí)現(xiàn)更為強(qiáng)大的視頻會(huì)議功能。目前很多即時(shí)通信客戶(hù)端軟件都采用Farsight完成音視頻通信。本文以Gstreamer/Farsight音視頻處理框架為重點(diǎn)，詳述其內(nèi)部結(jié)構(gòu)及功能實(shí)現(xiàn)。

Farsight中包括4個(gè)核心概念:會(huì)議(Conference)、會(huì)話(huà)(Session)、參與者(Participant)、流(Stream)。會(huì)話(huà)參與者是指多媒體數(shù)據(jù)源，可以是音頻或視頻等;會(huì)話(huà)則代表一路音頻或視頻會(huì)話(huà)，通常有一個(gè)媒體類(lèi)型和一個(gè)輸出端;會(huì)議則代表一個(gè)多媒體會(huì)議，可以包含多路會(huì)話(huà)，并且完成多路會(huì)話(huà)的協(xié)調(diào)管理;當(dāng)參與者加入到會(huì)話(huà)中，就將多媒體數(shù)據(jù)引入會(huì)話(huà)中，使得數(shù)據(jù)能夠流動(dòng)，從而構(gòu)成數(shù)據(jù)流。另外，F(xiàn)arsight實(shí)現(xiàn)了網(wǎng)絡(luò)層的抽象，即將網(wǎng)絡(luò)抽象為一個(gè)發(fā)射器對(duì)象，當(dāng)數(shù)據(jù)流被創(chuàng)建時(shí)就會(huì)建立發(fā)射器對(duì)象，然后通過(guò)設(shè)置發(fā)射器參數(shù)確定發(fā)送的目的地址。實(shí)際上，F(xiàn)arsight并沒(méi)有參與多媒體數(shù)據(jù)的采集和打包工作，它只是為多媒體數(shù)據(jù)流傳輸?shù)骄W(wǎng)絡(luò)端進(jìn)行發(fā)送提供了一個(gè)通道，并且對(duì)通道進(jìn)行協(xié)調(diào)管理，保證不同的會(huì)話(huà)參與者與其特定的數(shù)據(jù)流綁定以防止收發(fā)混淆。

Farsight實(shí)現(xiàn)RTP視頻會(huì)議的結(jié)構(gòu)如圖3所示，其中FsRTPConference是Farsight框架下的一種插件，主要的RTP會(huì)話(huà)管理功能都在這個(gè)組件中實(shí)現(xiàn)。FsRTPConference中可以同時(shí)存在多路FsSession，每一路FsSession因參與者或音媒體源的不同代表不同的多媒體會(huì)話(huà)。編解碼器在雙方建立連接前無(wú)法確定，只有當(dāng)通信雙方的客戶(hù)端協(xié)商之后，才會(huì)根據(jù)具體的編解碼器名字調(diào)用并進(jìn)行插件的連接。

Farsight通過(guò)將gstrtpbin封裝到FsRTPConference中，添加一些其他的必要組件，實(shí)現(xiàn)RTP會(huì)話(huà)。RTP管理器主要由gstrtpbin負(fù)責(zé)完成RTP會(huì)話(huà)管理的操作。在發(fā)送端，視頻源和音頻源通過(guò)Sink接入到會(huì)話(huà)中，編解碼器協(xié)商成功后，將編碼器與數(shù)據(jù)源和過(guò)濾元件連接，然后通過(guò)RTP混合器將音視頻數(shù)據(jù)發(fā)送到RTP管理器中，完成RTCP數(shù)據(jù)包的生成以及RTP會(huì)話(huà)的管理。最后，經(jīng)過(guò)數(shù)據(jù)發(fā)射器將數(shù)據(jù)發(fā)送到相應(yīng)的數(shù)據(jù)通道中。在接收端，數(shù)據(jù)流同樣要經(jīng)過(guò)類(lèi)似的信息解碼過(guò)程得到音視頻數(shù)據(jù)。在發(fā)送端，數(shù)據(jù)發(fā)射器在Farsight中通常有多種插件選擇，例如多播UDP插件、Libnice插件等，目的是為了實(shí)現(xiàn)底層數(shù)據(jù)傳輸?shù)倪B接性檢查。Libnice是實(shí)現(xiàn)了ICE和STUN協(xié)議規(guī)范的軟件庫(kù)，開(kāi)發(fā)者以此為基礎(chǔ)完成nice插件，可以實(shí)現(xiàn)基于ICE的數(shù)據(jù)發(fā)送。但是Libnice中只定義了如何在P2P連接確立后進(jìn)行連接性檢查，以及如何在確定的P2P連接上進(jìn)行數(shù)據(jù)傳輸?shù)木W(wǎng)絡(luò)穿越，并沒(méi)有定義如何進(jìn)行P2P連接，即P2P通道的協(xié)商任務(wù)。Jingle協(xié)議規(guī)范則定義了P2P通道建立連接及通道協(xié)商的任務(wù)。目前，Jin-gle協(xié)議已經(jīng)在Libpurple(多協(xié)議會(huì)話(huà)開(kāi)發(fā)庫(kù))中實(shí)現(xiàn)。

3即時(shí)通信系統(tǒng)中音視頻通信的實(shí)現(xiàn)

為了開(kāi)發(fā)的便捷，Pidgin軟件的開(kāi)發(fā)者將負(fù)責(zé)通信部分與圖形用戶(hù)界面部分分開(kāi)，分離出來(lái)的核心代碼構(gòu)成即時(shí)通信客戶(hù)端開(kāi)發(fā)的核心部分，被稱(chēng)為L(zhǎng)ibpurple。這個(gè)程序庫(kù)已被Adium與Proteus這些客戶(hù)端使用。完成分離后，開(kāi)發(fā)者將有可能以各自的圖形程序庫(kù)編寫(xiě)自己的客戶(hù)端接口。在Libpurple中，為實(shí)現(xiàn)多媒體通信，開(kāi)發(fā)者將基于Farsight的多媒體處理框架進(jìn)行繼承和封裝，實(shí)現(xiàn)即時(shí)通信協(xié)議，并提供接口供用戶(hù)使用，用戶(hù)可利用應(yīng)用程序接口編寫(xiě)程序?qū)崿F(xiàn)網(wǎng)絡(luò)層的連接。使用者可以使用Libpur-ple直接編寫(xiě)即時(shí)通信程序的核心代碼，并構(gòu)建應(yīng)用程序。

同時(shí)，Libpurple實(shí)現(xiàn)了許多即時(shí)通信協(xié)議的通信，例如MSN，XMPP，AIM等協(xié)議，同時(shí)完成了媒體后端流處理與相應(yīng)即時(shí)通信協(xié)議的協(xié)同工作。Libpurple在Farsight的基礎(chǔ)上進(jìn)行開(kāi)發(fā)，實(shí)現(xiàn)了一套具備自身特點(diǎn)的流媒體模式。通過(guò)對(duì)Lipurple庫(kù)的理解分析［10］，得到了Libpurple實(shí)現(xiàn)音視頻數(shù)據(jù)流控制及會(huì)話(huà)管理的方法，如圖4所示。圖4中Src是音視頻數(shù)據(jù)源，傳輸?shù)紽sSession進(jìn)行音視頻流整合、RTCP包生成、數(shù)據(jù)流管理等操作。Vol-ume和level則分別表示音頻的音量與消息控制插件。Libpurple采用FsSession做會(huì)話(huà)管理，并在FsSession的基礎(chǔ)上添加Gstreamer基礎(chǔ)元件進(jìn)行控制，完成自己需要的功能。FsSession通過(guò)選擇不同的連接通道，將音視頻數(shù)據(jù)流通過(guò)發(fā)送器進(jìn)行發(fā)送。

Libpurple中實(shí)現(xiàn)了Jingle協(xié)議進(jìn)行RTP通信的規(guī)范，并提供兩種數(shù)據(jù)通道，RAWUDP和ICE－UDP供用戶(hù)使用。在進(jìn)行具體RTP視頻通信時(shí)，程序根據(jù)不同情況選擇不同的通道使用。圖4選擇RAWUDP作為數(shù)據(jù)發(fā)送通道，用戶(hù)也可以選擇其他通道進(jìn)行數(shù)據(jù)發(fā)送。為了與Jingle協(xié)議合作完成音視頻通信，Libpurple建立了一個(gè)組件對(duì)象purplemedia，這個(gè)對(duì)象在Farsight組件中提取相關(guān)的參數(shù)信息，例如編解碼器信息、發(fā)送目的地址等，并傳遞給Jingle協(xié)議，便于Jingle協(xié)議進(jìn)行通道協(xié)商。當(dāng)有新的即時(shí)通信協(xié)議需要利用Farsight完成視頻通信時(shí)，開(kāi)發(fā)者往往需要以L(fǎng)ibpurple為基礎(chǔ)進(jìn)行開(kāi)發(fā)，完成即時(shí)通信協(xié)議在Libpurple上的移植，以實(shí)現(xiàn)視頻通信。在眾多采用Libpurple庫(kù)開(kāi)發(fā)的即時(shí)通信軟件客戶(hù)端中，Pidgin是最成功的，也是少數(shù)幾個(gè)可以實(shí)現(xiàn)音視頻通信的案例。Pidgin是一款支持多協(xié)議客戶(hù)端的圖形化即時(shí)通信應(yīng)用程序，它可以使用AIM，Jabber，MSN，Yahoo等即時(shí)通信軟件的帳號(hào)進(jìn)行登錄。并采用Libpurple作為開(kāi)發(fā)庫(kù)，利用圖形開(kāi)發(fā)工具包編寫(xiě)用戶(hù)界面及各種事件提醒和任務(wù)管理，從而實(shí)現(xiàn)在多種即時(shí)通信協(xié)議基礎(chǔ)上的音視頻通信。