- 相關推薦
多級存儲技術在媒體資產管理系統中的應用
多級存儲技術在媒體資產管理系統中的應用
2002中南地區廣播電視技術年會優秀論文一等獎一、 概述
1、媒體資產管理系統產生的背景
廣播電視經過幾十年的發展，積累下來許多珍貴的電視節目資料。這些資料是對社會發展有著重要意義的圖文聲像復合媒體，是一筆不可復得的、極為貴重的資產。在今天數字化、網絡化的時代里，更好地保存、管理和利用這筆資產，是電視臺今后開展多種業務、增加新的效益增長點的根本。
傳統的節目保存方法是將記錄有內容的錄像帶貼上標簽存放在帶庫的架子上，目前幾乎所有電視臺都是采用這種方法。由于技術、保存和管理的局限，使得電視節目資料的再利用率極低，相當一部分還正在發生質量惡化，甚至信息消失，這是一個極其嚴峻的問題。而導致這個問題的關鍵因素是電視臺沒有建立起一套科學、有效的資產管理系統。所幸的是，科學技術的發展，特別是計算機多媒體技術的飛速發展，已經為電視行業提供了一個解決媒體資產管理的較為成熟的技術方案，即媒體資產管理系統。
媒體資產管理是從90年代初提出的數字圖書館技術發展而來的，結合了存儲、網絡、數據庫、多媒體及人機交互等多項技術，主要解決視音頻等多媒體數據的存儲、編目檢索、版權和再利用等問題。本文主要對媒體資產管理系統的存儲模式做一個探討。
2、內容存儲是媒體資產管理系統的基礎
獲取、存儲和管理。內容的獲取和管理都與內容存儲有著不可缺少的聯系，可以說內容存儲是媒體資產管理系統的基礎。
二、多級存儲模式的結構
媒體資產管理系統的核心技術是內容存儲，所以采用什么樣的存儲模式對一個功能強大的媒體資產管理系統起到至關重要的作用。
在過去的三年里，非線性編輯網絡在電視臺迅速普及。以一個電視臺為例，如果每天需要使用非線性編輯網絡制作兩個小時的節目，那么至少需要采集六個小時的素材量。記者每天拍攝的素材量可能源源大于采集的素材量，而很多沒有制作的素材卻有幾高的保存價值。我們暫且按照六個小時的素材量計算，加上已經播出的兩個小時的節目，我們至少應該保存八個小時的素材量。這樣每年將有近3000小時的素材需要保存。但是由于中心存儲設備的價格較高，一個制作網絡里面的素材往往只能保存3-7天，所以根本無法滿足素材存儲 的需求。如何用一種相對廉價的、存儲量大的存儲設備作為系統的二級存儲，保證隨時能夠將以前的素材調入，成為電視臺最基本和最迫切的要求。而媒體資產管理系統的多級存儲模式剛好能夠滿足這個要求。
在媒體資產管理系統的存儲模式設計中，許多廠商都推出了在線（On-line）、近線(Near-line)、離線(Off-line)三級相互結合的存儲模式。
有實際限制。最典型的離線存儲設備是磁帶，可用磁帶來描述離線設備的使用。一般情況下，磁帶并未裝入磁帶機，若要讀取某一盤數據，必須先將該盤磁帶裝入磁帶機，然后通過計算機系統讀取磁帶，全部操作完成后取下磁帶。所謂離線是指數據介質并未處于隨時可以讀寫的范圍，如果使用，需要人為的介入完成。
離線存儲設備通常價格比較低廉，所以可以將總存儲做得很大。但是由于離線到在線的介質裝載過程很長，所以離線存儲一般用來存儲那些不經常使用的冷數據。
在媒體資產管理系統中，當采集、標引、記錄完成后，原始數據記錄載體（光盤或數據流磁帶）即可離開系統，存放在一般的儲存架上了，由于媒體資產管理系統一般采用MPGE-4視音頻的在線查詢和瀏覽，在大量的查詢和瀏覽視音頻的工作中是不需要訪問原始記錄數據的。一旦查詢系統確定要使用某一個（一批）素材時，針對離線的素材，系統會告訴你所需的素材在幾號盤帶上，在人工干預下，將該盤帶放入系統的讀寫驅動器內，系統自動地將節目或素材遷移拷貝到在線存儲體中，供節目的制作、播出使用。
圖2-4：近線存儲數據流向示意圖
◆近線存儲系統的工作原理
從近線存儲數據流示意圖我們可以看出，近線存儲系統一般是采用硬盤、磁帶或光盤作為存儲介質，并結合相應的存儲管理軟件。其中硬盤用于存放數據檢索系統，磁帶和光盤用于存放大量的數據信息。當素材使用頻率很低時，存儲管理軟件就根據事先設定的遷移策略，把素材從硬盤中遷移到磁帶庫或光盤庫中，而這段素材的索引被保存在硬盤上。當用戶需要訪問近線存儲的磁帶庫或光盤庫時，首先通過存儲管理軟件，確定盤或帶的存放位置，然后控制機械手將目標磁帶或光盤裝入相應驅動器，并啟動讀寫操作，以完成數據訪問。這個過程完全由計算機管理系統自動完成，不需要人工干預，管理員要做的只是制定一個規則。
◆近線存儲系統的優點
近線存儲系統兼具硬盤在線系統和磁帶、光盤離線系統的優點：
（1）近線存儲系統的數據檢索部分位于硬盤上，吸納了在線存儲系統訪問速度快的優點，從而為用戶的數據訪問提供最快的響應速度；
（2）近線系統將大量使用頻率較低的數據遷移到磁帶庫或光盤庫中，吸納了離線存儲系統數據容量近無限的優點，同時也節省了在線部分的硬盤空間；
（3）為中心存儲設備提供了一種安全備份。由于媒體資產管理系統的遷移策略將一些素材轉移到大容量的近線存儲設備上，僅在在線存儲設備上保存資料索引。鏡像資料功能的設計可保證網絡中心存儲設備發生災難損壞時，所有保存在近線設備上的素材節目資料都可從近線存儲設備恢復。
◆近線編輯
記者和編輯可以利用存儲在硬盤中的索引文件，可直接對資料進行虛編輯。即直接對索引文件打點編輯，虛編輯的結果產生兩個文件：一個是編輯的EDL表，一個是實際資料讀取的描述文件LIST文件，用來從近線設備中依次讀取實際的素材文件。在通過LIST文件讀取實際素材文件后，將EDL表中的索引文件名更換成實際的素材文件名，產生最后的輸出結果。
三、存儲介質分析與選擇
存儲技術的飛速發展，為廣播電視節目的保存帶來了新的解決方法。目前，存儲介質大體可分為以下幾類：磁盤、光盤和數據流磁帶。下面就對這幾種存儲介質進行分析比較。
（一）、存儲介質分析
1、磁盤與磁盤陣列
（1）硬磁盤
硬盤對于我們大家并不陌生，它應該是存儲系統中最常用到的介質了。 其特點是響應速度快，讀寫速率和傳輸速率高，但價格較貴，一般作為快速讀寫存儲介質，存放常用數據并作為系統的數據處理、緩存及中轉中心。硬盤的性能用容量、讀寫速度、傳輸碼率、響應時間等指標來衡量。目前硬盤單碟最大容量是80G，主流硬盤的轉速多為5400rpm或7200rpm，高檔系統中一般使用轉速為10000rpm或更高的硬盤。
（2）磁盤陣列
媒體資產管理系統所需硬盤容量非常大，單個硬盤顯然不能滿足要求，因此一般使用硬盤陣列。
磁盤陣列又叫RAID（Redundant Array of Inexpensive Disks--廉價磁盤冗余陣列），是指將多個類型、容量、接口，甚至品牌一致的專用硬磁盤或普通硬磁盤連成一個陣列，使其能以某種快速、準確和安全的方式來讀寫磁盤數據，從而達到提高數據讀取速度和安全性的一種手段。磁盤陣列是一種高效、快速、易用的網絡存儲備份設備，其容錯技術提供以下幾個級別（Level）, RAID-0、RAID-1、RAID-3、RAID-5及混合級RAID 0+1。
硬磁盤技術發展非常快，隨著其容量提高、價格下降，以及移動硬盤技術的成熟，硬盤在存儲介質中必將占有重要的地位。
2、光盤、光盤庫與光盤網絡鏡像服務器
（1）光盤
DVD主要的限制有：單盤密度較低，只有4.7GB（單面）或9GB（雙面），這對于高碼率記錄而言，如碼率為25~50Mbps，意味著只能記錄12~25分鐘（單面），對于長節目則需要反復交換盤片，從而影響到素材的錄入速度。DVD還有一個比較嚴重的問題，這就是它的傳輸速率較低，一般只有3Mps，傳輸速率過低將導致復制及傳輸時間增加，DVD的刻寫或記錄速度也不夠令人滿意。不過我們也可喜的看到，隨著科學技術的發展，DVD光盤存儲出現許多新技術。在這些DVD光盤存儲新技術中，比較有代表性的當數由9家國際技術公司（三星、湯姆森、先鋒、日立、松下、夏普、飛利浦和LG等）在2002年2月19日推出了一種新型"藍光盤"（Blu-ray Disc）和美國InPhase公司在2002年4月8日至11日展示的該公司的全息記錄技術"Tapestry"。
（2）光盤庫
然而我們知道，就目前的技術而言，一張光盤的存儲容量是很有限的，對于需要存儲海量媒體數據的媒體資產管理系統來講是遠遠不夠的。要想獲得海量信數據的網絡存取，就必須將保存有大量不同信息的幾十張甚至幾百張光盤組合起來使用。
光盤庫實際上是一種可存放幾十張或幾百張光盤并帶有機械臂和一個光盤驅動器的光盤柜。光盤庫也叫自動換盤機，它利用機械手從機柜中選出一張光盤送到驅動器進行讀寫。它的庫容量極大，機柜中可放幾十片甚至上百片光盤片，這種有巨大聯機容量的設備非常適用于電視臺的媒體資產管理中。
光盤庫的特點是：安裝簡單、使用方便，并支持幾乎所有的常見網絡操作系統及各種常用通訊協議。由于光盤庫普遍使用的是標準EIDE光驅（或標準5片式換片機），所以維護更換與管理非常容易，同時還降低了成本和價格。又因光盤庫普遍內置有高性能處理器、高速緩存器、快速閃存、動態存取內存、網絡控制器等智能部件，使得其信息處理能力更強。
光盤庫的技術指標包括存儲容量、驅動器類型、驅動器數量、單盤光盤容量，裝載時間、光盤存取時間、接口方式和支持的管理軟件等。下面以JVC Mc7600光盤庫為例，該光盤庫是目前業界關注和市場流行的高端產品，其技術指標如表3-2：
磁帶格式的發展從傳統的DAT4mm、8mm、Tranvan、QIC、AIT、3480/3490、DLT一直到最新的高速磁帶格式DTF、SUPERDLT、LTO。
從媒體資產管理系統對存儲介質的容量、性能、使用壽命等方面的要求來看，只有采用高速磁帶格式，才能滿足這種要求。表3-3是DTF、SUPERDLT和LTO三種高速磁帶格式技術指標的比較：
（2）磁帶庫
磁帶庫是一種機柜式的、將多臺磁帶機整裝到一個封閉系統中的存儲設備。磁帶庫是近線存儲系統中的關鍵設備之一。它由數臺磁帶機、機械手和數盒磁帶構成，可實現磁帶自動拆卸和裝填，容量可達數百個PB可以在存儲管理軟件的控制下實現智能恢復、實時監控和統計。磁帶庫就象是一個將磁帶塞到磁帶機中的"機器人"，能夠達到高速度、高效率、高存儲容量的要求，且系統的擴展能力很強。
磁帶庫的技術指標包括存儲容量、驅動器數量、單盤磁帶容量、驅動器存取速度、連接方式和支持的管理軟件等。通常，磁帶庫按照容量大小分成三個級別：初級、中級和高級。其中，初級磁帶庫的容量在幾百GB至幾個TB，中級磁帶庫的容量在幾個TB至幾十TB，而高級磁帶庫的容量在幾十TB至幾百TB甚至更高。
IBM Ultrium 3584和SONY PetaSite 8400磁帶庫都屬于高級磁帶庫級別，表3-4：列出了兩者的關鍵技術指標。
電視臺媒體資產管理系統所使用的素材需求按照質量要求可以分為兩類。第一類是瀏覽和檢索，這一類用得最多，包括生產工藝中的庫存資料調查、素材選擇、節目審查等，支持低碼流服務，使用光盤介質比較合適。第二類是節目制作，要求比較高的碼率以保證制作質量，但是它用得不多，其用量只需與節目生產量保持在同一數量級或略高一點即可。硬盤適用于對查詢速度要求高的場合，存放常用的數據；磁帶作為主要存儲介質，存放日常的大量數據；光盤作為新生的存儲媒介，有遠大的發展前景，但目前尚不宜大規模應用，只能作為磁盤、磁帶存儲的一種補充手段。
在目前技術條件下，在線存儲采用硬盤是唯一的選擇。離線存儲介質必須與近線存儲介質一致，關鍵是如何選擇近線存儲介質。
磁帶作為一種傳統的海量存儲設備，其具有大容量、低成本、高技術、可管理性等四個方面的優點，讓它在二級存儲中占有重要的地位；光盤具有查詢快捷、方便、低成本的優勢，在部分場合也可作為二級存儲的介質。但是由于硬盤的價格在不斷降低，同時硬盤具有傳輸速率高，尋址迅速的優點，在有些場合下，用戶也將部分硬盤空間虛擬成磁帶庫等近線存儲設備，以提高效率，但這樣做，成本還是很高，一般和磁帶或光盤配合使用，進行近線存儲。對于采用哪種介質，用戶應根據自身的實際情況及應用目的進行選擇。
同時，對于節目來說，對同一個節目應該針對不同的使用需求選擇多種介質進行保存，比如，可以選擇支持高碼流服務的數據磁帶作為節目保存的主要介質，而選擇光盤作為節目保存的輔助介質以支持低碼流服務。
四、分級存儲管理軟件
近線存儲系統中非常關鍵的是用于存儲管理的分級存儲管理軟件（HSM）。所謂分級是指將使用頻率較高的數據存放在硬盤中，而將使用頻率較低的數據存放在磁帶庫和光盤庫中，數據在不同的層次之間流動，且這一過程完全由分級存儲管理軟件自動完成，管理員要做的只是規定一個規則。
對于一個好的分級存儲管理軟件來說，數據遷移功能的設計尤為重要。管理員能方便的通過各種設定的遷移策略將離線存儲、近線存儲和在線存儲設備聯系起來。對用戶而言，整個分級存儲系統類似于一個無限大的硬盤，數據的存儲和遷移均在后臺進行。系統的遷移可以考慮充分利用空閑時段，集中處理數據遷移，以提高系統網絡帶寬的利用效率。分級存儲管理結構圖如圖4-1所示。
根據以上的闡述和分析，可以總結多級存儲模式的特點如下：
1、降低了存儲系統的單位存儲成本
由于多級存儲模式采用硬盤、磁帶、光盤相結合的存儲介質，相對于僅使用硬盤存儲數據來說，存儲成本要大大地降低。
2、大容量、平滑的存儲容量擴展
目前，隨著電視臺業務的不斷增加，需要存儲的媒體數據量爆炸性增長，數據總量呈指數上升，媒體資產管理系統必須具有足夠的容量以適應不斷增長的數據量。多級存儲模式采用近線存儲，無論是磁帶庫，還是光盤庫，容量都可以達到PB級，采用離線存儲，更是可以獲得無限制的存儲容量。
多級存儲模式不僅能提供大容量，還具有平滑的存儲容量擴展的特點，存儲網絡上添加存儲設備的過程對用戶透明，而且任何工作站都不需停機。在進行應用擴展、系統測試、數據遷移、應用恢復的時候，不必增加物理容量，而是以邏輯復制的方式滿足存儲需求；當用戶請求新的存儲需求或要求訪問權限調整時，不會中斷其他用戶的數據訪問。
3、高性能的數據訪問
對于電視臺的非線性制作網、硬盤自動播出系統、視頻點播系統來說，較高的訪問速度是至關重要的。在多級存儲模式中，網絡中的各個編輯工作站、配音工作站、審片工作站，瀏覽工作站任何時候都可以無阻礙的實時獲得所需要的各種數據。
4、高可用性
對于媒體資產管理系統來說，必須保證媒體數據始終是安全可用的。在任何情況下，例如系統產生錯誤或遇到意外災難，數據都不能丟失。系統應具有快速故障恢復能力，保證應用系統永不停機（7×24小時不間斷工作），數據始終保持完整性和一致性。
多級存儲模式中的在線存儲采用磁盤陣列作為存儲設備，而磁盤陣列是一種最基本的高可用存儲技術。多級存儲模式中的近線存儲子系統中，分布在各個層次中的數據，在軟件的支持下可自動遷移或備份。硬盤或陣列盤中大量積壓的過時文件或數據能自動遷移到近線存儲設備中，使硬盤或陣列盤中永遠保持足夠的空間；對已遷移出硬盤或陣列盤的文件，系統提供透明檢索，當用戶要訪問已被遷移走的文件時，它又能從近線存儲設備中恢復，映象到在線文件系統。還能根據用戶定義自動備份數據，遇到災難時可迅速恢復數據，使整個系統很快投入正常運行。除了恢復遷移文件會導致延時之外，遷移、備份和恢復對用戶都是透明的。
5、實現集中管理
多級存儲模式中將處理過程集中到一個中心管理站上，依靠存儲管理軟件來對存儲設備和素材進管理，在存儲管理軟件上可以設定素材遷移的管理軟件對在線設備、近線設備和離線設備進行統一管理。同時管理軟件對數據資源、存儲設備和空間的使用權限和日志有嚴格完備的定義。
五、結論
總之，從IT技術的角度來說，現在已逐漸進入了一個以存儲為中心的階段。在其他行業先行的情況下，電視行業也開始認真考慮數字化存儲的問題。從今年開始媒體資產管理技術已成為業內的熱門話題，說明了電視行業數字媒體資產管理將成為電視行業的一個趨勢。 而無論是從數據的海量存儲、高性能訪問、高可用性、可管理性，還是從節省硬件投資和人力資源，多級存儲模式不失為媒體資產管理系統存儲模式的最佳選擇。
【多級存儲技術在媒體資產管理系統中的應用】相關文章：
多媒體技術在地理信息系統中的應用08-06
嵌入式系統中的Flash存儲管理08-06
閃速存儲器在圖像采集系統中的應用08-06
多端口存儲器在多機系統中的應用08-06
多媒體技術在美術教學中的應用08-17
教學中應用多媒體技術初探08-07
論虛擬存儲技術及其在視頻網絡中的應用08-06