- 相關推薦
一種基于人機結合思想的書本式地方文獻索引編制方法
地方文獻以其地名、人名、機構名等專有名詞術語眾多而一直是索引編制的難點。對于文字數量數百萬乃至上千萬的地方文獻而言,若要達到滿足讀者檢索要求的標引深度,則索引制作的工作量就會急劇增加。如果純用手工制作,不僅在信息的處理過程中容易產生差錯,且費時費力。為了解決這一矛盾,降低索引編制成本,需要引入計算機信息處理技術。以下我們以在《杭州市志·索引》編制過程中開發的計算機輔助索引軟件(CAIC1.0Beta)為例,就詳細說明這一基于人機結合思想的地方文獻索引編制方法。
1 現 狀
目前,運用計算機信息處理技術來進行漢語文獻索引編制的方法一般分為兩大類:一種為基本以自動標引、索引為主的方法,其中漢語自動標引法常見的有詞典標引法、切分標引法、語法分析標引法、漢語自動標引專家系統、單漢字標引法等;在漢語索引法上則多采用題名關鍵詞抽詞索引法、主題詞表選詞索引法、職能符號標引索引法等。這些方法都在一定程度上解決了漢語文獻標引和索引的問題,但由于漢語語言現象的復雜性,此工作基本都在文獻題名這一層次上展開,至于針對文獻全文的智能標引和索引尚處于探索階段。而且,這些方法需要具備相當專業的計算機、語言學、文獻學知識,并且相關的專用軟件獲取成本極高。另一個常用方法是人機結合、以人為主的方法,主要為采用諸如Foxpro MicrosoftAccess據庫軟件來編制。這種方法具有技術要求低、使用方便的特性。但這僅是一個以人工為主、輔以計算機技術的方案,并且參照系統即關鍵詞之間的相互關系(見、參見)不能直接在上述數據庫軟件中得到表達和轉移,因此索引庫的生成無法直接應用參照系統,編制者將不得不依靠手工來進行,這是一個非常繁瑣而且極易導致差錯的工作。
2 解決方案的系統設計
方志作為地方文獻的一個重要門類,其數量龐大,包含了一個區域的自然、政治、經濟、文化、社會、軍事等信息,有地方百科全書之稱,具有極高的使用價值。為此,我們在實踐中以《杭州市志·索引》作為地方文獻的樣本,對此進行索引的編制。其編制目標是一部分析內容的書本式關鍵詞索引,其標引范圍為全志中的正文、附錄、圖、表格、照片,標引對象為人物、機構、地名以及其他一切具有檢索價值的各類事物、事件和活動。
對于一個優秀的索引而言,確定適合的標引、索引方案和參照系統是至關重要的,也是本索引編制解決方案首先要解決的問題。因此,在系統設計過程中,我們考慮了地方文獻的特點和客觀實際,分析上述方法的利弊,制訂了以下的編制思路�！�
2.1 標引方案 以實現的手段劃分,可分為人工標引和自動標引。自動標引又可分為自動 抽詞標引和賦詞標引。自動抽詞標引是指直接從原文中抽取詞或短語作為標引詞來描述文獻的主題內容。如果在自動標引過程中,使用的標引詞來自于預先編制好的詞表,則稱之為自動賦詞標引。對于計算機而言,針對漢語的自動抽詞主要困難在于自動分詞以及選取標引詞的標準,而自動抽詞標引的標準很大程度上是建立在詞頻統計的基礎上的。就方志這一類地方文獻而言,如果一些人名、地名在文獻中只出現數次乃至一次的話,就很有可能不被標引,這會導致大量有價值的信息不能被檢索到。而如果放低詞頻標準,則相關的標引詞數量會急劇增多,書本式索引的篇幅會相當龐大。而自動賦詞標引又依賴于詞表,由于方志的地域性,這樣一個包含有大量地方獨特的人名、機構名和地方特色事物的詞表一般都沒有建立,因此無從根據詞表來進行自動標引。
由于地方文獻的編纂者或研究者對于文獻內容比較熟悉,可以準確地分析主題內容,并抽取相應的關鍵詞予以標引。因此,采用由他們來進行人工標引的方法,應該是方便和切合實際操作情況的策略。
2.2 索引方案 索引款目的自動生成目前已經有很多實際應用的方案,如鏈式索引法(ChainIndexing)、選擇組合排列索引法SLIC)、掛接主題索引法(ASI)、保留上下文索引法(PRECIS)等,這些基于計算機的索引法無一例外地運用了輪排或循環技術,對于計算機來說只要設定好索引法的原則后,工作是相當簡單的。但是這種方法會導致索引款目急劇增多的后果,因此這種對于專業性文獻檢索工具而言是十分適合的方法,運用到地方文獻上時,特別是如方志一類篇量較大的文獻上時,就要承擔索引篇幅大幅增加印刷成本提高所帶來的危險�；谶@個因素,我們認為在方志索引上應該采取對于絕大部分的索引詞不進行輪排,只對極個別的主標目和副標目進行輪排的索引方案,以最小的代價來實現相對高的查全率�！�
2.3 參照系統生成 是否設置參照系統是衡量索引系統質量的重要指標之一。而為了提高查全率,也需要我們設置參照系統。參照系統由主標目詞和見參照(seereference)、參見參照(seeaisoreference)組成,從而保證了索引的整體性和系統性。因此,我們認為在沒有現成詞表的前提下,運用計算機技術結合人工干預來生成參照系統應該是軟件追求的目標。
2.4 編程語言的選擇 由于直接運用Foxpro數據庫技術在款目地址碼歸并和參照系統生成上的困難,因此采用通用編程語言是理想的選擇。Delphi為一種面向對象的可視應用程序開發工具,與其他語言相比,它提供了一種快速的編譯器,優化編譯模式在很大程度上提高了代碼質量和運行穩定性,所以這種語言一直受到專業人士的青睞。同時,Delphi特別對于數據庫的體系結構提供了強大的支撐,Delphi還允許開發者將應用程序作為單一的.exe文件提供給終端用戶,這樣就減少了可執行文件在運行時對于其他文件或DLL(動態鏈接文件)的依賴。因此我們以Delphi為系統前臺,以MicrosoftAccess為后臺數據庫存儲原始信息,來編制索引計算機輔助編制系統。
3 本方案的技術實現
3.1 數據結構 本軟件數據庫包含三個主要的數據表:ａ 主表(標引詞庫)。該表用來儲存從方志文獻中抽取的關鍵詞和諸如卷號、頁碼、體裁、參照關系等屬性,以及一些用于操作管理的信息。其中的記錄需要索引編制者人工輸入。為了方便數據的錄入工作,一般可按照文獻的頁碼順序依次輸入。ｂ 關鍵詞表。該表依據主表表達的各標引詞之間的參照關系,由程序自動生成。此表是軟件下一步進行索引合成的依據。ｃ 索引正文數據表。該表用來儲存關鍵詞及其地址碼(卷號、頁碼),可用來最后輸出索引正文格式的文本文件。
3.2 程序功能(主控界面見圖1)
本軟件具備信息采集;信息處理;信息輸出三大功能。
3.2.1 信息采集功能。主要是由索引編制者將標引詞(關鍵詞)及其屬性輸入主表。標引詞屬性包括關鍵詞所在卷號、頁碼、關鍵詞代表內容的體裁(文、圖、照片、表格)以及參照系統。
3.2.2 信息處理功能。包括人工干預(預處理)功能、關鍵詞表生成功能、索引正文生成功能。
人工干預功能。由于標引者對索引編制規范和對志書原文的理解可能不一致,不同作者在處理相同事物所用的術語亦有不同,以及數據錄入過程中都會導致相同內涵的關鍵詞往往以不同的形式出現。具體表現形式有:ａ.一見多———如Ａ見Ｂ,Ａ見Ｃ,Ａ見Ｄ,……;ｂ.連續見———如Ａ見Ｂ,Ｂ見Ｃ,Ｃ見Ｄ,……;ｃ.循環見———如Ａ見Ｂ,Ｂ見Ｃ,Ｃ見Ａ(Ａ、Ｂ、Ｃ均指不同的關鍵詞,下同);ｄ.同頁重復。
如果產生如上ａ、ｂ、ｃ三種情況,對于形式ａ而言,將在索引輸出中丟失信息Ａ見Ｃ和Ａ見Ｄ(假設Ｂ的音序先于Ｃ、Ｄ,下同);對于情況ｂ而言,將在索引輸出中丟失信息Ａ見Ｂ和Ｂ見Ｃ;對于情況ｃ而言,將出現關鍵詞Ａ、Ｂ、Ｃ及其地址碼等信息的丟失;對于情況ｄ而言,則會在索引中出現某一關鍵詞后跟有完全相同的地址碼。
上述情況出現的數量并不少,這就可能導致生成信息的大量缺失而導致索引資料的不完整。由于人工檢查極為煩瑣且不完全甚至可能會引入新的錯誤,為此本軟件特設預處理功能(見圖2),將上述的“循環見處理”、“連續見處理”、“一見多處理”、“同頁重復處理”,通過人工干預子功能,能夠自動查找在索引主數據庫中由于在標引、數據錄入過程中產生的差錯,生成錯誤提示(寫入.ＴＸＴ文件,格式見信息輸出功能部分),以便編制者根據提示信息檢查主數據庫,對錯誤進行修改。同時本軟件還可在一定程度上對上述錯誤在人工確認正確的關系后自動予以修復,保證了在后續處理過程中信息的正確。
圖
此外,由于方志具有地域性,因此記述到的機構往往都為本地機構。這樣就會存在大量具有同一地名或行政區劃名開始的機構名。例如,《杭州市志》中就存在大量的以“浙江省”、“杭州市”等為首的機構名,如果一律以機構名首字音序排列的話,即,如將“浙江省人民政府”和“杭州市人民政府”分別排列在“浙”字和“杭”字中,如此就會出現大量以“浙江省”、“杭州市”開頭的機構聚集在一起的情況,從而極大地增加檢索難度,同時還會造成相關信息的離散。為此,在預處理時設置了前置詞處理功能,程序自動將這些詞作為前置詞,進行倒置處理,關鍵詞則按截去前置詞后剩余部分為音序排列。在輸出時,則自動將后置的前置詞還原至頭部(詳見輸出功能部分)。
關鍵詞表生成功能。程序自動從主表(標引詞庫)中根據標引者設置的參照系統生成關鍵詞表。此關鍵詞表是索引正文生成階段的依據,它與主數據庫、索引正文保持相對獨立性,以后索引編制者只要對關鍵詞表中的關鍵詞及其相互關系(參照系統)進行維護,即可獲得正確結果,而無需對主表數據進行大量的修改工作,大大減少了工作量。
索引正文生成功能。軟件自動根據關鍵詞表中的關鍵詞及其相互關系,對主表中的數據進行處理,按照索引要求,將相同關鍵詞的卷號、頁碼、體裁代碼按照卷數、頁碼先后排列,并根據關鍵詞表中的參照系統,作出相應處理,將“所見”關鍵詞的頁碼自動歸并到“被見”關鍵詞后,并作出“參見”說明。
3.2.3 信息輸出功能。該功能可分兩種情況:一種是以數據庫的形式輸出階段性的查詢操作結果,一種是文本文件形式輸出結果。第一種情況的查詢功能包括主表查詢、關鍵詞表查詢,它支持精確和模糊查詢。第二種情況的信息輸出可分為三種輸出格式,分別對應于索引編制的不同階段。其中格式1是在對主表輸入標引詞及其屬性等原始信息后輸出的格式,它主要是用來和標引原始記錄進行校對。格式1以頁碼為順序排列關鍵詞,其格式如下:
格式1:頁碼1———關鍵詞1(Keyword 1)[說明語(Description)][見關鍵詞2][參見關鍵詞3]……
格式2為利用本文中設計的人工干預算法所生成的計算機提示信息。格式如下:
情況“一見多(連續見、循環見)”———請查看:
關鍵詞ｎ(Keyword n)—[地址碼ｍ(addressm)]ｍ,ｎ=1,2,……這里,地址碼包含卷數和頁碼,均為出現錯誤的卷數、頁碼數。
這里,地址碼包含卷數和頁碼,均為出現錯誤的卷數、頁碼數。
格式3 為索引正文輸出格式,又分為Ａ、Ｂ、Ｃ三種子格式:格式3Ａ:關鍵詞(Keyword)[說明語(Description)]地址碼ｎ(address n);
格式3Ｂ:關鍵詞(Keyword)[說明語(Description)]見(See)關鍵詞;
格式3Ｃ:關鍵詞(Keyword)[說明語(Description)]地址碼ｎ(addressｎ)
[參見(Seealso)關鍵詞];ｎ=1,2,……這三種格式分別對應索引正文中的三種情況,見圖3。
格式3為索引正文形式(見圖4),款目標題按關鍵詞的拼音順序排列,將數據處理部分中索引正文生成的結果輸出到文本文件,以便索引編制者在Microsoftword或方正等專業排版系統中再進行版式處理。
此外,CAIC1.0Beta在程序中間處理過程中將被倒置處理的前置詞還原至關鍵詞前面,并在這些前置詞前后分別添加“(”、“)”。同時還可在頁碼和標目詞之間添加一定的分隔符,以方便排版工作的進行。
4 實際應用效果
為了保證CAIC1.0Beta有良好的運行效果,建議電腦硬件配置為CPU586以上,內存32兆;軟件環境為Windows95/98/2000,并有MicrosoftAccess數據庫。以《杭州市志》索引為例,《杭州市志》正文共11卷780萬字,經過標引處理共提取了105077條(次)關鍵詞,經處理生成關鍵詞表,共有關鍵詞55692條。實際操作中,我們使用方正商祺6100電腦(ＣＰＵ為ＰⅢ733,內存64Ｍ)進行處理,除去標引、校對階段工作時間與投入的人力相關外,其中數據處理階段,關鍵詞表生成約15分鐘,索引正文生成約60分鐘,索引正文輸出約15秒。如果改進算法,還可以進一步提高速度。
本軟件系統具有索引生成準確、速度快、少用人工、使用簡單、人機界面良好、運行穩定可靠等特點。其中數據處理階段的效率比手工操作提高了數百倍,因此與整個索引制作所用時間相比,程序處理的時間幾乎可以忽略不計。
5 結論及展望
通過此次《杭州市志》索引的計算機輔助編制實踐證明,采用本文介紹的方法可以比較圓滿地解決本文開始提出的問題,即由于地方文獻的獨特性及標引深度提高而導致的關鍵詞急劇增多和人工編制速度慢、準確率低的矛盾,因此該方案具有一定的實用和推廣價值。同時,由于方志索引內容的相似性,本次索引編制中生成的關鍵詞表還為今后構造方志關鍵詞表打下了良好的基礎。
展望地方文獻索引,特別是方志索引今后的發展趨勢,可以預見,如果我們運用關鍵詞索引法、鏈式索引法、選擇組合排列索引法等現代索引法,引入包括語用學、語義學、語法學等語言學研究成果和計算機人工智能、專家系統等技術,研究適合地方文獻特點的自動索引策略,就可逐步達到對于地方文獻正文的內容自動分析,實現計算機自動抽詞和標引,使地方文獻索引的編制基本實現自動化,從而使地方文獻索引的編制從現在的人機分量均等的結合模式逐步過渡到電腦占更多分量的階段。
〔出處〕 情報雜志2003(2)
【一種基于人機結合思想的書本式地方文獻索引編制方法】相關文章：
編制地方文獻索引數據庫的體會08-09
收集地方文獻資料 編制地方文獻綜目08-09
編制地方文獻分類表點滴08-09
北京地方文獻報刊索引分類表研究與分析08-09
首都圖書館北京地方文獻報刊索引08-09
地方文獻書目的編制及它的社會價值08-09
地方文獻分類思想研究08-09
關于建立地方文獻報刊索引系統的實踐與思考08-09
文獻 地方文獻 地方文獻學論考08-09