數字人文環境下異構方志元數據整合策略

　　近幾年大規模的古籍整理項目普遍缺乏“互聯網思維”，幾乎沒有考慮借鑒數字人文的思路和方法，沒有充分利用信息技術的巨大優勢[1]‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。隨著數字人文學科的迅速發展，使得巨量的資料分析、地理空間分析、人員流動軌跡分析成為可能，對方志、家譜、正史等帶來了新的研究視角，對其數字化、深度挖掘的需求越來越迫切‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。數字人文環境下，圖書館必須依托資源優勢，將文本挖掘、地理信息系統、關聯技術、文本可視化等數字技術應用于特色資源庫建設，實現特色資源的進一步開發與利用[2]‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。方志資源作為特色資源也要受到應有的重視，例如現有方志研究發現系統在切合方志資源特性的資源檢索與發現功能上仍有改進空間，如切合方志的地域性，現有的地域瀏覽是基于文字的地域名鏈接瀏覽，若能利用GIS技術提供可視化地圖瀏覽，資源分布會更加直觀，有助于讀者快速發現方志資源;在切合方志時代性上，現有的方志朝代劃分過于粗略，粒度只能到朝代，若能細分到年號，則能提供更加準確的檢索[3]。因此，整合異構的方志元數據，提供一站式服務，通過異構方志元數據的融合、聚類和重組，使方志資源從數據層的揭示與展現轉向信息層、知識層的深度服務至關重要。

　　1研究現狀

　　1.1數字人文環境下方志研究現狀

　　方志，是地方志的簡稱，是記載一定地區(或行政區劃)自然和社會各個方面的歷史和現狀的綜合性著述[4]。方志作為我國傳統文化寶庫中的一塊瑰寶，輯存了具有多種功能的經世致用的珍貴歷史資料[5]。古代學者對方志史料的開發利用都是建立在手工基礎上，他們逐頁逐字地在數量浩繁的方志中尋找所需資料，極為費時費力。數字人文研究背景下，應充分利用數字人文的研究成果，將文本挖掘、GIS技術和可視化技術應用到方志數字化的深度開發中。文本挖掘可以抽取方志中的地名、人名、歷史事件等特定信息，以發現各個歷史事件隨時間和空間的演變規律以及歷史人物之間錯綜復雜的社會關系網[6];GIS的應用研究為方志史料知識的整理和開發利用提供了一種新方法、新思路，借助地圖實現更多方志史料知識的挖掘與揭示，使方志類古籍文獻不再是平面的、孤立的資料，而是成為了一個立體的、服務于學術研究和經濟建設的文化信息知識庫[7]。近年來，部分機構和學者開始將GIS技術、可視化技術、社會網絡分析技術應用于方志的研究。

　　華東師范大學圖書館針對目前館藏OPAC、部分專用方志資源平臺在檢索、資源發現技術上缺乏針對性、新穎性，不能很好地滿足資源查找需求的現狀，通過引入新的GIS、標簽云等技術，重新建立地方志發現平臺，提供更多與資源特性相關的發現手段，提高了資源的可發現性[8]。上海圖書館開發了“中文古籍聯合目錄及循證”平臺，結合內容分析統計、時空及社會關系分析和可視化工具，實現現存古籍的聯合查詢、規范控制，并提供學者循證版本、考鏡流藏之功用[9]。隨著數字人文技術特別是GIS技術在方志中的應用越來越成熟，數字人文的研究理論日趨完善，數字人文技術對方志研究的影響會更加顯著。

　　1.2元數據整合現狀

　　元數據為描述數據的數據，是描述、解釋、定位或以其他方式使得檢索、使用或管理信息資源更容易的結構化信息。在漫長的圖書館編目發展史中，由于資源本身特點或者為揭示同種資源的不同作用而形成了許多不同的元數據標準。元數據標準可以分為數據結構標準(DublinCore、VRACore、EAD…)、數據內容標準(RDA、CCO、DACS…)、數據值標準(LCSH、AAT、TGN、DDC…)、數據交換標準(MARC、XML、RDF/XML、JSON…)[10]。不同發現平臺會采用不同的元數據采集方法，并應用不同的元數據標準，有些機構會自建元數據標準以更好地組織和揭示數字資源，不同標準的元數據成為資源整合首要解決的問題。目前在整合元數據的基礎上提供服務的項目有很多影響力較大的項目，例如歐洲數字圖書館Europeana、美國HathiTrust數字圖書館等項目。這些項目都是在元數據整合基礎上提供服務，并為解決元數據的異構問題研發了各自的方法。Europeana整合了歐洲3500多所的檔案館、圖書館、博物館的資源，提供多達51971705條元數據(包括圖書、音視頻、美術作品、手工藝品等)供用戶檢索[11]。

　　在元數據整合的過程中，Europeana設計了“EuropeanaDataModel(EDM)”數據模型來兼容博物館、檔案館、圖書館的元數據標準，將不同標準的元數據映射到EDM模型上，從而解決資源整合中數據結構不統一的問題[12]。在數據處理的過程中，Europeana采用“收割整合后的元數據”的資源采集方式，在Europeana和數字資源提供者之間增加了一個內容聚合器工具，實現了對各數字資源元數據的規范與整合，這樣可以對數字資源的規范性、有效性和一致性進行有效控制[13]。例如，Europeana開發了CARARE系統，用于處理具有考古價值的歷史遺跡、建筑、藝術品、手工制品等有關文化遺產的元數據的映射、豐富、更新等預處理工作。CARARE根據現有考古學和建筑學的元數據標準，如LIDO、CIDOCCRM、MIDAS，創建了一個領域特定的元數據模式，并將其映射到EDM上，然后再進行元數據豐富、更新等一系列處理[14];HathiTrust項目整合120多所高校圖書館的數據，目前包括16295881條記錄，7939735本書的標題[15]。

　　在書目數據整合的過程中，HathiTrust項目組要求數據提供方的元數據越完整越好、必須遵循MARC21著錄規范、utf8編碼等標準，并專門開發Zephir[16]。在書目元數據被HathiTrust采納前必須先經過Zephir的處理。Zephir包含一系列功能，包括對書目記錄的采集、更新及一般的管理，并且元數據在經過Zephir處理時會有一個關于元數據處理情況報告，報告內容包含多少條記錄已經處理，多少條記錄處理錯誤等總體情況，同時將錯誤記錄打印出來。經過Zephir處理的書目元數據，可以直接被HathiTrust使用。

　　基于上述文獻調研，華東師范大學圖書館在新的異構數字方志服務平臺設計時，通過應用GIS以及可視化等技術，使具有時空特點的方志資源得到了充分的形象化展現，充分借鑒目前服務數字人文研究的基本技術方法。同時，在以下三方面使方志資源的發現和整合能力明顯得到提升:(1)通過方志資源元數據RDF化，實現資源在作品層和單件層面的統一發現;(2)充分借鑒歐洲數字圖書館Europeana、美國HathiTrust數字圖書館等項目的整合方法，構建整合多來源、異構元數據方案，實現數字方志服務平臺的統一發現入口;(3)開發多來源數據采集以及數據規范性檢查等工具，實現對元數據整合前的預處理。

　　2方志元數據整合意義及整合方法

　　2.1整合方志元數據的意義

　　整合系統的目的是希望為用戶提供統一的檢索平臺，使用戶不需要在多個檢索系統之間切換，并熟悉多個檢索系統操作技能，從而減輕資源獲取難度。通過整合方志元數據，提供單一檢索點，人文學者通過單一站點可以獲取原本需要逐一瀏覽多個界面才能找到的信息知識，而無需考慮是哪個機構實際提供數字資源、資源的物理存儲位置在何處。通過整合來源不同的方志元數據，使得方志資源更加全面、完整、權威，質量更高。只有以正確而完備的典藏和資料庫作為基礎，數字和人文研究才有進一步合作的可能[17]。

　　在整合方志元數據的過程中，通過引入新的關聯書目數據模型，方志資源在互聯網上更容易被發現，與外界互聯，改變方志元數據原有的封閉狀況;在整合方志元數據的過程中，通過對方志元數據拆分、合并等重構工作，特別是對采集來的元數據中題名的拆分，使得原來合訂題名下的單部作品可以被快速定位，同時使得檢索結果的統計更加準確。在整合后的方志元數據基礎上利用GIS工具，提供“時間軸”“地圖”等可視化的方式，為研究者提供可交互的數據，即可展示某一地區的方志分布情況，以及某一時間段的方志成書情況。在整合的平臺上，引入眾包思想，利用大數據技術、文本分析技術對相應的方志資源內容進行挖掘，為錯誤的方志元數據提供修改、佐證的依據。

　　2.2整合方志元數據遇到的問題

　　方志元數據是描述方志資源的描述性數據。在20世紀初，計算機沒有普及應用之前，志書的著錄信息主要是記錄在卡片、圖書等紙質載體上的，是將眾多的方志目錄匯編成方志書目，例如朱士嘉先生編纂的《中國地方志綜錄》、張國淦的《中國古方志考》[18]。20世紀下半葉，隨著機讀目錄格式MARC的普及，方志元數據以CNMARC著錄存在于圖書館自動化系統中。

　　20世紀末，DC元數據開始興起，我國科技部科技基礎性工作專項資金重大項目“我國數字圖書館標準規范建設”參照DC的擴展規則，制定了相關數字資源基本元數據規范和專門元數據規范，推出了“地方志描述元數據著錄規則”[19]。著錄規則的不同，導致元數據規范不一致。目前采集到的元數據來源于圖書館集成系統、圖書館自建庫、商業數據庫。其中圖書館集成系統中的方志元數據以MARC存儲，由OPAC導出后，數據最為復雜;商業數據庫包括超星、愛如生、瀚堂等的方志，以及CADAL里的方志元數據多遵循地方志描述元數據著錄規則。除著錄規則不一致外，由于軟件系統的不同，也使得方志元數據不一致，具體有以下問題:

　　(1)元數據著錄不一致。例如OPAC導出的數據以OPAC“作者-Creator1”“作者-Creator2”“作者-Creator3”表示責任者;中國方志庫以“作者-修”、“作者-纂”表示責任者。

　　(2)元數據粒度不夠細致。以古籍文獻為核心描述對象的元數據規范，就單個元素的取值來看是非結構化文本，粒度還不夠細致[20]。

　　(3)方志本身存在匯編的問題‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。匯編作品是指根據選題需要，在不改變原作品內容的前提下，對其進行編排以合集形式呈現的新作品[21]。當單部作品作為匯編作品的部分存在時，在編目時對匯編作品進行集中著錄。很多方志是以匯編形式而存在，原有的編目無法直觀地表現單部作品與匯編作品關系。從匯編作品中提取單部方志作品，有利于加強對單部方志作品、責任者等實體的描述，更好地實現方志的查找、識別和選擇，同時有利于匯集方志所有作品的載體表現形式。

　　(4)數據重復。由于方志資源被多個系統或多個收藏單位收錄，在合并時肯定會存在數據重復問題。

　　(5)方志元數據著錄錯誤。方志文獻浩如煙海，在后世史志中難免出現著錄錯訛，包括由于地名改變導致的方志名稱著錄錯誤、由于著作權歸屬存在爭議導致的方志纂修者姓氏著錄錯誤、由于內容增刪導致的方志卷數著錄錯誤等[22]。

　　2.3整合方志元數據的方法

　　為了給人文研究學者提供單一的、資料完備的方志系統，必須解決前文描述的方志元數據問題，包括元數據一致性、重復以及元數據粒度等。針對以上問題，項目組采取了一系列方法。首先從數據提供者處獲取數據。其中，對于商用數據庫，由于只要是學校購買過相關數據庫，則元數據是一致的，因此不需要從各個學校獲取元數據;而對于華東師范大學、北京師范大學及上海師范大學等學校的方志元數據，通過數據上傳的方式獲取不同來源的方志元數據，并存入方志元數據庫中。然后根據需要對元數據進行數據拆分、數據查重。最后將原有方志元數據映射到新的元數據方案上，并在整合后的元數據基礎上開發平臺提供統一檢索、GIS服務、全文瀏覽等功能。在項目初期，從華東師范大學圖書館、北京師范大學圖書館及上海師范大學圖書館收到的元數據記錄條數分別為44880、22183、15326條，而超星、CADAL、中國方志庫、瀚堂典籍庫及方正電子書的記錄數為9172、6300、3995、884、102條。通過拆分、合并，最終共采納了55037條方志元數據記錄[23]。

　　2.3.1選用新的元數據方案

　　在元數據處理之前，首先需要確定元數據方案。為改變原有的CNMARC格式著錄的方志元數據的繁瑣及DC格式著錄的方志元數據的復雜性，達到方志與外部數據的相互關聯、互操作的目的，項目組選用了美國國會圖書館的BIBFRAME書目數據格式。美國國會圖書館于2012年啟動“書目框架轉換行動”，開發BIBFRAME關聯數據模型、詞表、應用綱要、編碼規范等以取代MARC，使其成為下一代圖書館數據格式，并于2017年6月在Library.Link發布[24]。目前上海圖書館已使用BIBFRAME書目數據將其家譜數據庫、古籍善本等發布為關聯數據[25-26]。BIBFRAME的核心書目數據模型是“作品(work)—實例(instance)—單件(item)”，作品反映了編目資源最本質的特征，由作者、語言、和題名決定;實例與出版者、出版地點、出版時間、出版形式有關，是作品的出版形態;單件與存在的位置、書架、條形碼有關，它決定了書的獲取方式[27]。表1是原有方志元數據與BIBFRAME書目數據模型的對應關系。

　　2.3.2數據拆分

　　(1)“責任者+責任方式”的拆分。以OPAC導出的數據形式為例，方志元數據是以“責任者+責任方式”存儲責任者和責任方式。將“責任者+責任方式”分割，“責任者”“責任方式”單獨存儲，可以準確地展現責任者對于該古籍所負有的實際責任以及不同責任者之間的關系。地方志的著錄方式很復雜，參考相關文獻并使用詞頻統計軟件獲得著錄方式庫。表2列舉了一般的古籍著作方式，實際情況還有多種組合形式，如“編著”“編纂”“增修”“校注”等。

　　(2)匯編作品的拆分。方志匯編情況可以從其主題或附注兩個元數據字段里得知:主題字段表明的匯編作品，數據以志書分隔，提取單個題名放入增加的字段“題名—(RealTitle)處理后題名”分隔后提取最后一集的地名作為GIS的地，年號作為GIS的時;附注字段表明的匯編作品，根據附注字段，將附注字段作為“題名—(RealTitle)處理后題名”存儲。

　　2.3.3數據查重

　　對方志元數據進行拆分，還需要對方志元數據進行查重。由于同一條記錄會被不同收藏單位或不同數據庫收錄，所以在整合元數據時需進行查重。查重的原則是按照“CALIS書目號—ISBN+題名—題名+責任者+出版者+出版年”的順序進行，即首先根據方志元數據CALIS書目號，如果沒有CALIS書目號，則根據“ISBN+題名號”查重，沒有則根據作品的“題名+責任者+出版者+出版年”查重。若出現匹配情況，則該記錄被認為是重復記錄。對于重復記錄，選擇完整度高的記錄作為新記錄更新數據庫中的原記錄，根據實際情況，在館藏機構或數據源里增加館藏或來源。如果都不匹配，則認為該記錄與數據庫中記錄不重復，該記錄會被插入數據庫中。

　　2.3.4數據映射

　　BIBFRAME是關聯數據模型，使用的是“資源-屬性-屬性值”三元組表達元數據的內容，因此需要將原有的方志元數據轉換為新的元數據三元組，除了上述介紹的書目實體(work、instance、item)，還有人、時、地、機構等實體，這些都需要從方志元數據中提取，提取后賦予HTTPURI，為屬性賦值，描述實體與實體間的關聯關系，并以RDF序列化格式編碼，從而實現DC、CNMARC到BIBFRAME的轉換。

　　除了數據拆分、查重、映射外，整合的過程中還可對元數據進行校正、修改，通過調用其他平臺的API接口達到直接取用其他資料庫數據的目的，從而實現與外部數據的互聯。例如通過調用“中國歷代人物傳記資料庫”與“上海圖書館人名規范庫”的接口，可以直接查詢方志責任者的生平及他的其他作品等情況。

　　3數字人文環境下異構方志元數據整合策略

　　數字人文環境下，作為資料收集主要整理者的圖書館應充分發揮自己的優勢，將GIS、文本挖掘等技術應用于資料的整理、收藏中。目前，項目組開發的異構數字方志集成平臺已初步完成并已上線，從異構元數據的整合、平臺的建設過程得到了以下幾點經驗。

　　3.1使用關聯書目元數據方案，實現方志與外部世界的互聯

　　關聯數據是第一種可行的語義網表達形式，它采用RDF數據模型，利用URI(統一資源標識符)命名數據實體來發布和部署實例數據和類數據，從而可以通過HTTP協議揭示并獲取這些數據，同時強調數據的相互關聯、相互聯系以及有益于人機理解的語境信息。隨著語義網和關聯數據成為技術發展熱點，新興的元數據標準開始更多地以萬維網聯盟開發的資源描述框架或網絡本體語言等格式發布，其中不乏面向書目應用的詞表或本體，包括DublinCoreTerms+DublinCore(DC/DCT)、Schema.org、EuropeanaDataModel(EDM)Vocabulary、BIBFRAME[28]。書目數據以關聯數據為基本數據模型，意味著書目數據不再像存儲于關系數據庫中的MARC數據那樣以記錄為單位，而是以更小粒度的數據為單位，每個數據單元都是獨立的存在，同時又可與其他數據單元建立可被機器理解的關聯關系，數據是相互關聯且富含語義的[29]。除了選用關聯書目數據方案，還可以通過調用其他平臺API共享其他平臺的資源。通過調用外部資源的API，不僅可以減少自己的重復工作，還可以實現與外部世界的互聯，使得各內容提供者不再孤立。

　　3.2最小粒度化方志元數據，為人文學者研究提供支持

　　方志元數據的粒度不夠細，如方志元數據的著作方式、成書朝代、年號、匯編作品等問題。為了更好地利用方志元數據，建議將方志元數據以最小粒度化存儲，將有利于方志最大價值的挖掘，為人文學者研究提供更好的支持:對于著作方式的拆分，可以發現不同責任者對于同一本書的不同貢獻，進而發現一本書從成書到現在這個歷史長河中在不同時期與不同責任者之間的關系，這對于人文學者研究方志的版本變化尤為重要;對于朝代、年號的拆分使得檢索的結果的統計、GIS地圖上的顯示更加的精確;對于匯編作品的拆分，按照“作品—實例—單件”模型展示，可以揭示作品間的關聯關系‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。

　　3.3提供開放平臺，允許用戶編輯，與人文學者充分合作

　　由于方志的復雜性，例如成書者眾、古今地名變化等問題，使得方志元數據在著錄時不可避免地發生錯誤，因此有必要對元數據進行勘誤、考證，這需要專業的方志研究人員、史學家從不同側面對方志元數據進行驗證，以保證其準確性。一方面，整合方志元數據后構建的方志平臺以眾包的方式允許使用者修改元數據并提交證據，并邀請專家對其進行審校，采納后修改原來的方志元數據。對用戶開放、對用戶提供編輯入口，是一般數字人文系統常用的做法，例如臺灣歷史數位圖書館(THDL)允許用戶更正元數據、全文、人地名，管理小組不定期整理，采納后將新的數據更新于新版資料庫中;“萊比錫開放碎片文本序列LOFTS”項目專門邀請熟悉古典文獻學、計算語言學、文本傳播等相關領域的學者負責對“碎片文本編輯器”中的元數據進行審校[30]。另一方面，雖然目前國內不少圖書館在元數據標準制定、資源管理等方面有一定的經驗，但是專業的人文社會科學研究者才是方志資源真正的使用者，他們對于方志資源整合的需求、元數據制定、方志資源的內容分析更有發言權，因此需要加強與人文學者的溝通，在充分合作的基礎上不斷建設、改進數字方志元數據集成平臺。THDL就是臺灣大學數位人文研究中心與臺灣大學歷史系合作建設的一個臺灣古契約文書全文資料庫。

　　3.4使用數據挖掘、內容分析技術實現元數據的創建、修改

　　隨著數字人文學科的不斷發展，可以利用大數據、內容分析技術為元數據的創建、修改提供幫助。原有的方志元數據的創建工作局限于個人整理、編目經驗，不利于方志資源的發現及利用。數字人文時代，運用文本挖掘技術、內容分析方法，機器可以自動從方志文本中蘊含的事實、知識中統計、分析和推理等，從而實現元數據的自動創建和校驗。

　　4結語

　　本文探討了在數字人文環境下方志元數據的整合。整合方志元數據的目的是為了給人文學者提供統一的方志資源檢索、管理、大數據分析、可視化展示和智慧型服務的人文研究環境。方志元數據的整合，首先需要對方志元數據進行清洗，這是一件較困難的工作。本文探究了方志元數據處理中最關鍵的如數據映射、部分元數據切分、匯編作品處理等的問題。但是仍然有其他問題尚未解決，例如方志元數據中古地名的問題，沒有完備的古今地名對照庫就無法將某些方志在地圖上正確地顯示，對于提出的“責任者+責任方式”拆分方法尚未考慮責任者姓名中本身含有責作方式的問題會造成方志歸屬不夠準確。以上這些問題的解決，可通過引入眾包思想，由專家及用戶一起發現問題、修改問題;或可依賴文本分析技術，從方志的全文中找到數據、事實實現對方志元數據的佐證、修改。目前，項目組只實現了方志元數據的處理、整合等，對部分方志全文的OCR識別、標引和內容挖掘，將是筆者下一步需要探討的。

　　數字經濟論文范文：我國數字經濟新常態發展現狀與思考

　　隨著大數據、云計算等新技術的不斷發展，數字經濟起到了創新發展經濟發展模式、推進經濟結構轉型、促進經濟平穩增長等作用，催生了許多新興互聯網企業‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。但同時，數字經濟仍然面臨著來自發展理念、監管機制、法律保障、金融風險等多個層次的挑戰‍‌‍‍‌‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‌‍‍‍‌‍‍‍‍‌‍‌‍‌‍‌‍‍‌‍‍‍‍‍‍‍‍‍‌‍‍‌‍‍‌‍‌‍‌‍。

轉載請注明來自發表學術論文網：http://www.cnzjbx.cn/jjlw/21733.html