小規(guī)模集群文件系統(tǒng)中兩級元數(shù)據(jù)服務(wù)器的設(shè)計與實現(xiàn)

pvfs并行文件系統(tǒng)采用集中式的元數(shù)據(jù)服務(wù)器,這使得元數(shù)據(jù)服務(wù)器在大量的文件操作情況下成為i/o瓶頸。該文通過增強pvfs的客戶端和元數(shù)據(jù)服務(wù)器的相關(guān)功能,使得客戶的文件請求按照文件名的hash變換轉(zhuǎn)向不同的元數(shù)據(jù)服務(wù)器,在保留原來的用戶訪問方式和系統(tǒng)配置不變的情況下實現(xiàn)元數(shù)據(jù)服務(wù)器的并行化,達到明顯提高元數(shù)據(jù)服務(wù)器的總吞吐量和可擴展性。

海量存儲系統(tǒng)都采用元數(shù)據(jù)服務(wù)器機群的方式來處理文件系統(tǒng)的元數(shù)據(jù)信息。很多存儲系統(tǒng)采用hash算法來實現(xiàn)文件元數(shù)據(jù)在元數(shù)據(jù)機群內(nèi)的分布,但是這些算法都是針對文件進行hash。本文提出了一種目錄哈希的新算法,針對目錄進行hash,并把一個目錄內(nèi)的元數(shù)據(jù)集中存儲。本算法克服了文件hash的不足,改善了存儲系統(tǒng)的性能,并極大地提高了存儲系統(tǒng)的可擴展性。

設(shè)計適用于grass海量存儲系統(tǒng)的元數(shù)據(jù)服務(wù)器,分析并優(yōu)化3個影響元數(shù)據(jù)性能的因素:元數(shù)據(jù)組織方式,通信性能和搜索效率,利用bloomfilter算法進行名字空間搜索,在此基礎(chǔ)上實現(xiàn)目標(biāo)系統(tǒng)的文件名查詢優(yōu)化。實驗結(jié)果證明,目標(biāo)系統(tǒng)的元數(shù)據(jù)處理性能得到明顯提升,基本滿足大規(guī)模高能物理計算的需求。

新型的廣域測量系統(tǒng)主要由位于廠站端的apmu裝置、通訊系統(tǒng)、位于調(diào)度中心的數(shù)據(jù)服務(wù)器和圖形監(jiān)視界面這幾個部分組成,在整個系統(tǒng)的工作流程中wams中心站對測量數(shù)據(jù)進行處理,并提供各類圖形化的應(yīng)用功能。wams中心站是整套wams的神經(jīng)中樞,數(shù)據(jù)服務(wù)器又是中心站的核心,所有的數(shù)據(jù)處理、儲存和其他高級功能的實現(xiàn)都由它完成。

為了減少ibm大型數(shù)據(jù)服務(wù)器的操作復(fù)雜性,該文提供了一個基于j2ee的軟件系統(tǒng)的實現(xiàn),用于對ibm大型數(shù)據(jù)服務(wù)器的管理和操作,從而大大提高了ibm大型數(shù)據(jù)服務(wù)器的易用性和可維護性。

結(jié)合opc數(shù)據(jù)服務(wù)器設(shè)計原型,提出了opc服務(wù)器開發(fā)工具的設(shè)計方案,給出了開發(fā)工具的接口函數(shù)集合。

為了滿足分布式網(wǎng)絡(luò)存儲對元數(shù)據(jù)服務(wù)的要求,本文采用多個元數(shù)據(jù)服務(wù)器組成元數(shù)據(jù)服務(wù)器群,并且提出分區(qū)散列管理方案對元數(shù)據(jù)服務(wù)器群進行有效的管理。并在不涉及元數(shù)據(jù)的物理移動的前提下,實現(xiàn)元數(shù)據(jù)服務(wù)器群的負(fù)載平衡機制、可擴充性以及高可用性等性能。

介紹了數(shù)據(jù)服務(wù)器技術(shù)在旋翼塔測控軟件中的應(yīng)用,重點介紹了各個模塊功能的實現(xiàn)方案,以及在方案實施過程中如何解決網(wǎng)絡(luò)堵塞難題的關(guān)鍵技術(shù)。

在大型分布式對象存儲系統(tǒng)中,元數(shù)據(jù)服務(wù)系統(tǒng)是一個潛在的訪問瓶頸.本文提出一種通過分層式文件系統(tǒng)構(gòu)建共享存儲池的采用兩次分布式哈希函數(shù)方式的元數(shù)據(jù)服務(wù)系統(tǒng).其具有不需要人工干預(yù)的故障恢復(fù)性和易擴展特性,而且最大程度減少了mds之間大量元數(shù)據(jù)的物理遷移.實驗測試證明系統(tǒng)具有良好的i/o性能.

介紹了opc技術(shù)產(chǎn)生的背景,通過指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),說明了opc技術(shù)的優(yōu)勢所在。接著簡單介紹了opc規(guī)范,并描述了它的主要特點與發(fā)展?fàn)顩r,進一步說明了開發(fā)opc應(yīng)用程序的必要性。重點介紹了opc服務(wù)器程序設(shè)計的理論基礎(chǔ)和設(shè)計方法,其中包括它的核心技術(shù)comdcom技術(shù)的介紹,opc服務(wù)器程序設(shè)計總體框架的介紹。最后對opc服務(wù)器開發(fā)方式進行了分析與比較,說明了使用atl和mfc開發(fā)com組件的優(yōu)缺點。

用于過程控制的標(biāo)準(zhǔn)數(shù)據(jù)接口(opc)程序開發(fā)的關(guān)鍵之處是總體框架的建立,其框架的實現(xiàn)可通過微軟提供的開發(fā)com組件的基本工具atl(活動模板庫)來完成。為此介紹和分析了用atl設(shè)計opc服務(wù)器的一般性方法和設(shè)計步驟,進而介紹了對opc服務(wù)器的測試,并結(jié)合力控組態(tài)軟件對設(shè)計的opc服務(wù)器的圖形組態(tài)來說明opc服務(wù)器的簡單應(yīng)用。

本文采用siacon-smartopc開發(fā)工具包,針對omroncs1plc開發(fā)出串口通信程序動態(tài)連接庫(dynamiclinklibrary),利用smartopc提供的應(yīng)用編程接口(api)函數(shù)調(diào)用串口通信函數(shù),實現(xiàn)了omroncs1plc串口通信的opc數(shù)據(jù)服務(wù)器開發(fā)設(shè)計。

本文通過指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),介紹了opc數(shù)據(jù)服務(wù)器程序設(shè)計的理論基礎(chǔ)和設(shè)計方法,并給出了opc數(shù)據(jù)服務(wù)器的總體框架以及用wincc作為opc客戶端對opc服務(wù)器進行連接和測試的方法。

本文主要介紹了數(shù)據(jù)服務(wù)器的硬件系統(tǒng)設(shè)計及軟件系統(tǒng)設(shè)計。本數(shù)據(jù)服務(wù)器是上位機與現(xiàn)場儀表進行數(shù)據(jù)交換的橋梁,上下都采用rs485接口。數(shù)據(jù)服務(wù)器通過人為設(shè)定的采樣周期對現(xiàn)場儀表進行采樣,讀回數(shù)據(jù)并以一定的格式進行存儲。數(shù)據(jù)服務(wù)器根據(jù)上位機發(fā)來的命令進行相應(yīng)的操作,并返回數(shù)據(jù)給上位機,包括讀取當(dāng)前時間、所連儀表起始地址、單臺或全部儀表的當(dāng)前數(shù)據(jù)、歷史數(shù)據(jù)。

本文分析了bigtable系統(tǒng)的體系結(jié)構(gòu),重新設(shè)計了數(shù)據(jù)服務(wù)器的工作原理,在明確數(shù)據(jù)服務(wù)器主要功能的基礎(chǔ)上,著重設(shè)計服務(wù)器的讀寫原理和數(shù)據(jù)塊加載操作。

提出了基于qt設(shè)計scada系統(tǒng)數(shù)據(jù)服務(wù)器應(yīng)用軟件的設(shè)計思想,利用qt具有跨平臺運行的特性,可以從根本上解決常規(guī)的數(shù)據(jù)服務(wù)器軟件對異構(gòu)服務(wù)器要編制不同的軟件且軟件開放性較差的問題。具體分析了數(shù)據(jù)服務(wù)器應(yīng)用軟件的功能模塊,并給出了關(guān)鍵模塊用qt的類以及相關(guān)函數(shù)的實現(xiàn)過程。

介紹了實時數(shù)據(jù)服務(wù)器的特點和設(shè)計過程,分析了其中的若干關(guān)鍵技術(shù):多線程、oracle調(diào)用接口oci(oraclecallinterface),socket和select函數(shù)的優(yōu)點。通信協(xié)議采用基于有連接的tcp/ip通信協(xié)議,軟件設(shè)計采用阻塞的通信模式和oci連接數(shù)據(jù)庫,利用select函數(shù)定時中斷阻塞,進行錯誤冗余處理。經(jīng)現(xiàn)場實際測試,該設(shè)計方式能夠滿足全網(wǎng)發(fā)電機功角監(jiān)測的實時數(shù)據(jù)處理要求。

針對虛擬測試系統(tǒng)vts(virtualtestsystem)計算量大、仿真時間長、效率低等問題,提出了基于分布式的虛擬測試系統(tǒng)dvts(distributedvts),介紹了dvts的組成;設(shè)計了vts數(shù)據(jù)服務(wù)器,實現(xiàn)了各仿真系統(tǒng)之間數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費者的分離,使得系統(tǒng)結(jié)構(gòu)靈活擴展方便;采用數(shù)據(jù)驅(qū)動模型實現(xiàn)各仿真系統(tǒng)之間的數(shù)據(jù)交換,優(yōu)化了網(wǎng)絡(luò)的數(shù)據(jù)交換性能。

對無線傳感器網(wǎng)絡(luò)采集到的田間信息進行有效的接收、處理是基于無線傳感器網(wǎng)絡(luò)的農(nóng)田環(huán)境監(jiān)測系統(tǒng)的重要組成部分,該文針對農(nóng)田無線傳感器網(wǎng)絡(luò)數(shù)據(jù)采集的特點,對系統(tǒng)的數(shù)據(jù)處理服務(wù)器的構(gòu)建進行了研究,設(shè)計并實現(xiàn)了一個基于非阻塞式sockets套接口的數(shù)據(jù)通信服務(wù)器。該服務(wù)器綜合利用靜態(tài)線程池與i/o復(fù)用技術(shù),采用循環(huán)隊列作為數(shù)據(jù)緩沖區(qū),較好地解決了農(nóng)田無線傳感器網(wǎng)絡(luò)對tcp多連接長時間通信,大量田間實時監(jiān)測數(shù)據(jù)并發(fā)接收、處理性能要求高的問題;采用面向?qū)ο笤O(shè)計方法,抽象出類的層次結(jié)構(gòu),提高了程序代碼的復(fù)用性。

　介紹opc技術(shù)核心———com技術(shù),分析opc數(shù)據(jù)服務(wù)器技術(shù)及其接口,給出利用dll類型快速開發(fā)工具進行opc數(shù)據(jù)服務(wù)器程序開發(fā)的步驟和示例。

分布式監(jiān)控系統(tǒng)由多個監(jiān)控子系統(tǒng)組成,負(fù)責(zé)監(jiān)控多種設(shè)備。根據(jù)現(xiàn)場監(jiān)測設(shè)備種類多、結(jié)構(gòu)復(fù)雜等特點,針對工控信息、管理信息集成等需求,提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務(wù)器結(jié)構(gòu)。該數(shù)據(jù)服務(wù)器實現(xiàn)了控制系統(tǒng)實時數(shù)據(jù)采集、處理、存儲、發(fā)布的統(tǒng)一管理,采用數(shù)據(jù)服務(wù)的在線監(jiān)督,將工控網(wǎng)絡(luò)同管理網(wǎng)絡(luò)分隔開,實現(xiàn)了數(shù)據(jù)的安全、動態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動的交換式結(jié)構(gòu),數(shù)據(jù)處理組件化,系統(tǒng)結(jié)構(gòu)靈活、擴展方便。

分布式監(jiān)控系統(tǒng)由多個監(jiān)控子系統(tǒng)組成，負(fù)責(zé)臨近多種設(shè)備。本文根據(jù)現(xiàn)場監(jiān)測設(shè)備種類多、結(jié)構(gòu)復(fù)雜等特點，針對工控信息、管理信息集成等需求，提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務(wù)器結(jié)構(gòu)。該數(shù)據(jù)服務(wù)器實現(xiàn)了控制系統(tǒng)實時數(shù)據(jù)采集、處理、存儲、發(fā)布的統(tǒng)一管理，采用數(shù)據(jù)服務(wù)的在線監(jiān)督，將工控網(wǎng)絡(luò)同管理網(wǎng)絡(luò)分隔開，實現(xiàn)了數(shù)據(jù)的安全、動態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動的交換式結(jié)構(gòu)，數(shù)據(jù)處理組件化，系統(tǒng)結(jié)構(gòu)靈活、擴展方便。