IBM大型數(shù)據(jù)服務(wù)器管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

新型的廣域測(cè)量系統(tǒng)主要由位于廠站端的apmu裝置、通訊系統(tǒng)、位于調(diào)度中心的數(shù)據(jù)服務(wù)器和圖形監(jiān)視界面這幾個(gè)部分組成,在整個(gè)系統(tǒng)的工作流程中wams中心站對(duì)測(cè)量數(shù)據(jù)進(jìn)行處理,并提供各類(lèi)圖形化的應(yīng)用功能。wams中心站是整套wams的神經(jīng)中樞,數(shù)據(jù)服務(wù)器又是中心站的核心,所有的數(shù)據(jù)處理、儲(chǔ)存和其他高級(jí)功能的實(shí)現(xiàn)都由它完成。

pvfs并行文件系統(tǒng)采用集中式的元數(shù)據(jù)服務(wù)器,這使得元數(shù)據(jù)服務(wù)器在大量的文件操作情況下成為i/o瓶頸。該文通過(guò)增強(qiáng)pvfs的客戶端和元數(shù)據(jù)服務(wù)器的相關(guān)功能,使得客戶的文件請(qǐng)求按照文件名的hash變換轉(zhuǎn)向不同的元數(shù)據(jù)服務(wù)器,在保留原來(lái)的用戶訪問(wèn)方式和系統(tǒng)配置不變的情況下實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器的并行化,達(dá)到明顯提高元數(shù)據(jù)服務(wù)器的總吞吐量和可擴(kuò)展性。

結(jié)合opc數(shù)據(jù)服務(wù)器設(shè)計(jì)原型,提出了opc服務(wù)器開(kāi)發(fā)工具的設(shè)計(jì)方案,給出了開(kāi)發(fā)工具的接口函數(shù)集合。

設(shè)計(jì)適用于grass海量存儲(chǔ)系統(tǒng)的元數(shù)據(jù)服務(wù)器,分析并優(yōu)化3個(gè)影響元數(shù)據(jù)性能的因素:元數(shù)據(jù)組織方式,通信性能和搜索效率,利用bloomfilter算法進(jìn)行名字空間搜索,在此基礎(chǔ)上實(shí)現(xiàn)目標(biāo)系統(tǒng)的文件名查詢優(yōu)化。實(shí)驗(yàn)結(jié)果證明,目標(biāo)系統(tǒng)的元數(shù)據(jù)處理性能得到明顯提升,基本滿足大規(guī)模高能物理計(jì)算的需求。

介紹了opc技術(shù)產(chǎn)生的背景,通過(guò)指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),說(shuō)明了opc技術(shù)的優(yōu)勢(shì)所在。接著簡(jiǎn)單介紹了opc規(guī)范,并描述了它的主要特點(diǎn)與發(fā)展?fàn)顩r,進(jìn)一步說(shuō)明了開(kāi)發(fā)opc應(yīng)用程序的必要性。重點(diǎn)介紹了opc服務(wù)器程序設(shè)計(jì)的理論基礎(chǔ)和設(shè)計(jì)方法,其中包括它的核心技術(shù)comdcom技術(shù)的介紹,opc服務(wù)器程序設(shè)計(jì)總體框架的介紹。最后對(duì)opc服務(wù)器開(kāi)發(fā)方式進(jìn)行了分析與比較,說(shuō)明了使用atl和mfc開(kāi)發(fā)com組件的優(yōu)缺點(diǎn)。

用于過(guò)程控制的標(biāo)準(zhǔn)數(shù)據(jù)接口(opc)程序開(kāi)發(fā)的關(guān)鍵之處是總體框架的建立,其框架的實(shí)現(xiàn)可通過(guò)微軟提供的開(kāi)發(fā)com組件的基本工具atl(活動(dòng)模板庫(kù))來(lái)完成。為此介紹和分析了用atl設(shè)計(jì)opc服務(wù)器的一般性方法和設(shè)計(jì)步驟,進(jìn)而介紹了對(duì)opc服務(wù)器的測(cè)試,并結(jié)合力控組態(tài)軟件對(duì)設(shè)計(jì)的opc服務(wù)器的圖形組態(tài)來(lái)說(shuō)明opc服務(wù)器的簡(jiǎn)單應(yīng)用。

文章介紹了曙光3000超級(jí)服務(wù)器機(jī)群文件系統(tǒng)cosmos中元數(shù)據(jù)服務(wù)器的設(shè)計(jì)與實(shí)現(xiàn)。針對(duì)機(jī)群文件系統(tǒng)對(duì)單一系統(tǒng)映象和可擴(kuò)展性的要求,分析了機(jī)群文件系統(tǒng)元數(shù)據(jù)服務(wù)器基本操作的特點(diǎn),找出了多個(gè)不同的元數(shù)據(jù)操作進(jìn)行并行處理的可行辦法,并給出了實(shí)現(xiàn)方案及系統(tǒng)性能的測(cè)試模型和測(cè)試結(jié)果。

本文采用siacon-smartopc開(kāi)發(fā)工具包,針對(duì)omroncs1plc開(kāi)發(fā)出串口通信程序動(dòng)態(tài)連接庫(kù)(dynamiclinklibrary),利用smartopc提供的應(yīng)用編程接口(api)函數(shù)調(diào)用串口通信函數(shù),實(shí)現(xiàn)了omroncs1plc串口通信的opc數(shù)據(jù)服務(wù)器開(kāi)發(fā)設(shè)計(jì)。

本文通過(guò)指出傳統(tǒng)技術(shù)的缺陷引出opc技術(shù),介紹了opc數(shù)據(jù)服務(wù)器程序設(shè)計(jì)的理論基礎(chǔ)和設(shè)計(jì)方法,并給出了opc數(shù)據(jù)服務(wù)器的總體框架以及用wincc作為opc客戶端對(duì)opc服務(wù)器進(jìn)行連接和測(cè)試的方法。

本文主要介紹了數(shù)據(jù)服務(wù)器的硬件系統(tǒng)設(shè)計(jì)及軟件系統(tǒng)設(shè)計(jì)。本數(shù)據(jù)服務(wù)器是上位機(jī)與現(xiàn)場(chǎng)儀表進(jìn)行數(shù)據(jù)交換的橋梁,上下都采用rs485接口。數(shù)據(jù)服務(wù)器通過(guò)人為設(shè)定的采樣周期對(duì)現(xiàn)場(chǎng)儀表進(jìn)行采樣,讀回?cái)?shù)據(jù)并以一定的格式進(jìn)行存儲(chǔ)。數(shù)據(jù)服務(wù)器根據(jù)上位機(jī)發(fā)來(lái)的命令進(jìn)行相應(yīng)的操作,并返回?cái)?shù)據(jù)給上位機(jī),包括讀取當(dāng)前時(shí)間、所連儀表起始地址、單臺(tái)或全部?jī)x表的當(dāng)前數(shù)據(jù)、歷史數(shù)據(jù)。

提出了基于qt設(shè)計(jì)scada系統(tǒng)數(shù)據(jù)服務(wù)器應(yīng)用軟件的設(shè)計(jì)思想,利用qt具有跨平臺(tái)運(yùn)行的特性,可以從根本上解決常規(guī)的數(shù)據(jù)服務(wù)器軟件對(duì)異構(gòu)服務(wù)器要編制不同的軟件且軟件開(kāi)放性較差的問(wèn)題。具體分析了數(shù)據(jù)服務(wù)器應(yīng)用軟件的功能模塊,并給出了關(guān)鍵模塊用qt的類(lèi)以及相關(guān)函數(shù)的實(shí)現(xiàn)過(guò)程。

介紹了實(shí)時(shí)數(shù)據(jù)服務(wù)器的特點(diǎn)和設(shè)計(jì)過(guò)程,分析了其中的若干關(guān)鍵技術(shù):多線程、oracle調(diào)用接口oci(oraclecallinterface),socket和select函數(shù)的優(yōu)點(diǎn)。通信協(xié)議采用基于有連接的tcp/ip通信協(xié)議,軟件設(shè)計(jì)采用阻塞的通信模式和oci連接數(shù)據(jù)庫(kù),利用select函數(shù)定時(shí)中斷阻塞,進(jìn)行錯(cuò)誤冗余處理。經(jīng)現(xiàn)場(chǎng)實(shí)際測(cè)試,該設(shè)計(jì)方式能夠滿足全網(wǎng)發(fā)電機(jī)功角監(jiān)測(cè)的實(shí)時(shí)數(shù)據(jù)處理要求。

在集群文件系統(tǒng)中,元數(shù)據(jù)服務(wù)器是整個(gè)系統(tǒng)正常運(yùn)轉(zhuǎn)的核心,它的可靠性和性能是設(shè)計(jì)系統(tǒng)時(shí)需要著重考慮的問(wèn)題之一.本文設(shè)計(jì)了一個(gè)具有高可靠性、高性能的兩級(jí)元數(shù)據(jù)服務(wù)器系統(tǒng),兼顧了集中式元數(shù)據(jù)管理和分布式元數(shù)據(jù)管理的優(yōu)點(diǎn).系統(tǒng)中高級(jí)元數(shù)據(jù)服務(wù)器負(fù)責(zé)維護(hù)文件系統(tǒng)全局的目錄結(jié)構(gòu)和管理整個(gè)文件系統(tǒng)的命名空間,雙元數(shù)據(jù)服務(wù)器負(fù)責(zé)維護(hù)文件元數(shù)據(jù)的分布信息,并采用了馬爾可夫回報(bào)模型對(duì)兩級(jí)元數(shù)據(jù)服務(wù)器系統(tǒng)進(jìn)行了可靠性分析.實(shí)驗(yàn)數(shù)據(jù)表明,具有兩級(jí)元數(shù)據(jù)服務(wù)器的集群文件系統(tǒng)能提供高吞吐量.

為了滿足分布式網(wǎng)絡(luò)存儲(chǔ)對(duì)元數(shù)據(jù)服務(wù)的要求,本文采用多個(gè)元數(shù)據(jù)服務(wù)器組成元數(shù)據(jù)服務(wù)器群,并且提出分區(qū)散列管理方案對(duì)元數(shù)據(jù)服務(wù)器群進(jìn)行有效的管理。并在不涉及元數(shù)據(jù)的物理移動(dòng)的前提下,實(shí)現(xiàn)元數(shù)據(jù)服務(wù)器群的負(fù)載平衡機(jī)制、可擴(kuò)充性以及高可用性等性能。

針對(duì)虛擬測(cè)試系統(tǒng)vts(virtualtestsystem)計(jì)算量大、仿真時(shí)間長(zhǎng)、效率低等問(wèn)題,提出了基于分布式的虛擬測(cè)試系統(tǒng)dvts(distributedvts),介紹了dvts的組成;設(shè)計(jì)了vts數(shù)據(jù)服務(wù)器,實(shí)現(xiàn)了各仿真系統(tǒng)之間數(shù)據(jù)生產(chǎn)者與數(shù)據(jù)消費(fèi)者的分離,使得系統(tǒng)結(jié)構(gòu)靈活擴(kuò)展方便;采用數(shù)據(jù)驅(qū)動(dòng)模型實(shí)現(xiàn)各仿真系統(tǒng)之間的數(shù)據(jù)交換,優(yōu)化了網(wǎng)絡(luò)的數(shù)據(jù)交換性能。

對(duì)無(wú)線傳感器網(wǎng)絡(luò)采集到的田間信息進(jìn)行有效的接收、處理是基于無(wú)線傳感器網(wǎng)絡(luò)的農(nóng)田環(huán)境監(jiān)測(cè)系統(tǒng)的重要組成部分,該文針對(duì)農(nóng)田無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)采集的特點(diǎn),對(duì)系統(tǒng)的數(shù)據(jù)處理服務(wù)器的構(gòu)建進(jìn)行了研究,設(shè)計(jì)并實(shí)現(xiàn)了一個(gè)基于非阻塞式sockets套接口的數(shù)據(jù)通信服務(wù)器。該服務(wù)器綜合利用靜態(tài)線程池與i/o復(fù)用技術(shù),采用循環(huán)隊(duì)列作為數(shù)據(jù)緩沖區(qū),較好地解決了農(nóng)田無(wú)線傳感器網(wǎng)絡(luò)對(duì)tcp多連接長(zhǎng)時(shí)間通信,大量田間實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)并發(fā)接收、處理性能要求高的問(wèn)題;采用面向?qū)ο笤O(shè)計(jì)方法,抽象出類(lèi)的層次結(jié)構(gòu),提高了程序代碼的復(fù)用性。

介紹了數(shù)據(jù)服務(wù)器技術(shù)在旋翼塔測(cè)控軟件中的應(yīng)用,重點(diǎn)介紹了各個(gè)模塊功能的實(shí)現(xiàn)方案,以及在方案實(shí)施過(guò)程中如何解決網(wǎng)絡(luò)堵塞難題的關(guān)鍵技術(shù)。

　介紹opc技術(shù)核心———com技術(shù),分析opc數(shù)據(jù)服務(wù)器技術(shù)及其接口,給出利用dll類(lèi)型快速開(kāi)發(fā)工具進(jìn)行opc數(shù)據(jù)服務(wù)器程序開(kāi)發(fā)的步驟和示例。

分布式監(jiān)控系統(tǒng)由多個(gè)監(jiān)控子系統(tǒng)組成,負(fù)責(zé)監(jiān)控多種設(shè)備。根據(jù)現(xiàn)場(chǎng)監(jiān)測(cè)設(shè)備種類(lèi)多、結(jié)構(gòu)復(fù)雜等特點(diǎn),針對(duì)工控信息、管理信息集成等需求,提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務(wù)器結(jié)構(gòu)。該數(shù)據(jù)服務(wù)器實(shí)現(xiàn)了控制系統(tǒng)實(shí)時(shí)數(shù)據(jù)采集、處理、存儲(chǔ)、發(fā)布的統(tǒng)一管理,采用數(shù)據(jù)服務(wù)的在線監(jiān)督,將工控網(wǎng)絡(luò)同管理網(wǎng)絡(luò)分隔開(kāi),實(shí)現(xiàn)了數(shù)據(jù)的安全、動(dòng)態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動(dòng)的交換式結(jié)構(gòu),數(shù)據(jù)處理組件化,系統(tǒng)結(jié)構(gòu)靈活、擴(kuò)展方便。

海量存儲(chǔ)系統(tǒng)都采用元數(shù)據(jù)服務(wù)器機(jī)群的方式來(lái)處理文件系統(tǒng)的元數(shù)據(jù)信息。很多存儲(chǔ)系統(tǒng)采用hash算法來(lái)實(shí)現(xiàn)文件元數(shù)據(jù)在元數(shù)據(jù)機(jī)群內(nèi)的分布,但是這些算法都是針對(duì)文件進(jìn)行hash。本文提出了一種目錄哈希的新算法,針對(duì)目錄進(jìn)行hash,并把一個(gè)目錄內(nèi)的元數(shù)據(jù)集中存儲(chǔ)。本算法克服了文件hash的不足,改善了存儲(chǔ)系統(tǒng)的性能,并極大地提高了存儲(chǔ)系統(tǒng)的可擴(kuò)展性。

分布式監(jiān)控系統(tǒng)由多個(gè)監(jiān)控子系統(tǒng)組成，負(fù)責(zé)臨近多種設(shè)備。本文根據(jù)現(xiàn)場(chǎng)監(jiān)測(cè)設(shè)備種類(lèi)多、結(jié)構(gòu)復(fù)雜等特點(diǎn)，針對(duì)工控信息、管理信息集成等需求，提出了一種基于數(shù)據(jù)交換的數(shù)據(jù)服務(wù)器結(jié)構(gòu)。該數(shù)據(jù)服務(wù)器實(shí)現(xiàn)了控制系統(tǒng)實(shí)時(shí)數(shù)據(jù)采集、處理、存儲(chǔ)、發(fā)布的統(tǒng)一管理，采用數(shù)據(jù)服務(wù)的在線監(jiān)督，將工控網(wǎng)絡(luò)同管理網(wǎng)絡(luò)分隔開(kāi)，實(shí)現(xiàn)了數(shù)據(jù)的安全、動(dòng)態(tài)發(fā)布。系統(tǒng)采用數(shù)據(jù)驅(qū)動(dòng)的交換式結(jié)構(gòu)，數(shù)據(jù)處理組件化，系統(tǒng)結(jié)構(gòu)靈活、擴(kuò)展方便。

在大型分布式對(duì)象存儲(chǔ)系統(tǒng)中,元數(shù)據(jù)服務(wù)系統(tǒng)是一個(gè)潛在的訪問(wèn)瓶頸.本文提出一種通過(guò)分層式文件系統(tǒng)構(gòu)建共享存儲(chǔ)池的采用兩次分布式哈希函數(shù)方式的元數(shù)據(jù)服務(wù)系統(tǒng).其具有不需要人工干預(yù)的故障恢復(fù)性和易擴(kuò)展特性,而且最大程度減少了mds之間大量元數(shù)據(jù)的物理遷移.實(shí)驗(yàn)測(cè)試證明系統(tǒng)具有良好的i/o性能.