|
內(nèi)存網(wǎng)格關鍵技術(shù)探析
（作者未知） 2011/6/23
摘要：內(nèi)存網(wǎng)格的出現(xiàn)主要借鑒了傳統(tǒng)的網(wǎng)格計算技術(shù)和集群內(nèi)存共享技術(shù)。本文從動態(tài)函數(shù)截獲，緩存數(shù)據(jù)組織與管理和異步緩存數(shù)據(jù)寫入三方面探討了內(nèi)存網(wǎng)格系統(tǒng)的關鍵技術(shù)。
關鍵詞：內(nèi)存網(wǎng)格；動態(tài)函數(shù)截獲；異步緩存數(shù)據(jù)
一 引言
隨著計算機技術(shù)的發(fā)展，CPU和系統(tǒng)主存的性能得到了極大的提高。然而由于IO設備的發(fā)展相對滯后，磁盤性能逐漸成為了影響計算機整體性能的瓶頸。對于具有頻繁、隨機磁盤10的數(shù)據(jù)密集型應用，如web服務器和數(shù)據(jù)庫系統(tǒng)，磁盤訪問的巨大延遲將嚴重影響應用程序的性能。為了提高系統(tǒng)10性能，提出了內(nèi)存網(wǎng)格的概念，為共享和利用互聯(lián)網(wǎng)中豐富的內(nèi)存資源來解決內(nèi)存密集型應用的性能問題提供了理論支持。本文結(jié)合已有的內(nèi)存網(wǎng)格理論，對其關鍵技術(shù)進行了系統(tǒng)研究。
二 動態(tài)函數(shù)截獲技術(shù)
(一)內(nèi)核模塊
Linux內(nèi)核是單一平面結(jié)構(gòu)(monolithic)，也就是說它是一個獨立的大程序，所有的內(nèi)核功能構(gòu)件均可訪問任一個內(nèi)部數(shù)據(jù)結(jié)構(gòu)和例程。為了方便使用同時又提供了模塊化的機制，這就是內(nèi)核模塊。內(nèi)核模塊是可以按照需要動態(tài)載入內(nèi)核和從內(nèi)核中卸載的代碼。內(nèi)核模塊可以不需要重起系統(tǒng)擴展內(nèi)核的功能。對于Linux內(nèi)核模塊，可以用insmod或rmmod命令顯式載入或卸載，或者由內(nèi)核在需要時調(diào)用內(nèi)核守護程序(kerneld)自動載入和卸載。內(nèi)核模塊運行在Linux內(nèi)核空間，可以方便地使用內(nèi)核提供的系統(tǒng)函數(shù)和變量。從模塊程序鏈接的方式來看，它并不能自由地使用用戶空間里定義的函數(shù)庫，只能使用內(nèi)核空間中定義的、資源受到限制的函數(shù)。內(nèi)核在內(nèi)核符號表中維護了一個模塊的鏈表，每個符號表對應一個模塊，模塊加載進內(nèi)核時正確地對其進行解釋，并將模塊作為內(nèi)核的一部分來執(zhí)行：加載進內(nèi)核的模塊具有所有的內(nèi)核權(quán)限。模塊可以在系統(tǒng)啟動時加載到系統(tǒng)中，也可以在系統(tǒng)運行時加載：在不需要時，可以將模塊動態(tài)卸載，這樣就不用每次修改系統(tǒng)的配置時都要重新編譯內(nèi)核了。一般來說，內(nèi)核模塊可以應用于設備驅(qū)動、文件系統(tǒng)驅(qū)動程序、網(wǎng)絡驅(qū)動、可執(zhí)行文件解釋器和系統(tǒng)調(diào)用等方面。
(二)函數(shù)截獲
內(nèi)存網(wǎng)格系統(tǒng)中利用了函數(shù)截獲(APIHooking)的方法來動態(tài)改變系統(tǒng)函數(shù)執(zhí)行流程。所謂動態(tài)改變，就是指在不修改程序源代碼和不覆蓋程序在磁盤的存儲映像前提下，對程序行為進行修改。
函數(shù)截獲(API Hooking)是獲取指定執(zhí)行代碼控制權(quán)的基本方法[44，45]。它提供了一種在不修改程序源代碼的前提下，動態(tài)改變操作系統(tǒng)行為的便捷方法。在眾多現(xiàn)代操作系統(tǒng)中，使用函數(shù)截獲方法的間諜軟件(Spying Software)大量利用了系統(tǒng)中存在的窗口程序來部署自己的特殊應用。一般說來，使用函數(shù)截獲方法具有如下優(yōu)點：
1、便于API函數(shù)的監(jiān)控
具備控制API函數(shù)調(diào)用的能力是非常有用的。它能夠使程序開發(fā)者追蹤一些發(fā)生在API調(diào)用過程中、通常對外部應用“不可見”的系統(tǒng)行為。這種方法主要用于特定環(huán)境下對函數(shù)參數(shù)的驗證和檢查。比如，在某些情況下，監(jiān)控與內(nèi)存相關的API調(diào)用可以有效的捕獲內(nèi)存資源泄漏的問題。
2、便于調(diào)試與逆向工程
基于函數(shù)截獲的調(diào)試方法一直在調(diào)試技術(shù)中占據(jù)重要的地位。許多程序開發(fā)者使用函數(shù)截獲方法來確定程序部件的實現(xiàn)和相互關聯(lián)。API截獲(APlinterception是獲取二進制執(zhí)行文件信息的重要方法。
3、便于窺視系統(tǒng)內(nèi)部實現(xiàn)
許多程序開發(fā)者希望對非開源操作系統(tǒng)有深層次的了解。函數(shù)截獲方法是一種有效的探索API內(nèi)部細節(jié)的方法。
4、便于擴展函數(shù)的功能
為了能夠改變或擴展模塊功能，通常使用函數(shù)截獲的方法對程序的正常執(zhí)行流進行重新定向。比如，許多第三方軟件產(chǎn)品有時候無法滿足具體的安全要求，因此不得不對其進行一些調(diào)整。為了解決這種問題，應用程序開發(fā)者可以利用函數(shù)截獲方法對原函數(shù)添加一些額外的前置和后置處理過程。這種方法對改變一些已經(jīng)編譯后的代碼行為極為有用。
對于一個需要利用函數(shù)截獲的系統(tǒng)來說，通常需要依據(jù)函數(shù)截獲的目標和使用環(huán)境來決定具體采用何種函數(shù)截獲方法。首先，我們需要考慮設計目標是只針對單一應用進行截獲還是需要構(gòu)建一個系統(tǒng)級的截獲方案。比如，如果只需要監(jiān)控一個特定應用，那么就不需要對一個系統(tǒng)級的函數(shù)進行截獲。
一個截獲系統(tǒng)(Hook System)通常由至少兩個部分組成，即一個截獲服務器
CHook Server)和一個截獲驅(qū)動器(HookDriver)。截獲驅(qū)動器主要完成實際的截獲功能，截獲服務器則負責將截獲驅(qū)動器在特定時刻注入(inje（未完，下一頁）
|