|
淺析ＷＥＢ日志數(shù)據(jù)挖掘技術(shù)
（作者未知） 2010/7/14
（接上頁）等。
路徑補(bǔ)充：在識別用戶會(huì)話過程中的另外一個(gè)問題是確定訪問日志中是否有重要的請求沒有被記錄。這就需要路徑補(bǔ)充來完成這些記錄了。如果當(dāng)前請求的頁面與用戶上一次請求的頁面之閫沒有超文本鏈接，那么用戶很可能使用了瀏覽器上“BACK”的功能調(diào)用緩存在本機(jī)中的頁面。檢查引用信息確定當(dāng)前請求來自哪一頁，如果在用戶的歷史訪問記錄上有多個(gè)頁面都包含與當(dāng)前請求頁面的鏈接，則將請求時(shí)間最接近的作為當(dāng)前請求的來源，如果引用信息不完整，則可以利用站點(diǎn)的拓?fù)浣Y(jié)構(gòu)來代替。
以上的步驟是web日志挖掘中數(shù)據(jù)預(yù)處理常用的手段，其目的就是盡量使得預(yù)處理后的數(shù)據(jù)比較真實(shí)和完整，為后面的數(shù)據(jù)挖掘打好基礎(chǔ)。對于預(yù)處理后的數(shù)據(jù)。就可以進(jìn)一步進(jìn)行識別川』、瀏覽行為的序列模式了。
(四)基于復(fù)雜結(jié)構(gòu)的分布式Web日志挖掘方案
所謂Web服務(wù)器的復(fù)雜結(jié)構(gòu)主要是說像那些大型的門戶網(wǎng)站的分布式結(jié)構(gòu)，擁有多臺Web服務(wù)器，日志文件存在于各自服務(wù)器上。對于這種分布式的結(jié)構(gòu)，一般采用的是多代理技術(shù)的分布式Web日志挖掘技術(shù)來解決。代理這個(gè)概念源于分布式人工智能領(lǐng)域，隨后引申到其它計(jì)算機(jī)研究領(lǐng)域。代理主要是指在一定環(huán)境下自主運(yùn)行，包含信念、承諾、義務(wù)和意圖等精神狀態(tài)的實(shí)體。它具有自治性、社會(huì)性、反應(yīng)性和能動(dòng)性等特點(diǎn)。
多代理就是由多個(gè)代理組成，它們之間互相協(xié)作，相互作用，完成有些復(fù)雜任務(wù)或者目標(biāo)。顯然多代理解決問題的能力比單個(gè)代理要強(qiáng)。它的數(shù)據(jù)分布，計(jì)算過程是異步、并發(fā)或并行的。多代理分布技術(shù)用到Web日志挖掘系統(tǒng)主要基于多代理技術(shù)的三重體系結(jié)構(gòu)，包括用戶訪問層，代理層和Web服務(wù)器層。用戶層管理不同的用戶有不同的操作權(quán)限，一般用戶只允許查詢結(jié)果，而管理用戶則可以實(shí)現(xiàn)配置代理及監(jiān)控系統(tǒng)情況的功能。Web服務(wù)層就是Web服務(wù)器群集組成的，每個(gè)Web服務(wù)器提供了相應(yīng)的Web日志文件，并有一個(gè)接口實(shí)現(xiàn)與代理層的交互。代理層是用戶訪問層和Web服務(wù)器層的橋梁，主要為了解決分布式異構(gòu)性和速度問題以及保證數(shù)據(jù)的完整性而設(shè)。
代理技術(shù)的使用能夠有效地對多個(gè)異構(gòu)Web服務(wù)器同時(shí)進(jìn)行分析和處理。對于數(shù)據(jù)的預(yù)處理和數(shù)據(jù)挖掘算法等則和簡單結(jié)構(gòu)的Web日志挖掘方案類似，這里就不再敘述了。
三、結(jié)論
由上面列舉的兩種環(huán)境下的Web日志挖掘方案可知，好的數(shù)據(jù)預(yù)處理手段是Web日志挖掘方案是否成功的關(guān)鍵。在做預(yù)處理的過程中，由于不同層次的訪問者瀏覽網(wǎng)站行為的復(fù)雜性，不確定性和不連貫性，要完全準(zhǔn)確地分析全部訪問者的行為也是不切實(shí)際的，應(yīng)該根據(jù)分析的需要，首先確定需要的行為，確定這些行為出現(xiàn)的一些條件和特征，從而確立一些分析規(guī)則，將這些行為盡量挖出來，對于不需要的行為數(shù)據(jù)應(yīng)該盡量過濾。只有預(yù)處理數(shù)據(jù)做好了，后面的分析和挖掘才會(huì)比較準(zhǔn)確的，因此，安排多些時(shí)間放在預(yù)處理數(shù)據(jù)階段是十分必要的。
|