淺析數(shù)據(jù)庫系統(tǒng)中SQL語句的優(yōu)化技術(shù)
(作者未知) 2011/6/21
摘要:SQL語句的優(yōu)化是將性能低下的SQL語句轉(zhuǎn)換成目的相同的性能優(yōu)異的SQL語句。人工智能自動SQL優(yōu)化就是使用人工智能技術(shù),自動對SQL語句進行重寫,從而找到性能最好的等效SQL語句。
關(guān)鍵詞:人工智能;自動優(yōu)化;SQL語句優(yōu)化
一個數(shù)據(jù)庫系統(tǒng)的生命周期可以分成:設(shè)計、開發(fā)和成品三個階段。在設(shè)計階段進行數(shù)據(jù)庫性能優(yōu)化的成本最低,收益最大。在成品階段進行數(shù)據(jù)庫性能優(yōu)化的成本最高,收益最小。數(shù)據(jù)庫的優(yōu)化通?梢酝ㄟ^對網(wǎng)絡(luò)、硬件、操作系統(tǒng)、數(shù)據(jù)庫參數(shù)和應(yīng)用程序的優(yōu)化來進行。最常見的優(yōu)化手段就是對硬件的升級。根據(jù)統(tǒng)計,對網(wǎng)絡(luò)、硬件、操作系統(tǒng)、數(shù)據(jù)庫參數(shù)進行優(yōu)化所獲得的性能提升,全部加起來只占數(shù)據(jù)庫系統(tǒng)性能提升的40%左右,其余的60%系統(tǒng)性能提升來自對應(yīng)用程序的優(yōu)化。許多優(yōu)化專家認為,對應(yīng)用程序的優(yōu)化可以得到80%的系統(tǒng)性能的提升。應(yīng)用程序的優(yōu)化通?煞譃閮蓚方面:源代碼和SQL語句。由于涉及到對程序邏輯的改變,源代碼的優(yōu)化在時間成本和風(fēng)險上代價很高,而對數(shù)據(jù)庫系統(tǒng)性能的提升收效有限。
1.1為什么要優(yōu)化SQL語句
第一、SQL語句是對數(shù)據(jù)庫進行操作的惟一途徑,對數(shù)據(jù)庫系統(tǒng)的性能起著決定性的作用。
第二、SQL語句消耗了70%至90%的數(shù)據(jù)庫資源。
第三、SQL語句獨立于程序設(shè)計邏輯,對SQL語句進行優(yōu)化不會影響程序邏輯。
第四、SQL語句有不同的寫法,在性能上的差異非常大。
第五、SQL語句易學(xué),但難精通。
優(yōu)化SQL語句的傳統(tǒng)方法是通過手工重寫來對SQL語句進行優(yōu)化。DBA或資深程序員通過對SQL語句執(zhí)行計劃的分析,依靠經(jīng)驗,嘗試重寫SQL語句,然后對結(jié)果和性能進行比較,以試圖找到性能較佳的SQL語句。這種傳統(tǒng)上的作法無法找出SQL語句的所有可能寫法,且依賴于人的經(jīng)驗,非常耗費時間。
1.2 SQL優(yōu)化技術(shù)的發(fā)展歷程
第一代SQL優(yōu)化工具是執(zhí)行計劃分析工具。這類工具針對輸入的SQL語句,從數(shù)據(jù)庫提取執(zhí)行計劃,并解釋執(zhí)行計劃中關(guān)鍵字的含義。
第二代SQL優(yōu)化工具只能提供增加索引的建議,它通過對輸入的SQL語句的執(zhí)行計劃的分析,來產(chǎn)生是否要增加索引的建議。
第三代SQL優(yōu)化工具不僅分析輸入SQL語句的執(zhí)行計劃,還對輸入的SQL語句本身進行語法分析,經(jīng)過分析產(chǎn)生寫法上的改進建議。
1.3人工智能自動SQL優(yōu)化
人工智能自動SQL優(yōu)化出現(xiàn)在90年代末。目前在商用數(shù)據(jù)庫領(lǐng)域,LECCO Technology Limited(靈高科研有限公司)擁有該技術(shù),并提供使用該技術(shù)的自動優(yōu)化產(chǎn)品LECCO SQL Expert,它支持Oracle、Sybase、MS SQL Server和IBM DB2數(shù)據(jù)庫平臺。該產(chǎn)品針對數(shù)據(jù)庫應(yīng)用的開發(fā)和維護階段提供的模塊有:SQL語法優(yōu)化器、PL/SQL集成化開發(fā)調(diào)試環(huán)境(IDE)、掃描器、數(shù)據(jù)庫監(jiān)視器等。其核心模塊SQL 語法優(yōu)化器的工作原理為:①輸入一條源SQL語句;②“人工智能反饋式搜索引擎”對輸入的SQL語句,結(jié)合檢測到的數(shù)據(jù)庫結(jié)構(gòu)和索引進行重寫,產(chǎn)生N條等效的SQL語句輸出;③產(chǎn)生的N條等效SQL語句再送入“人工智能反饋式搜索引擎”進行重寫,直至無法產(chǎn)生新的輸出或搜索限額滿;④對輸出的SQL語句進行過濾,選出具有不同執(zhí)行計劃的SQL語句;⑤對得到的SQL語句進行批量測試,找出性能最好的SQL語句。
2 LECCO SQL Expert自動優(yōu)化實例
2.1假設(shè)我們從源代碼中抽取出這條SQL語句(也可以通過內(nèi)帶的掃描器或監(jiān)視器獲得SQL語句):
SELECT COUNT(*)
FROM EMPLOYEE
swheresEXISTS (SELECT ’X’
FROM DEPARTMENT
swheresEMP_DEPT=DPT_ID
AND DPT_NAME LIKE ’AC%’)
AND EMP_ID IN (SELECT SAL_EMP_ID
FROM EMP_SAL_HIST B
swheresSAL_SALARY > 70000)
按下“優(yōu)化”按鈕后,經(jīng)過10幾秒,SQL Expert就完成了優(yōu)化的過程,并在這10幾秒的時間里重寫產(chǎn)生了2267 條等價的SQL語句,其中136條SQL語句有不同的執(zhí)行計劃。
接下來,我們可以對自動重寫產(chǎn)生的136條SQL語句進行批運行測試,以選出性能最佳的等效SQL語句。按下“批(未完,下一頁)
|