在這里,筆者將向大家介紹使用磁盤管理工具給Oracle提速的一些方法。當(dāng)我們希望給Oracle提速的時(shí)候,我們首先必須了解在oracle運(yùn)行過程中,瓶頸來自于哪些方面,我們通過哪些方面去給Oracle提速。
瓶頸來自于哪里
一、 操作系統(tǒng)的單寫鎖
首先我們知道,Unix系統(tǒng)是一個(gè)多用戶的操作系統(tǒng),為了保持文件的一致性,操作系統(tǒng)一般會(huì)在某個(gè)用戶對(duì)數(shù)據(jù)庫進(jìn)行讀寫操作的時(shí)候,為該文件加一個(gè)單寫鎖(single write lock),這樣可以避免其它人繼續(xù)操作這個(gè)文件,可以保證數(shù)據(jù)文件的可靠性。
但是加鎖和解鎖的過程如此復(fù)雜,在獲得文件一致性和安全性的同時(shí),犧牲掉了大量的系統(tǒng)性能,有什么辦法可以既保證數(shù)據(jù)庫系統(tǒng)的文件一致性,又不致于浪費(fèi)掉大量的系統(tǒng)性能呢?
二、寫緩存和磁盤讀寫
我們知道,在數(shù)據(jù)庫的數(shù)據(jù)在讀寫的時(shí)候,首先都需要經(jīng)過緩存,緩存命中率對(duì)于數(shù)據(jù)庫的讀寫效率起著至關(guān)重要的作用。那么我們?nèi)绾翁岣呔彺娴拿新誓兀?/P>
一般數(shù)據(jù)庫在讀寫的時(shí)候都會(huì)保存一份cache,然而文件系統(tǒng)在讀寫系統(tǒng)文件的時(shí)候也會(huì)生成一份cache,這樣緩存中就會(huì)留有冗余的數(shù)據(jù),影響緩存使用的利用率。我們?cè)鯓酉彺嬷羞@部分冗余的數(shù)據(jù)呢?
三、提高磁盤讀寫效率
在Oracle 9i版本以后,Oracle本身都自帶有磁盤管理組件(Oracle disk manager)來管理數(shù)據(jù)文件,提高I/O吞吐量,不過本文將為大家介紹另外一種磁盤管理工具,能夠進(jìn)一步優(yōu)化磁盤數(shù)據(jù)結(jié)構(gòu),提高數(shù)據(jù)吞吐量。大家有興趣,可對(duì)兩種系統(tǒng)優(yōu)化工具進(jìn)行一下對(duì)比測(cè)試。
優(yōu)化磁盤文件系統(tǒng)和數(shù)據(jù)分布
由于數(shù)據(jù)庫的讀寫與磁盤文件系統(tǒng)、數(shù)據(jù)分布等等規(guī)則密切相關(guān),我們可以使用一些磁盤管理工具來優(yōu)化磁盤的文件系統(tǒng)和數(shù)據(jù)分布規(guī)則。
對(duì)于Unix系統(tǒng)的單寫鎖問題造成數(shù)據(jù)庫讀寫效率低下的情況,我們知道,為了提高讀寫速度,Unix操作系統(tǒng)在提供單寫鎖功能的同時(shí),還提供了異步讀寫(asynchronous I/O)和直接讀寫(direct I/O)的API,允許應(yīng)用程序不加鎖的寫入文件。因此,一些磁盤管理工具軟件可以利用這個(gè)特點(diǎn), 讓數(shù)據(jù)庫文件跳過這些單寫鎖,按照裸設(shè)備的讀寫方式寫這些文件,從而提高數(shù)據(jù)庫的讀寫性能。
同時(shí),大多數(shù)磁盤管理工具都能夠自動(dòng)監(jiān)控?cái)?shù)據(jù)讀寫存取的頻度,選擇將一些讀寫頻繁的數(shù)據(jù)文件直接加載到內(nèi)存中,這樣,磁盤管理工具軟件能保證讀出和寫入這些文件,整個(gè)過程對(duì)于Oracle是完全透明的。
筆者在這里將以2個(gè)2000行的相同的數(shù)據(jù)庫更新來進(jìn)行測(cè)試,以Vetitas storage foundation為例,來測(cè)試Veritas Storage Foundation對(duì)Oracle數(shù)據(jù)庫的提速效果。
Quick I/O系統(tǒng)優(yōu)化實(shí)例介紹
Veritas Storage Foundation本身是一個(gè)管理軟件的套件,其中的Quick I/O與cache I/O功能組件能夠分別解決單寫鎖和緩存命中率問題。利用Quick I/O這個(gè)特性來讀寫文件,需要將VxFS文件系統(tǒng)的文件轉(zhuǎn)換成Quick IO文件,然后storage foundation才能減少這些文件的讀寫的鎖控制和cache的控制。
下面我們來看一下Quick IO的用法:
1. 確定目前數(shù)據(jù)庫的數(shù)據(jù)文件的位置;
2. 確定是否該目錄屬于VxFS文件系統(tǒng),Qick IO是建立在VxFS文件系統(tǒng)上的,如果不屬于VxFS文件系統(tǒng)將無法使用Qick IO。
3. 同時(shí),我們還需要確定是否Quick IO正在使用,可以通過如下命令行:
# dbed_checkconfig -S $ORACLE_SID -H $ORACLE_HOME
來確定,輸入命令行之后,從屏幕輸出中我們可以看到有關(guān)Quick IO的信息:
Examining Quick I/O settings.
10 files are not configured to use Quick I/O.
同時(shí)必須要注意,使用該命令的時(shí)候,$ORACLE_SID所屬的實(shí)例必須是啟動(dòng)的狀態(tài)。
4. 獲得QIO所能夠轉(zhuǎn)換的數(shù)據(jù)庫文件的列表,生成mkqio.dat文件。
在這里,我們輸入:#qio_getdbfiles_ora,屏幕輸出如下:
這里需要注意的是:該命令會(huì)自動(dòng)跳過temporary tablespace的文件,這是因?yàn)閛racle的臨時(shí)文件支持把數(shù)據(jù)寫到未分配的存儲(chǔ)區(qū)域,但是quick IO不支持,所以如果將這種文件轉(zhuǎn)換成Quick IO文件,可能會(huì)引起oracle的寫失敗。
5. 這時(shí)必須停止oracle數(shù)據(jù)庫,否則在數(shù)據(jù)庫文件轉(zhuǎn)換成Quick IO文件時(shí)會(huì)失敗。
6. 停止oracle數(shù)據(jù)庫后,我們可以將VxFS類型的數(shù)據(jù)庫文件轉(zhuǎn)換為Quick文件,命令行如下:#qio_convertdbfiles_ora
這時(shí)候,我們重啟oracle數(shù)據(jù)庫,這時(shí)會(huì)發(fā)現(xiàn)數(shù)據(jù)庫的讀寫速度就會(huì)加快。一般來說,數(shù)據(jù)庫讀寫加快的比例和具體用戶的需求有關(guān),以筆者所做的兩個(gè)2000行的數(shù)據(jù)更新進(jìn)行測(cè)試的結(jié)果,速度提高了10%。Veritas官方的說法認(rèn)為,這個(gè)提高的比例大概在5%-20%左右,不過具體應(yīng)用過程中,能做到10%的速度提高還是很不錯(cuò)的,有興趣的朋友可以自己試一試。
利用Cache QIO提高oracle讀寫
使用cache QIO的關(guān)鍵在于統(tǒng)計(jì)出來哪些數(shù)據(jù)庫文件被頻繁使用,因?yàn)閮?nèi)存的總數(shù)是有限的,將有限的資源利用到最需要的地方,正是我們這些數(shù)據(jù)庫管理員所追求的。下面我們說明一下cache QIO的用法:
1. 第一步必須清空QIO的統(tǒng)計(jì)信息,命令行如下:
#qiostat -r /oracle/oradata/glob_ora/*.dbf
#qiostat /oracle/oradata/glob_ora/*.dbf
這時(shí),輸出結(jié)果如下,我們可以看見QIO的信息已經(jīng)完全清空。
2. 下面,我們可以進(jìn)入數(shù)據(jù)庫做幾個(gè)常見的讀寫操作,來判斷哪些文件被讀寫過了,并且判斷讀寫的頻次。
我們通過以下命令行來查詢哪些文件被讀寫過了:
#qiostat /oracle/oradata/glob_ora/*.dbf
這時(shí),在輸出結(jié)果中,我們留意這一行:
說明該文件被讀寫的次數(shù)比較多。
3. 將該文件系統(tǒng)轉(zhuǎn)為Cache QIO文件系統(tǒng)
#vxtunefs -o qio_cache_enable=1 /oracle
注:關(guān)閉就是將該值設(shè)置為0
4. 重復(fù)上面的1-3步驟來測(cè)試哪些數(shù)據(jù)被讀寫過了。這時(shí),我們可以發(fā)現(xiàn),第二步的數(shù)據(jù)庫讀寫操作對(duì)文件的讀寫幾乎為0,那就是因?yàn)榇疟P管理工具已經(jīng)將你的讀寫記錄到了內(nèi)存中一個(gè)專屬的地方,由磁盤管理工具來負(fù)責(zé)對(duì)文件的讀寫。
需要注意的是,這一步驟對(duì)普通用戶是屏蔽的,提高了數(shù)據(jù)庫用戶的數(shù)據(jù)文件讀寫速的,這個(gè)時(shí)候數(shù)據(jù)庫的讀寫可靠性將由磁盤管理工具軟件storage foundation來維護(hù)。
優(yōu)化數(shù)據(jù)結(jié)構(gòu)提高讀寫速度
在Oracle 9i之后,oracle使用oracle磁盤管理組件(Oracle Disk Manager)來管理數(shù)據(jù)文件,提高oracle數(shù)據(jù)庫的輸入輸出數(shù)據(jù)吞吐量。Oracle磁盤管理的原理是通過直接將用戶數(shù)據(jù)拷貝到裸設(shè)備上,從而減少內(nèi)核對(duì)數(shù)據(jù)文件加鎖和減少多余cache,所以它基本應(yīng)用在裸設(shè)備上,由oracle來管理和控制對(duì)于裸設(shè)備的讀寫。
我們?nèi)匀灰訴eritas的磁盤管理工具軟件Storage Foundation為例來說明磁盤管理工具軟件對(duì)數(shù)據(jù)文件的優(yōu)化。Veritas Storage Foundation的組件ODM和Oracle自帶的系統(tǒng)優(yōu)化是同樣的原理,唯一不同的是,它可以將數(shù)據(jù)寫在Veritas VxFS文件系統(tǒng)的基礎(chǔ)上,至于該軟件與Oracle自帶的優(yōu)化功能孰優(yōu)孰劣,讀者可以自己測(cè)試一下,根據(jù)筆者的經(jīng)驗(yàn),由于Veritas Storage Foundation本身是專業(yè)的磁盤管理工具軟件,在針對(duì)Oracle數(shù)據(jù)庫的系統(tǒng)優(yōu)化上,還是有非常明顯的效果。
但是,Veritas Storage Foundation的ODM組件與Quick IO還是有所不同。他們的區(qū)別在于使用Quick IO需要轉(zhuǎn)換數(shù)據(jù)庫文件,然而ODM的使用對(duì)于用戶來說是透明的。另外oracle 9i之前的用戶只能使用Quick IO功能,并不支持ODM功能,同時(shí)Quick IO和ODM不能同時(shí)使用。
下面我們來說明一下ODM的用法:
1. 確認(rèn)ODM的序列號(hào)已經(jīng)安裝;
# /opt/VRTS/bin/vxlictest -n "VERITAS Storage Foundation
for Oracle" -f "ODM"
2. 確定ODM軟件包已經(jīng)安裝(以solaris為例):
# pkginfo |grep VRTSodm
3. 確認(rèn)odm的庫文件存在:
# ls –l /opt/VRTSodm/lib/sparcv9/libodm.so (64位操作系統(tǒng))
# ls –l /opt/VRTSodm/lib/libodm.so (32位操作系統(tǒng))
4. 確認(rèn)Quick IO沒有被使用
$ dbed_checkconfig -S $ORACLE_SID -H $ORACLE_HOME
5. 停止oracle 數(shù)據(jù)庫。如果Quick IO 不存在,可以忽律步驟6-7;
6. 將quick IO數(shù)據(jù)文件轉(zhuǎn)換為ODM文件格式:
# /opt/VRTS/bin/qio_getdbfiles -T ora –a
得出Quick IO的數(shù)據(jù)庫文件
# /opt/VRTS/bin/qio_convertdbfiles -T ora –u
將剛才得出的數(shù)據(jù)庫文件轉(zhuǎn)換為非Quick IO的文件
7. 查看ODM是否在當(dāng)前數(shù)據(jù)庫已經(jīng)被使用:
$ grep ODM /oracle/admin/ORCL/bdump/alert_ORCL.log
如果該命令得出“Oracle instance running with ODM: Veritas #.# ODM Library, Version #.#”,則說明ODM已經(jīng)是啟動(dòng)的了;否則就是沒有啟動(dòng)。
8. 將原來的odm庫文件用Veritas的替換:
# mv /oracle/lib/libodm9.so /oracle/lib/libodm9.so.old
將原有的庫文件備份;
# ln -s /opt/VRTSodm/lib/sparcv9/libodm.so /oracle/lib/libodm9.so
用Veritas的庫文件替換
9. 因?yàn)镺DM功能無法與QIO功能一起使用,所以使用ODM之前,必須關(guān)閉cache quick IO功能;
# vxtunefs -o qio_cache_enable=0 $ORACLE_BASE/oradata
重新啟動(dòng)oracle數(shù)據(jù)庫
10. 驗(yàn)證ODM已經(jīng)啟動(dòng)
$ grep ODM /oracle/admin/ORCL/bdump/alert_ORCL.log
可以得出Veritas ODM的版本信息
$ dbed_checkconfig -S $ORACLE_SID -H $ORACLE_HOME
可以在輸出中看到“NOTICE: It appears that your system is ODM enabled.”
這樣,oracle的ODM功能就成功啟動(dòng)了,至于數(shù)據(jù)庫讀寫速度加快了多少,大家有興趣可自行測(cè)試下,并與前面的Quick IO相對(duì)比下。