[Oracle] How to Use Open Source Tools to Implement Your Own TPC-C 作者：Fenng 日期：Mar 14 2004 (v0.13)站點：Http://www.dbanotes.net本文簡介 介紹如何利用開源工具實現(xiàn)Oracle數(shù)據(jù)庫環(huán)境中的TPC-C.對DBA、開發(fā)人員、BI實施者有一定的參考價值. 引言描述設(shè)想一下這樣一種情況: 您正在負責(zé)公司的一個OLTP類型的數(shù)據(jù)庫項目,面臨數(shù)據(jù)庫服務(wù)器選型的問題:如何選擇硬件才能滿足產(chǎn)品環(huán)境的業(yè)務(wù)要求? 這個事情是“拍腦袋” 能決定的嗎?不可否認,硬件選型是一門藝術(shù),選擇合適的硬件,能給公司節(jié)省大筆的費用,選擇不能滿足業(yè)務(wù)需求的服務(wù)器產(chǎn)品,不但花了冤枉錢，還會對將來的業(yè)務(wù)產(chǎn)生影響?？赡艽蠹沂紫葧氲絽⒖挤?wù)器的TPC-C的信息。提到TPC-C，可能很多人對此都感到既熟悉又生疏，因為經(jīng)常聽人說起，但是具體的問下去，能說清楚的又沒有多少人，而且，從大家口中得到的還不盡相同。那么什么是TPC/TPC-C這些都代表什么意思呢？什么是TPC?TPC(Transaction Processing Performance Council，事務(wù)處理性能委員會)是一個非盈利性的組織，其官方站點在http://www.tpc.org。其宗旨是為了制定商務(wù)應(yīng)用基準程序(Benchmark)的標準規(guī)范，提供性能和價格度量，并治理測試結(jié)果的發(fā)布。在業(yè)界極其具有權(quán)威性。TPC的基準程序的標準規(guī)范(Standard Specification)是對公共開放的，可以在官方站點上得到，但是TPC卻不提供基準程序的代碼。任何軟硬件廠商或其它測試者可以根據(jù)標準規(guī)范，最優(yōu)地構(gòu)建自己待測的系統(tǒng)。為保證測試結(jié)果的客觀性，被測試者(通常是廠家)必須提交給TPC一套完整的報告(Full Disclosure Report)，包括被測系統(tǒng)的具體配置、分類價格和包含五年維護費用在內(nèi)的總價格。該報告必須由TPC授權(quán)的審核員核實(TPC本身并不做審計)。什么是tpmC?先說一下TPC-C，TPC-C是聯(lián)機事務(wù)處理(on-line transaction processing , OLTP)的基準程序。TPC-C模擬一個批發(fā)商的貨物治理環(huán)境。TPC-C使用三種性能和價格度量，其中性能由TPC-C吞吐率衡量，單位是tpmC。tpm是transactions per minute的簡稱；C指TPC中的C基準程序。它的定義是每分鐘內(nèi)系統(tǒng)處理的新訂單個數(shù)。了解了這些內(nèi)容，您可能會想：我們公司的PC服務(wù)器完全是自己攢出來的，如何進行TPC-C的衡量的？也去參考TPC官方站點上的信息？不要忘了，TPC.org 上公布的測試結(jié)果都是各大廠商根據(jù)自己的系統(tǒng)進行了充分優(yōu)化之后的出來的結(jié)果。打個比方，TPC公布的數(shù)值就好比嶄新的法拉利跑車經(jīng)過專業(yè)技師們的精心檢查保養(yǎng)，然后在專用跑道上跑出來的速度值，而我們的情況可能是法拉利（甚至是夏利）要在鄉(xiāng)村土路上行駛，可比性大打折扣。有的朋友會想：那我們可以根據(jù)自己的情況，拿一個秒表在“鄉(xiāng)村土路”上測試一下看看呀。這樣的意義也是顯而易見的，對我們的實際的環(huán)境不是更具有參考價值？不錯，這也正是本文的目的：讓我們利用開源(Open Source)工具來實現(xiàn)自己的針對Oracle數(shù)據(jù)庫的TPC-C。Hammerora—The Open Source Oracle Load Test Tool首先介紹一下Hammerora。從創(chuàng)作者對這個工具的標題描述可以看出，Hammerora是一款Oracle數(shù)據(jù)庫負載測試工具。該工具可以在Oracle 8i、9i和10g等版本上使用。當前可以用在Linux/Unix和Windows上.初步實現(xiàn)了跨平臺.Hammerora 完全用TCL/TK寫就，以GPL版權(quán)形式發(fā)布。作者是Steve Shaw。該項目的主頁在：http://sourceforge.net/projects/hammerora/ 。圖1: Hammerora的LogoHammerora的設(shè)計原理是解析Oracle的Trace文件，并把它們轉(zhuǎn)化為Oratcl程序,然后在Oracle數(shù)據(jù)庫中用多個用戶并發(fā)的對用戶的事務(wù)進行“回放”。我們知道,Oracle的Trace文件能夠翔實的記錄用戶對數(shù)據(jù)庫的操作。這樣Hammerora能夠保證對用戶環(huán)境的真實模擬。Hammerora最初是用以學(xué)習(xí)的目的：期望是模擬數(shù)據(jù)庫的一定數(shù)量的用戶。這樣一個小的基于家庭的學(xué)習(xí)開發(fā)系統(tǒng)就能夠比較接近產(chǎn)品環(huán)境。這個工具已經(jīng)成長為一個Oracle數(shù)據(jù)庫做壓力測試--從小的數(shù)據(jù)庫到大的基于RAC的集群。TCL語言已經(jīng)用來提供高性能的和Oracle數(shù)據(jù)庫的OCI集成，而無需重新編譯生成的程序。每個生成的程序具有嚴格的TCL/Oratcl兼容性，并且可以在Hammerora的命令行Shell下運行。TCL的強大功能和靈活性意味著潛在的功能是無窮盡的。TCL線程包用來實現(xiàn)對Oracle數(shù)據(jù)庫的多個并發(fā)連接。Hammerora包含Oracle存儲過程和TCL驅(qū)動腳本用來運行TPC-C基準程序。 但是，我們先要構(gòu)建一個同TPC-C規(guī)范相符的數(shù)據(jù)庫。這樣，我們需要用到Orabm。OrabmOrabm是Geoff Ingram (High-Performance Oracle: Proven Methods forAchieving Optimum Performance and Availability一書的作者)構(gòu)建的一個程序包，包含了一套SQL腳本和幾個命令行程序。Orabm數(shù)據(jù)裝載程序(Orabmload)構(gòu)建了一組遵從TPC-C標準的數(shù)據(jù)用以測試。Orabm的程序包和源代碼可以從它的主頁面http://www.linxcel.co.uk/orabm/ 得到。Orabm的運行機制Orabm的運行機制在Geoff Ingram有明確的說明,這里翻譯如下:Orabm 通過在每個用戶指定的并發(fā)數(shù)據(jù)庫會話(session)中運行用戶執(zhí)行數(shù)量的數(shù)據(jù)庫事務(wù)來進行工作.事務(wù)通過ORABM模式下的ORABM_SERVERSIDE_STRESS存儲過程運行.對每個并發(fā)會話來說,ORABM_SERVERSIDE_STRESS 運行在orabm命令行下指定的事務(wù)數(shù),并返回該會話在采樣間隔完成時的TPS值.要確保所有并發(fā)會話都是在采樣間隔期間處理事務(wù),TPS值僅包括事務(wù)的中間的80%,也即:初始的10%和最后的10%將忽略掉.更具體信息可以參考http://www.linxcel.co.uk/orabm/的內(nèi)容.安裝步驟1 安裝Oracle OCI 庫對Oracle 9i 來說,假如沒有安裝該組件的話,可能要重新運行runInstall,在Oracle 9i Client prodUCts樹中選擇'Oracle Call Interfaces' . 對Oracle 10g來說,Oracle 10 OCI 庫應(yīng)該是默認安裝的.2 安裝TCLcd /usr/local/src/tcl8.4.5/unixrm -f config.cache./configure --enable-threads --enable-sharedmake cleanmakemake install3 安裝TKcd /usr/local/src/tk8.4.5/unixrm -f config.cache./configure --with-tcl=../../tcl8.4.5/unix --enable-threads --enable-sharedmake cleanmake make install4 安裝TCL Threadscd /usr/local/src/thread2.5.2/unixrm -f config.cachesh ../configure --enable-threads --enable-sharedmake cleanmakemake install5 安裝Oratcl對10g來說,要編輯配置文件,在1728 行四周, FOUND_ORACLE=0 那一行的下面添加如下部分內(nèi)容:echo 'checking for Oracle 10.0 style toplevel (libclient10.a)' 1>&6echo 'configure:1730: checking for Oracle 10.0 style toplevel (libclient10.a)' >&5for f in $oracle_Directory $oratest1 $oratest2 $oratest3 $oracle4 /opt/oracle /u/oracle /usr/oracle /usr/local/oracle ; do echo '$ac_t''looking for lib/libclient10.a in $f' 1>&6 if test -r '$f/lib/libclient10.a' ; then ORA='$f/lib' ORACLE_HOME=$f echo '$ac_t''setting ORA to $ORA' 1>&6 testver=10 ORA_MAJOR_VERSION=10 ORA_MINOR_VERSION=0 FOUND_ORACLE=1 break fidoneeXPort ORACLE_HOME=your_oracle_home_directorycd /usr/local/src/oratcl-4-1-branch/unix rm -f config.cachesh ../configure --with-tcl=../../tcl8.4.5/unix --with-oracle-directory=$ORACLE_HOME --with-oracle-version=9 ( or 10 or 8! ) --enable-threads --enable-shared注:紅色部分為針對不同的數(shù)據(jù)庫版本需要做的調(diào)整.vi Makefile – 把所有的 -rpath 改做 -Wl,-rpath,make cleanmakemake installsqlplus orabm/orabm @delivery_sp.sql;;;sqlplus orabm/orabm @new_order_sp.sql;. sqlplus orabm/orabm @ostat_sp.sql; sqlplus orabm/orabm @payment_sp.sql; sqlplus orabm/orabm @slev_sp.sql步驟操作命令1創(chuàng)建 ORABM用戶(用TOOLS做默認表空間, TEMP 表空間為臨時表空間)sqlplus system/pwd @orabm_user2創(chuàng)建表sqlplus system/pwd @orabm_tab3裝載數(shù)據(jù)$orabmload Warehouses 14創(chuàng)建索引sqlplus system/pwd @orabm_ind5分析表和索引sqlplus system/pwd @orabm_analyze6創(chuàng)建壓力測試PL/SQL 過程sqlplus system/pwd @orabm_serverside_stress7把表和索引數(shù)據(jù)緩沖到SGAsqlplus system/pwd @orabm_cache把tpc-c.tcl腳本載入Hammerora中(remember to change the file filter from *.trc to *.tcl to see TCL files)，在該tpc-c.tcl中查找connect字符串，調(diào)整為你的數(shù)據(jù)庫用戶連接信息。 并調(diào)整虛擬用戶信息。測試運行 運行Hammerora,創(chuàng)建需要的用戶數(shù), 來模擬TPC-C 基準程序(注重調(diào)整好執(zhí)行Hammerora程序的環(huán)境變量,最好直接用Oracle用戶來執(zhí)行). 下圖為筆者筆記本電腦上得到的數(shù)據(jù)[機器性能查了一點兒 :) ] ：圖2: Hammerora測試結(jié)果示例參考信息http://hammerora.sourceforge.net/ Hammerora的主頁.當前的軟件版本是1.15.http://www.linxcel.co.uk/orabm/ Geoff Ingram維護的個人站點.該站點上還有一個很有趣的工具orastress.用來進行Oracle數(shù)據(jù)庫壓力測試.http://www.tpc.org TPC官方站點.http://www.cnoug.org/viewthread.PHP?tid=63技術(shù)高手RudolfLu很早以前就曾對orabm這個工具做過介紹.http://www.dbanotes.net/Oracle/Install-Oracle10g-RHEL3.htm Installing Oracle 10g on RHEL AS 3 Step-by-Step 本文作者Fenng，某美資公司DBA，業(yè)余時間混跡于各數(shù)據(jù)庫相關(guān)的技術(shù)論壇且樂此不疲。目前關(guān)注如何利用ORACLE數(shù)據(jù)庫有效地構(gòu)建企業(yè)應(yīng)用。對Oracle tuning、troubleshooting有一點研究。個人技術(shù)站點: http://www.dbanotes.net/?？梢酝ㄟ^電子郵件 dbanotes@gmail.com 聯(lián)系到他。原文出處http://www.dbanotes.net/Oracle/Use_OpenSourceTool_implement_YourOwn_TPC-C.htm回首頁　 All Articles (by Fenng) are licensed under a Creative Commons License.I would welcome any feedback. Please send questions, comments or corrections to dbanotes@gmail.com