基準測試屬于性能測試的一種，用于評估和衡量軟件的性能指標。我們可以在軟件開發的某個階段通過基準測試建立一個已知的性能水平，稱為'基準線'。當系統的軟硬件環境發生變化之后再進行一次基準測試以確定那些變化對性能的影響。 這是基準測試最常見的用途。

Donald Knuth在1974年出版的《Structured Programming with go to Statements》提到：

毫無疑問，對效率的片面追求會導致各種濫用。程序員會浪費大量的時間在非關鍵程序的速度上，實際上這些嘗試提升效率的行為反倒可能產生很大的負面影響，特別是當調試和維護的時候。我們不應該過度糾結于細節的優化，應該說約97%的場景：過早的優化是萬惡之源。當然我們也不應該放棄對那關鍵3%的優化。一個好的程序員不會因為這個比例小就裹足不前，他們會明智地觀察和識別哪些是關鍵的代碼；但是僅當關鍵代碼已經被確認的前提下才會進行優化。對于很多程序員來說，判斷哪部分是關鍵的性能瓶頸，是很容易犯經驗上的錯誤的，因此一般應該借助測量工具來證明。

雖然經常被解讀為不需要關心性能，但是的少部分情況下（3%）應該觀察和識別關鍵代碼并進行優化。

基準(benchmarking)測試工具

python中提供了非常多的工具來進行基準測試。

為了使演示的例子稍微有趣，我們來隨機生成一個列表，并對列表中數字進行排序。

import randomdef random_list(start, end, length): ''' 生成隨機列表 :param start: 隨機開始數 :param end: 隨機結束數 :param length: 列表長度 ''' data_list = [] for i in range(length):data_list.append(random.randint(start, end)) return data_listdef bubble_sort(arr): ''' 冒泡排序: 對列表進行排序 :param arr 列表 ''' n = len(arr) for i in range(n):for j in range(0, n - i - 1): if arr[j] > arr[j + 1]:arr[j], arr[j + 1] = arr[j + 1], arr[j] return arrif __name__ == ’__main__’: get_data_list = random_list(1, 99, 10) ret = bubble_sort(get_data_list) print(ret)

運行結果如下：

❯ python .demo.py[8, 16, 22, 31, 42, 58, 66, 71, 73, 91]timeit

timeit是python自帶的模塊，用來進行基準測試非常方便。

if __name__ == ’__main__’: import timeit get_data_list = random_list(1, 99, 10) setup = 'from __main__ import bubble_sort' t = timeit.timeit(stmt='bubble_sort({})'.format(get_data_list),setup=setup) print(t)

運行結果：

❯ python .demo.py5.4201355

以測試bubble_sort()函數為例。timeit.timeit() 參數說明。

stmt：需要測試的函數或語句，字符串形式. setup: 運行的環境，本例子中表示if __name__ == ’__main__’:. number: 執行的次數，省缺則默認是1000000次。所以你會看到運行bubble_sort() 耗時 5秒多。 pyperf

https://github.com/psf/pyperf

pyperf 的用法與timeit比較類似，但它提供了更豐富結果。（注：我完全是發現了這個庫才學習基準測試的）

if __name__ == ’__main__’: get_data_list = random_list(1, 99, 10) import pyperf setup = 'from __main__ import bubble_sort' runner = pyperf.Runner() runner.timeit(name='bubble sort', stmt='bubble_sort({})'.format(get_data_list), setup=setup)

運行結果：

❯ python .demo.py -o bench.json.....................bubble sort: Mean +- std dev: 5.63 us +- 0.31 us

測試結果會寫入bench.json 文件。可以使用pyperf stats命令分析測試結果。

❯ python -m pyperf stats bench.jsonTotal duration: 15.9 secStart date: 2021-04-02 00:17:18End date: 2021-04-02 00:17:36Raw value minimum: 162 msRaw value maximum: 210 msNumber of calibration run: 1Number of run with values: 20Total number of run: 21Number of warmup per run: 1Number of value per run: 3Loop iterations per value: 2^15Total number of values: 60Minimum: 4.94 usMedian +- MAD: 5.63 us +- 0.12 usMean +- std dev: 5.63 us +- 0.31 usMaximum: 6.41 us 0th percentile: 4.94 us (-12% of the mean) -- minimum 5th percentile: 5.10 us (-9% of the mean) 25th percentile: 5.52 us (-2% of the mean) -- Q1 50th percentile: 5.63 us (+0% of the mean) -- median 75th percentile: 5.81 us (+3% of the mean) -- Q3 95th percentile: 5.95 us (+6% of the mean)100th percentile: 6.41 us (+14% of the mean) -- maximumNumber of outlier (out of 5.07 us..6.25 us): 6pytest-benchmark

https://github.com/ionelmc/pytest-benchmark

pytest-benchmark是 pytest單元測試框架的一個插件。 單獨編寫單元測試用例：

from demo import bubble_sortdef test_bubble_sort(benchmark): test_list = [5, 2, 4, 1, 3] result = benchmark(bubble_sort, test_list) assert result == [1, 2, 3, 4, 5]

需要注意：

導入bubble_sort() 函數。 benchmark 作為鉤子函數使用，不需要導入包。前提是你需要安裝pytest和pytest-benchmark。 為了方便斷言，我們就把要排序的數固定下來了。

運行測試用例：

❯ pytest -q .test_demo.py. [100%]------------------------------------------------ benchmark: 1 tests -----------------------------------------------Name (time in us)Min Max Mean StdDev Median IQR Outliers OPS (Kops/s) Rounds Iterations-------------------------------------------------------------------------------------------------------------------test_bubble_sort 1.6000 483.2000 1.7647 2.6667 1.7000 0.0000 174;36496 566.6715 181819 1-------------------------------------------------------------------------------------------------------------------Legend: Outliers: 1 Standard Deviation from Mean; 1.5 IQR (InterQuartile Range) from 1st Quartile and 3rd Quartile. OPS: Operations Per Second, computed as 1 / Mean1 passed in 1.98s

加上 --benchmark-histogram 參數，你會得到一張圖表

❯ pytest -q .test_demo.py --benchmark-histogram.[100%]------------------------------------------------ benchmark: 1 tests -----------------------------------------------Name (time in us)Min Max Mean StdDev Median IQR Outliers OPS (Kops/s) Rounds Iterations-------------------------------------------------------------------------------------------------------------------test_bubble_sort 1.6000 53.9000 1.7333 0.3685 1.7000 0.0000 1640;37296 576.9264 178572 1-------------------------------------------------------------------------------------------------------------------Generated histogram: D:githubtest-circlearticlecodebenchmark_20210401_165958.svg

圖片如下：

關于基準測試的工具還有很多，這里就不再介紹了。

經過基準測試發現程序變慢了，那么接下來需要做的就是代碼性能分析了，我下篇再來介紹。

以上就是python如何進行基準測試的詳細內容，更多關于python 基準測試的資料請關注好吧啦網其它相關文章！