MySQL 邏輯備份與恢復(fù)測試的相關(guān)總結(jié)
大家都知道，數(shù)據(jù)庫在返回數(shù)據(jù)給我們使用的時候都是按照我們最初所設(shè)計期望的具有一定邏輯關(guān)聯(lián)格式的形式一條一條數(shù)據(jù)來展現(xiàn)的，具有一定的商業(yè)邏輯屬性，而在物理存儲的層面上數(shù)據(jù)庫軟件卻是按照數(shù)據(jù)庫軟件所設(shè)計的某種特定格式經(jīng)過一定的處理后存放。
數(shù)據(jù)庫邏輯備份就是備份軟件按照我們最初所設(shè)計的邏輯關(guān)系，以數(shù)據(jù)庫的邏輯結(jié)構(gòu)對象為單位，將數(shù)據(jù)庫中的數(shù)據(jù)按照預(yù)定義的邏輯關(guān)聯(lián)格式一條一條生成相關(guān)的文本文件，以達到備份的目的。
二、常用的邏輯備份邏輯備份可以說是最簡單，也是目前中小型系統(tǒng)最常使用的備份方式。 在 MySQL 中我們常用的邏輯備份主要就是兩種，一種是將數(shù)據(jù)生成可以完全重現(xiàn)當(dāng)前數(shù)據(jù)庫中數(shù)據(jù)的 INSERT 語句，另外一種就是將數(shù)據(jù)通過邏輯備份軟件，將我們數(shù)據(jù)庫表數(shù)據(jù)以特定分隔符進行分隔后記錄在文本文件中。
①生成 INSERT 語句備份兩種邏輯備份各有優(yōu)劣，所針對的使用場景也會稍有差別，我們先來看一下生成 INSERT 語句的邏輯備份。
在 MySQL 數(shù)據(jù)庫中，我們一般都是通過 MySQL 數(shù)據(jù)庫軟件自帶工具程序中的 mysqldump 來實現(xiàn)聲稱 INSERT 語句的邏輯備份文件。其使用方法基本如下：
Dumping definition and data mysql database or tableUsage: mysqldump [OPTIONS] database [tables]OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]OR mysqldump [OPTIONS] --all-databases [OPTIONS]
由于 mysqldump 的使用方法比較簡單，大部分需要的信息都可以通過運行“mysqldump --help”而獲得。這里我只想結(jié)合 MySQL 數(shù)據(jù)庫的一些概念原理和大家探討一下當(dāng)我們使用 mysqldump 來做數(shù)據(jù)庫邏輯備份的時候有些什么技巧以及需要注意一些什么內(nèi)容。
我們都知道，對于大多數(shù)使用數(shù)據(jù)庫的軟件或者網(wǎng)站來說，都希望自己數(shù)據(jù)庫能夠提供盡可能高的可用性，而不是時不時的就需要停機停止提供服務(wù)。因為一旦數(shù)據(jù)庫無法提供服務(wù)，系統(tǒng)就無法再通過存取數(shù)據(jù)來提供一些動態(tài)功能。
所以對于大多數(shù)系統(tǒng)來說如果要讓每次備份都停機來做可能都是不可接受的，可是 mysqldump 程序的實現(xiàn)原理是通過我們給的參數(shù)信息加上數(shù)據(jù)庫中的系統(tǒng)表信息來一個表一個表獲取數(shù)據(jù)然后生成 INSERT 語句再寫入備份文件中的。這樣就出現(xiàn)了一個問題，在系統(tǒng)正常運行過程中，很可能會不斷有數(shù)據(jù)變更的請求正在執(zhí)行，這樣就可能造成在 mysqldump 備份出來的數(shù)據(jù)不一致。
也就是說備份數(shù)據(jù)很可能不是同一個時間點的數(shù)據(jù)，而且甚至可能都沒辦法滿足完整性約束。這樣的備份集對于有些系統(tǒng)來說可能并沒有太大問題，但是對于有些對數(shù)據(jù)的一致性和完整性要求比較嚴格系統(tǒng)來說問題就大了，就是一個完全無效的備份集。
對于如此場景，我們該如何做？我們知道，想數(shù)據(jù)庫中的數(shù)據(jù)一致，那么只有兩種情況下可以做到。
第一、同一時刻取出所有數(shù)據(jù)； 第二、數(shù)據(jù)庫中的數(shù)據(jù)處于靜止狀態(tài)。對于第一種情況，大家肯定會想，這可能嗎？
不管如何，只要有兩個以上的表，就算我們?nèi)绾螌懗绦颍疾豢赡茏蛲硗耆恢碌娜?shù)時間點啊。是的，我們確實無法通過常規(guī)方法讓取數(shù)的時間點完全一致，但是大家不要忘記，在同一個事務(wù)中，數(shù)據(jù)庫是可以做到所讀取的數(shù)據(jù)是處于同一個時間點的。
所以，對于事務(wù)支持的存儲引擎，如 Innodb 或者 BDB 等 ，我們就可以通過控制將整個備份過程控制在同一個事務(wù)中，來達到備份數(shù)據(jù)的一致性和完整性，而且 mysqldump 程序也給我們提供了相關(guān)的參數(shù)選項來支持該功能，就是通過“--single-transaction”選項，可以不影響數(shù)據(jù)庫的任何正常服務(wù)。
對于第二種情況我想大家首先想到的肯定是將需要備份的表鎖定，只允許讀取而不允許寫入。
是的，我們確實只能這么做。我們只能通過一個折衷的處理方式，讓數(shù)據(jù)庫在備份過程中僅提供數(shù)據(jù)的查詢服務(wù)，鎖定寫入的服務(wù)，來使數(shù)據(jù)暫時處于一個一致的不會被修改的狀態(tài)，等 mysqldump 完成備份后再取消寫入鎖定，重新開始提供完整的服務(wù)。
mysqldump 程序自己也提供了相關(guān)選項如“--lock-tables”和“--lock-all-tables”，在執(zhí)行之前會鎖定表，執(zhí)行結(jié)束后自動釋放鎖定。
這里有一點需要注意的就是，“--lock-tables”并不是一次性將需要 dump 的所有表鎖定，而是每次僅僅鎖定一個數(shù)據(jù)庫的表，如果你需要 dump 的表分別在多個不同的數(shù)據(jù)庫中，一定要使用“--lock-all-tables”才能確保數(shù)據(jù)的一致完整性。
當(dāng)通過 mysqldump 生成 INSERT 語句的邏輯備份文件的時候，有一個非常有用的選項可以供我們使用，那就是“--master-data[=value]”。當(dāng)添加了“--master-data=1”的時候， mysqldump 會將當(dāng)前 MySQL 使用到 binlog 日志的名稱和位置記錄到 dump 文件中，并且是被 以 CHANGE_MASTER 語句的形式記錄，如果僅僅只是使用“--master-data”或者“--master-data＝2”，則 CHANGE_MASTER 語句會以注釋的形式存在。這個選項在實施 slave 的在線搭建的時候是非常有用的，即使不是進行在線搭建 slave，也可以在某些情況下做恢復(fù)的過程中通過備份的 binlog 做進一步恢復(fù)操作。
在某些場景下，我們可能只是為了將某些特殊的數(shù)據(jù)導(dǎo)出到其他數(shù)據(jù)庫中，而又不希望通過先建臨時表的方式來實現(xiàn)，我們還可以在通過 mysqldump 程序的“—where=’where-condition’”來實現(xiàn)，但只能在僅 dump 一個表的情況下使用。
其實除了以上一些使用訣竅之外，mysqldump 還提供了其他很多有用的選項供大家在不同的場景下只用，如通過“--no-data”僅僅 dump 數(shù)據(jù)庫結(jié)構(gòu)創(chuàng)建腳本，通過“--no-create-info”去掉 dump 文件中創(chuàng)建表結(jié)構(gòu)的命令等等，感興趣的讀者朋友可以詳細閱讀 mysqldump 程序的使用介紹再自行測試。
②生成特定格式的純文本備份數(shù)據(jù)文件備份除了通過生成 INSERT 命令來做邏輯備份之外，我們還可以通過另外一種方式將數(shù)據(jù)庫中的數(shù)據(jù)以特定分隔字符將數(shù)據(jù)分隔記錄在文本文件中，以達到邏輯備份的效果。這樣的備份數(shù)據(jù)與 INSERT 命令文件相比，所需要使用的存儲空間更小，數(shù)據(jù)格式更加清晰明確，編輯方便。但是缺點是在同一個備份文件中不能存在多個表的備份數(shù)據(jù)，沒有數(shù)據(jù)庫結(jié)構(gòu)的重建命令。對于備份集需要多個文件，對我們產(chǎn)生的影響無非就是文件多了維護和恢復(fù)成本增加，但這些基本上都可以通過編寫一些簡單的腳本來實現(xiàn)。
那我們一般可以使用什么方法來生成這樣的備份集文件呢，其實 MySQL 也已經(jīng)給我們實現(xiàn)的相應(yīng)的功能。
在 MySQL 中一般都使用以下兩種方法來獲得可以自定義分隔符的純文本備份文件。
1.通過執(zhí)行 SELECT ... TO OUTFILE FROM ...命令來實現(xiàn)在 MySQL 中提供了一種 SELECT 語法，專供用戶通過 SQL 語句將某些特定數(shù)據(jù)以指定格式輸出到文本文件中，同時也提供了實用工具和相關(guān)的命令可以方便的將導(dǎo)出文件原樣再導(dǎo)入到數(shù)據(jù)庫中。這不正是我們做備份所需要的么？
該命令有幾個需要注意的參數(shù)如下：
實現(xiàn)字符轉(zhuǎn)義功能的“FIELDS ESCAPED BY [’name’]” 將 SQL 語句中需要轉(zhuǎn)義的字符進行轉(zhuǎn)義； 可以將字段的內(nèi)容“包裝”起來的“FIELDS [OPTIONALLY] ENCLOSED BY ’name’”，如果不使用“OPTIONALLY”則包括數(shù)字類型的所有類型數(shù)據(jù)都會被“包裝”，使 用“OPTIONALLY”之后，則數(shù)字類型的數(shù)據(jù)不會被指定字符“包裝”。 通過'FIELDS TERMINATED BY'可以設(shè)定每兩個字段之間的分隔符； 而通過“LINES TERMINATED BY”則會告訴 MySQL 輸出文件在每條記錄結(jié)束的時候需要添加什么字符。如以下示例：
root@localhost : test 10:02:02> SELECT * INTO OUTFILE ’/tmp/dump.text’-> FIELDS TERMINATED BY ’,’ OPTIONALLY ENCLOSED BY ’'’-> LINES TERMINATED BY ’n’-> FROM test_outfile limit 100;Query OK, 100 rows affected (0.00 sec)root@localhost : test 10:02:11> exitByeroot@sky:/tmp# cat dump.text350021,21,'A','abcd'350022,22,'B','abcd'350023,23,'C','abcd'350024,24,'D','abcd'350025,25,'A','abcd'... ...2.通過 mysqldump 導(dǎo)出
可能我們都知道 mysqldump 可以將數(shù)據(jù)庫中的數(shù)據(jù)以 INSERT 語句的形式生成相關(guān)備份文件，其實除了生成 INSERT 語句之外，mysqldump 還同樣能實現(xiàn)上面“SELECT ... TO OUTFILE FROM ...”所實現(xiàn)的功能，而且同時還會生成一個相關(guān)數(shù)據(jù)庫結(jié)構(gòu)對應(yīng)的創(chuàng)建腳本 。
如以下示例：
root@sky:~# ls -l /tmp/mysqldumptotal 0root@sky:~# mysqldump -uroot -T/tmp/mysqldump test test_outfile --fieldsenclosed-by=' --fields-terminated-by=,root@sky:~# ls -l /tmp/mysqldumptotal 8-rw-r--r-- 1 root root 1346 2021-4-20 22:18 test_outfile.sql-rw-rw-rw- 1 mysql mysql 2521 2021-4-20 22:18 test_outfile.txtroot@sky:~# cat /tmp/mysqldump/test_outfile.txt350021,21,'A','abcd'350022,22,'B','abcd'350023,23,'C','abcd'350024,24,'D','abcd'350025,25,'A','abcd'... ...root@sky:~# cat /tmp/mysqldump/test_outfile.sql-- MySQL dump 10.11---- Host: localhost Database: test-- -------------------------------------------------------- Server version 5.0.51a-log/*!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT */;/*!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS */;/*!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION */;/*!40101 SET NAMES utf8 */;/*!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE */;/*!40103 SET TIME_ZONE=’+00:00’ */;/*!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE=’’ */;/*!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 */;---- Table structure for table `test_outfile`--DROP TABLE IF EXISTS `test_outfile`;SET @saved_cs_client = @@character_set_client;SET character_set_client = utf8;CREATE TABLE `test_outfile` (`id` int(11) NOT NULL default ’0’,`t_id` int(11) default NULL,`a` char(1) default NULL,`mid` varchar(32) default NULL) ENGINE=MyISAM DEFAULT CHARSET=utf8;SET character_set_client = @saved_cs_client;/*!40103 SET TIME_ZONE=@OLD_TIME_ZONE */;/*!40101 SET SQL_MODE=@OLD_SQL_MODE */;/*!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT */;/*!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS */;/*!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION */;/*!40111 SET SQL_NOTES=@OLD_SQL_NOTES */;-- Dump completed on 2021-4-20 14:18:23
這樣的輸出結(jié)構(gòu)對我們做為備份來使用是非常合適的，當(dāng)然如果一次有多個表需要被 dump，就會針對每個表都會生成兩個相對應(yīng)的文件。
三、邏輯備份恢復(fù)方法僅僅有了備份還是不夠啊，我們得知道如何去使用這些備份，現(xiàn)在我們就看看上面所做的邏輯備份的恢復(fù)方法：
由于所有的備份數(shù)據(jù)都是以我們最初數(shù)據(jù)庫結(jié)構(gòu)的設(shè)計相關(guān)的形式所存儲，所以邏輯備份的恢復(fù)也相對比較簡單。當(dāng)然，針對兩種不同的邏輯備份形式，恢復(fù)方法也稍有區(qū)別。下面我們就分別針對這兩種邏輯備份文件的恢復(fù)方法做一個簡單的介紹。
①INSERT 語句文件的恢復(fù)對于 INSERT 語句形式的備份文件的恢復(fù)是最簡單的，我們僅僅只需要運行該備份文件中的所有（或者部分）SQL 命令即可。首先，如果需要做完全恢復(fù)，那么我們可以通過使用 “mysql < backup.sql”直接調(diào)用備份文件執(zhí)行其中的所有命令，將數(shù)據(jù)完全恢復(fù)到備份時候的狀態(tài)。如果已經(jīng)使用 mysql 連接上了 MySQL，那么也可以通過在 mysql 中執(zhí)行“source/path/backup.sql”或者“. /path/backup.sql”來進行恢復(fù)。
②純數(shù)據(jù)文本備份的恢復(fù)如果是上面第二中形式的邏輯備份，恢復(fù)起來會稍微麻煩一點，需要一個表一個表通過相關(guān)命令來進行恢復(fù)，當(dāng)然如果通過腳本來實現(xiàn)自動多表恢復(fù)也是比較方便的。恢復(fù)方法也有兩個，一是通過 MySQL 的“LOAD DATA INFILE”命令來實現(xiàn)，另一種方法就是通過 MySQL 提供的使用工具 mysqlimport 來進行恢復(fù)。
邏輯備份能做什么？不能做什么？
在清楚了如何使用邏輯備份進行相應(yīng)的恢復(fù)之后，我們需要知道我們可以利用這些邏輯備份做些什么。
通過邏輯備份，我們可以通過執(zhí)行相關(guān) SQL 或者命令將數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)完全恢復(fù)到備份時候所處的狀態(tài)，而不影響不相關(guān)的數(shù)據(jù)； 通過全庫的邏輯備份，我們可以在新的 MySQL 環(huán)境下完全重建出一個于備份時候完全一樣的數(shù)據(jù)庫，并且不受 MySQL 所處的平臺類型限制； 通過特定條件的邏輯備份，我們可以將某些特定數(shù)據(jù)輕松遷移（或者同步）到其他的 MySQL 或者另外的數(shù)據(jù)庫環(huán)境； 通過邏輯備份，我們可以僅僅恢復(fù)備份集中的部分數(shù)據(jù)而不需要全部恢復(fù)。在知道了邏輯備份能做什么之后，我們必須還要清楚他不能做什么，這樣我們自己才能清楚的知道這樣的一個備份能否滿足自己的預(yù)期，是否確實是自己想要的。
邏輯備份無法讓數(shù)據(jù)恢復(fù)到備份時刻以外的任何一個時刻；
四、邏輯備份恢復(fù)測試有時聽到某某的數(shù)據(jù)庫出現(xiàn)問題，而當(dāng)其信心十足的準備拿之前所做好的數(shù)據(jù)庫進行恢復(fù)的時候才發(fā)現(xiàn)自己的備份集不可用，或者并不能達到自己做備份時候所預(yù)期的恢復(fù)效果。遇到這種情景的時候，恐怕每個人都會郁悶至極的。數(shù)據(jù)庫備份最重要最關(guān)鍵的一個用途就是當(dāng)我們的數(shù)據(jù)庫出現(xiàn)某些異常狀況，需要對數(shù)據(jù)進行恢復(fù)的時候使用的。
作為一個維護人員，我們是絕對不應(yīng)該出現(xiàn)此類低級錯誤的。那我們到底該如何避免此類問題呢？
只有一個辦法，那就是周期性的進行模擬恢復(fù)測試，校驗我們的備份集是否真的有效，是否確實能夠按照我們的備份預(yù)期進行相應(yīng)的恢復(fù)。
到這里可能有人會問，恢復(fù)測試又該如何做呢，我們總不能真的將線上環(huán)境的數(shù)據(jù)進行恢復(fù)啊？
是的，線上環(huán)境的數(shù)據(jù)確實不能被恢復(fù)，但是我們?yōu)槭裁床荒茉跍y試環(huán)境或者其他的地方做呢？
做恢復(fù)測試只是為了驗證我們的備份是否有效，是否能達到我們的預(yù)期。
所以在做恢復(fù)測試之前我們一定要先清楚的知道我們所做的備份到底是為了應(yīng)用于什么樣的場景的。
就比如我們做了一個全庫的邏輯備份，目的可能是為了當(dāng)數(shù)據(jù)庫出現(xiàn)邏輯或者物理異常的時候能夠恢復(fù)整個數(shù)據(jù)庫的數(shù)據(jù)到備份時刻，那么我們惡的恢復(fù)測試就只需要將整個邏輯備份進行全庫恢復(fù)，看是否能夠成功的重建一個完整的數(shù)據(jù)庫。
至于恢復(fù)的數(shù)據(jù)是否和備份時刻一致，就只能依靠我們自己來人工判斷比較。
此外我們可能還希望當(dāng)某一個數(shù)據(jù)庫對象，比如某個表出現(xiàn)問題之后能夠盡快的恢復(fù)該表數(shù)據(jù)到備份時刻。那么我們就可以針對單個指定表進行抽樣恢復(fù)測試。
下面我們就假想數(shù)據(jù)庫主機崩潰，硬件損壞，造成數(shù)據(jù)庫數(shù)據(jù)全部丟失，來做一次全庫恢復(fù)的測試示例：
當(dāng)我們的數(shù)據(jù)庫出現(xiàn)硬件故障，數(shù)據(jù)全部丟失之后，我們必須盡快找到一臺新的主機以頂替損壞的主機來恢復(fù)相應(yīng)的服務(wù)。在恢復(fù)服務(wù)之前，我們首先需要重建損壞的數(shù)據(jù)庫。假設(shè)我們已經(jīng)拿到了一臺新的主機，MySQL 軟件也已經(jīng)安裝就位，相關(guān)設(shè)置也都已經(jīng)調(diào)整好，就等著恢復(fù)數(shù)據(jù)庫了。
我們需要取回離崩潰時間最近的一次全庫邏輯備份文件，復(fù)制到準備的新主機上，啟動已經(jīng)安裝好的 MySQL。
由于我們有兩種邏輯備份格式，每種格式的恢復(fù)方法并不一樣，所以這里將對兩種格式的邏輯備份的恢復(fù)都進行示例。
①如果是 INSERT 語句的邏輯備份a、準備好備份文件，copy 到某特定目錄，如“/tmp”下；
b、通過執(zhí)行如下命令執(zhí)行備份集中的相關(guān)命令：
mysql -uusername -p < backup.sql
或者先通過 mysql 登錄到數(shù)據(jù)庫中，然后再執(zhí)行如下命令：
root@localhost : (none) 09:59:40> source /tmp/backup.sql
c、再到數(shù)據(jù)庫中檢查相應(yīng)的數(shù)據(jù)庫對象，看是否已經(jīng)齊全；
d、抽查幾個表中的數(shù)據(jù)進行人工校驗，并通知開啟應(yīng)用內(nèi)部測試校驗，當(dāng)所有校驗都通過之后，即可對外提供服務(wù)了。
當(dāng)然上面所說的步驟都是在默認每一步都正常的前提下進行的，如果發(fā)現(xiàn)某一步有問題。假若在 b 步驟出現(xiàn)異常，無法繼續(xù)進行下去，我們首先需要根據(jù)出現(xiàn)的錯誤來排查是否是我們恢復(fù)命令有錯？是否我們的環(huán)境有問題等？等等。
如果我們確認是備份文件的問題，那么說明我們的這個備份是無效的，說明測試失敗了。如果我們恢復(fù)過程很正常，但是在校驗的時候發(fā)現(xiàn)缺少數(shù)據(jù)庫對象，或者某些對象中的數(shù)據(jù)不正確，或者根本沒有數(shù)據(jù)。同樣說明我們的備份級無法滿足預(yù)期，備份失敗。
當(dāng)然，如果我們是在實際工作的恢復(fù)過程中遇到類似情況的時候，如果還有更早的備份集，我們必須退一步使用更早的備份集做相同的恢復(fù)操作。雖然更早的備份集中的數(shù)據(jù)可能會有些失真，但是至少可以部分恢復(fù)，而不至于丟失所有數(shù)據(jù)。
②如果我們是備份的以特殊分隔符分隔的純數(shù)據(jù)文本文件a、第一步和 INSERT 備份文件沒有區(qū)別，就是將最接近崩潰時刻的備份文件準備好；
b、通過特定工具或者命令將數(shù)據(jù)導(dǎo)入如到數(shù)據(jù)庫中：
由于數(shù)據(jù)庫結(jié)構(gòu)創(chuàng)建腳本和純文本數(shù)據(jù)備份文件分開存放，所以我們首先需要執(zhí)行數(shù)據(jù)庫結(jié)構(gòu)創(chuàng)建腳本，然后再導(dǎo)入數(shù)據(jù)。結(jié)構(gòu)創(chuàng)建腳本的方法和上面第一種備份的恢復(fù)測試中的 b 步驟完全一樣。
有了數(shù)據(jù)庫結(jié)構(gòu)之后，我們就可以導(dǎo)入備份數(shù)據(jù)了，如下：
mysqlimport --user=name --password=pwd test --fields-enclosed-by=' --fields-terminated-by=, /tmp/test_outfile.txt
或者
LOAD DATA INFILE ’/tmp/test_outfile.txt’ INTO TABLE test_outfile FIELDS TERMINATED BY ’'’ ENCLOSED BY ’,’;
后面的步驟就和備份文件為 INSERT 語句備份的恢復(fù)完全一樣了，這里就不再累述。
以上就是MySQL 邏輯備份與恢復(fù)測試的相關(guān)總結(jié)的詳細內(nèi)容，更多關(guān)于MySQL 邏輯備份與恢復(fù)測試的資料請關(guān)注好吧啦網(wǎng)其它相關(guān)文章！
相關(guān)文章：
網(wǎng)公網(wǎng)安備