問題描述

描述問題：目前想用SQL語句來查詢一個表（50萬條），并將表內(nèi)昵稱為空的用戶Openid拿出來，每百條查詢一次。環(huán)境MySQL。

問題關(guān)鍵：一次性取出，分百條查詢，也會給服務(wù)器造成很大壓力（*1），能不能讓SQL查詢出100條符合結(jié)果的記錄，并返回最后一條的ID？

拓展：除了我這種想法，業(yè)界有沒有一個合適的方案？或者關(guān)于SQL大容量查詢 的一些書籍。

*1：首先，我的服務(wù)器是小水管，50萬條已經(jīng)相當(dāng)重了。其次，就算我現(xiàn)在擴展服務(wù)器配置，假設(shè)某天達到了1億條，也會成為很大的負載壓力。

表結(jié)構(gòu)：id openid nickname avatar

部分openid的nickname或avatar(頭像)是空的，想要每次查出100個nickname或avatar(頭像)為空的openid，并調(diào)用微信接口，將獲取到的信息插入。

問題解答

能不能讓SQL查詢出100條符合結(jié)果的記錄，并返回最后一條的ID？

這個問題有點奇怪，到底是要返回100條數(shù)據(jù)呢？還是返回這100條數(shù)據(jù)里的最后一條ID呢？

首先50W條數(shù)據(jù)不算多，除非部署服務(wù)器的機器性能非常差，所以查詢速度應(yīng)該不至于很慢（除非你寫了很復(fù)雜或者性能很低的SQL），分多次取出的話的確可以減輕數(shù)據(jù)庫壓力，但會增加網(wǎng)絡(luò)傳輸壓力。

另外，50W表數(shù)據(jù)的解決方案跟1E表數(shù)據(jù)的解決方案是完全不同的，所以不要妄想一套方案可以一勞永逸。

附上SQL：

SELECT DISTINCT openid FROM tableWHERE nickname IS NULLOR avatar IS NULLORDER BY id DESCLIMIT 100

由于用到了OR，所以估計用不上nickname和avatar的索引，或者你可以增加一個叫completed的字段，表示該條記錄是否已經(jīng)完善（即nickname和avatar均不為空，在程序插入數(shù)據(jù)時就維護該字段），這樣你的查詢SQL就可以避免OR連接了。

把需要查詢的字段都建上索引，在你現(xiàn)在這個場景下千萬級數(shù)據(jù)都不會有壓力

1.索引加了沒有？2.SQL優(yōu)化一下

50萬數(shù)據(jù)真心不算多啊。

搞不懂你要實現(xiàn)什么功能，查出100條卻只返回最后一條的一個列，沒意義，區(qū)區(qū)50w數(shù)據(jù)而已，非要實現(xiàn)加索引寫存儲過程也就差不多了480w行的表查符合條件的列并返回所有整行，10秒而已，你的問題可能出在符合條件的行太多輸出時內(nèi)存不夠，你可以寫游標(biāo)把結(jié)果一條一條插入一張新表，時間慢點而已。

加索引，或者把數(shù)據(jù)庫定時寫入緩存

你這樣很沒意思，搞得我聲望成負的了，結(jié)果不理想可以討論，直接刪算什么