問(wèn)題描述

每次運(yùn)行半小時(shí)左右, 直接卡死, log里沒(méi)有任何報(bào)錯(cuò), 卡死的時(shí)候CPU占用率非常高

我在setting.py里設(shè)置了download timeout,不是超時(shí)的原因

ctrl-c無(wú)法正常退出, ctrl-z退出以后, 繼續(xù)執(zhí)行還是同樣的問(wèn)題, 半小時(shí)后再次卡死

問(wèn)題解答

先TOP看看是內(nèi)否過(guò)高，還是CPU過(guò)高，再找到是被哪些進(jìn)程占用了如果都是你的爬蟲(chóng)進(jìn)程，那就得排查代碼，看看是不是哪里一直未被釋放

總之從各方面去排查吧

strace