問題描述

先說說我的想法吧：同時監(jiān)控淘寶上很多物品的價格，然后獲取價格走勢（這個我打算自己寫爬蟲獲取，然后存在數(shù)據(jù)庫里），但是問題來了

我該怎么存儲數(shù)據(jù)，使我能分析哪些物品在最近2天或7天的價格波動最大（最好是任意天數(shù)），這個地方該怎么實現(xiàn)比較好。總不能說每天我都要遍歷一次數(shù)據(jù)庫來求價格的差值吧，能不能有經(jīng)驗的大師指點下。

問題解答

總不能說每天我都要遍歷一次數(shù)據(jù)庫來求價格的差值吧 是覺得開銷過大嗎？那就把熱點數(shù)據(jù)放Cache，過了這段熱點時間就持久化到數(shù)據(jù)庫。

熱點數(shù)據(jù)可以是但不限于：

這幾天剛采集的數(shù)據(jù)

最常常分析的日期段，比如2天、7天、1個月

這個和java沒關(guān)系吧

數(shù)據(jù)分析的方法和java不是強相關(guān)的，java從某種角度說只是一種工具，可以將你的想法交給計算完成，可以實現(xiàn)你與計算機的交流，有基于java相關(guān)的haoop生態(tài)，可以了解一哈

需要分析的變動快的 --> 熱數(shù)據(jù) --> redis , 放在內(nèi)存；長期的歷史數(shù)據(jù) --> 冷數(shù)據(jù) --> mysql / oracle ，放在磁盤。