使用庫(kù)pybloom_live

from pybloom_live import ScalableBloomFilter,BloomFilter# 可自動(dòng)伸縮的布隆過(guò)濾器bloom = ScalableBloomFilter(initial_capacity=100,error_rate=0.001)# 添加內(nèi)容bloom.add(’daqi’)print(’daqi’in bloom)# 定長(zhǎng)的布隆過(guò)濾器bloom1 = BloomFilter(capacity=10000)bloom1.add(’daqi’)print(’daqi’in bloom1)

手動(dòng)實(shí)現(xiàn)一個(gè)簡(jiǎn)單的布隆過(guò)濾器

使用bitarray實(shí)現(xiàn)，將初始數(shù)組置為0，根據(jù)hash計(jì)算出節(jié)點(diǎn)置為1，同時(shí)寫(xiě)了一個(gè)生成隨機(jī)碼的函數(shù)用于測(cè)試。

import randomimport mmh3from bitarray import bitarrayimport os.pathimport re# bitarray長(zhǎng)度BIT_SIZE = 50000class BloomFilter(): def __init__(self): bit_array = bitarray(BIT_SIZE) bit_array.setall(0) self.bit_array = bit_array self.bit_size = self.length() def get_points(self, url): ''' 生成需要插入的位置 :param url: :return:節(jié)點(diǎn)的列表 ''' point_list = [] for i in range(7): point = mmh3.hash(url,30+i) % self.bit_size point_list.append(point) return point_list def add(self, url): ''' 添加url到bitarray中 :param url: :return: ''' res = self.bitarray_expand() points = self.get_points(url) try: for point in points:self.bit_array[point] = 1 return ’注冊(cè)完成！’ except Exception as e: return e def contains(self,url): ''' 驗(yàn)證url是否存在 :param url: :return:True or False ''' points = self.get_points(url) # 在bitarray中查找對(duì)應(yīng)的點(diǎn)，如果有一個(gè)點(diǎn)值為0就說(shuō)明該url不存在 for p in points: if self.bit_array[p] == 0:return False return True def count(self): ''' 獲取bitarrray中使用的節(jié)點(diǎn)數(shù) :return: bitarray長(zhǎng)度 ''' return self.bit_array.count() def length(self): ''' 獲取bitarray的長(zhǎng)度 :return:bitarray的長(zhǎng)度 ''' return len(self.bit_array) def bitarray_expand(self): ''' 擴(kuò)充bitarray長(zhǎng)度 :return:bitarray的長(zhǎng)度或使用率，布隆過(guò)濾器的bitarray的使用最好不要超過(guò)50%,這樣誤判率低一些 ''' isusespace = round(int(self.count()) / int(self.length()),4) if 0.50 < isusespace: # 新建bitarray expand_bitarray = bitarray(BIT_SIZE) expand_bitarray.setall(0) # 增加新建的bitarray self.bit_array = self.bit_array + expand_bitarray self.bit_size = self.length() return self.bit_size else: return f’長(zhǎng)度尚可,{round(isusespace * 100,2)}%’def get_captcha(): ''' 生成用于測(cè)試的隨機(jī)碼 :return: ''' seed = ’0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ’ captcha = '' for i in range(10): captcha += random.choice(seed) print(captcha) return captchaif __name__ == ’__main__’: bloom = BloomFilter() for i in range(100000): bloom.add(f’www.{get_captcha()}.com’) print(bloom.length()) print(bloom.count()) print(bloom.count())

到此這篇關(guān)于python使用布隆過(guò)濾器的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)python 布隆過(guò)濾器內(nèi)容請(qǐng)搜索好吧啦網(wǎng)以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持好吧啦網(wǎng)！