日本不卡不码高清免费观看,久久国产精品久久w女人spa,黄色aa久久,三上悠亚国产精品一区二区三区

您的位置:首頁技術文章
文章詳情頁

python保存大型 .mat 數據文件報錯超出 IO 限制的操作

瀏覽:131日期:2022-06-20 09:35:12

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內,如果需要保存幾十個 G 的數據的話,可以選用其他方式,

比如 h5 文件

import h5pydef h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag): print('h5py文件正在寫入磁盤...')save_path = '../save_test/' + 'train_test_split_data_label_' + shuffled_flag + '.h5' with h5py.File(save_path, ’w’) as f:f.create_dataset(’train_data’, data=train_data)f.create_dataset(’train_label’, data=train_label)f.create_dataset(’test_data’, data=test_data)f.create_dataset(’test_label’, data=test_label) print('h5py文件保存成功!')def h5_data_read(filename): '''keys() : 獲取本文件夾下所有的文件及文件夾的名字f[’key_name’] : 獲取對應的對象 ''' file = h5py.File(filename,’r’) train_data = file[’train_data’][:] train_label = file[’train_label’][:] test_data = file[’test_data’][:] test_label = file[’test_label’][:] return train_data, train_label, test_data, test_label

補充:通過python 讀MATLAB數據文件 *.mat

背景

在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產生結果。

所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時也python產生的結果信息也需要matlab來做進一步的處理(當然也可以使用txt,不嫌麻煩自己處理結構信息)。

介紹

matlab和python間的數據傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數,可以很好的對.mat文件的數據進行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個函數loadmat和savemat來讀寫.mat文件。

下面是一個簡單的測試程序

具體的函數用法可以看幫助文檔:

import scipy.io as sio import matplotlib.pyplot as plt import numpy as np #matlab文件名 matfn=u’E:/python/測試程序/162250671_162251656_1244.mat’ data=sio.loadmat(matfn) plt.close(’all’) xi=data[’xi’] yi=data[’yi’] ui=data[’ui’] vi=data[’vi’] plt.figure(1) plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) plt.figure(2) plt.contourf(xi,yi,ui) plt.show() sio.savemat(’saveddata.mat’, {’xi’: xi,’yi’: yi,’ui’: ui,’vi’: vi}) 示例2

import scipy.io as sioimport numpy as np ###下面是講解python怎么讀取.mat文件以及怎么處理得到的結果###load_fn = ’xxx.mat’load_data = sio.loadmat(load_fn)load_matrix = load_data[’matrix’] #假設文件中存有字符變量是matrix,例如matlab中save(load_fn, ’matrix’);當然可以保存多個save(load_fn, ’matrix_x’, ’matrix_y’, ...);load_matrix_row = load_matrix[0] #取了當時matlab中matrix的第一行,python中數組行排列 ###下面是講解python怎么保存.mat文件供matlab程序使用###save_fn = ’xxx.mat’save_array = np.array([1,2,3,4])sio.savemat(save_fn, {’array’: save_array}) #和上面的一樣,存在了array變量的第一行 save_array_x = np.array([1,2,3,4])save_array_y = np.array([5,6,7,8])sio.savemat(save_fn, {’array_x’: save_array_x, ’array_x’: save_array_x}) #同理,

鑒于以后的目標主要是利用現有的Matlab數據(.mat或者.txt),主要考慮python導入Matlab數據的問題。以下代碼可以解決python讀取.mat文件的問題。

主要使用sicpy.io即可。

sicpy.io提供了兩個函數loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087import scipy.io as sio #import matplotlib.pyplot as pltfrom pylab import *import numpy as np matfn=’E:Pythonrunmyusematdata.mat’ # the path of .mat datadata=sio.loadmat(matfn) xx=data[’matdata’]figure(1)plot(xx)show()以下代碼是讀入txt數據并轉換成數組,方法比較笨,更有效的方法待研究。

from numpy import * def file2list(filename): fr = open(filename) array = fr.readlines() #以文件中的每行為一個元素,形成一個list列表 num = len(array) returnMat = zeros((num,3))#初始化元素為0的,行號數個列表,其中每個元素仍是列表,元素數是3,在此表示矩陣 index = 0for line in array: line = line.strip()#去掉一行后的回車符號 linelist = line.split(’ ’)#將一行根據分割符,劃分成多個元素的列表 returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙 index +=1 return returnMat fname = ’E:Pythonrunmyusenum_data.txt’data= file2list(fname)

補充:Python 讀寫 Matlab Mat 格式數據

1. 非 matlab v7.3 files 讀寫

import scipy.io as sioimport numpy# matFile 讀取matFile = ’matlabdata.mat’datas = sio.loadmat(matFile)# 加載 matFile 內的數據# 假設 mat 內保存的變量為 matlabdatamatlabdata = datas[’matlabdata’]# matFile 寫入save_matFile = ’save_matlabdata.mat’save_matlabdata = np.array([1,2,3,4,5])sio.savemat(save_matFile, {’array’:save_matlabdata})2. matlab v7.3 files 讀取

如果 matlab 保存 data 時,采用的是 ‘-v7.3’,scipy.io.loadmat函數加載數據會出現錯誤:

File '/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py', line 64, in mat_reader_factory raise NotImplementedError(’Please use HDF reader for matlab v7.3 files’)NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5pywith h5py.File(’matlabdata.mat’, ’r’) as f: f.keys() # matlabdata.mat 中的變量名datas = h5py.File(’matlabdata.mat’)[’matlabdata’].value

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持好吧啦網。如有錯誤或未考慮完全的地方,望不吝賜教。

標簽: Python 編程
相關文章:
日本不卡不码高清免费观看,久久国产精品久久w女人spa,黄色aa久久,三上悠亚国产精品一区二区三区
尤物精品在线| 欧美sss在线视频| 国产视频一区二| 国产综合亚洲精品一区二| 国产精品毛片一区二区在线看| 亚洲人成高清| 国产视频欧美| 蜜桃视频欧美| 国产精品啊v在线| 国产欧美一区| 亚洲一区二区三区久久久| 日本在线精品| 一区视频在线| 亚洲深夜视频| 国产精品蜜芽在线观看| 欧美成人精品午夜一区二区| 国产亚洲欧美日韩在线观看一区二区| 蜜臀av国产精品久久久久 | 国产精品美女午夜爽爽| 亚洲欧美日韩国产一区| 久久高清一区| 免费在线观看日韩欧美| 蜜桃伊人久久| 亚欧洲精品视频在线观看| 亚洲综合激情在线| 婷婷激情图片久久| 蜜桃av一区| 日韩av中文字幕一区二区三区| 欧美天堂在线| 日韩在线卡一卡二| 69堂精品视频在线播放| 久久99精品久久久久久园产越南| 国产精品久久久久久久免费软件| 国产精品激情| 成人一区不卡| 香蕉国产精品| 日韩欧乱色一区二区三区在线| 欧美亚洲三级| 综合激情婷婷| 美女精品一区二区| 国产福利一区二区精品秒拍| 亚洲精品国产嫩草在线观看 | 亚洲精品综合| 亚洲精品123区| 一区二区精品| 国产精品白丝久久av网站| 精品一区二区三区视频在线播放| 久久久久久黄| 免费在线观看不卡| 国产乱码精品一区二区三区亚洲人| 国产精品v亚洲精品v日韩精品| 精品91福利视频| 日韩高清成人| 国产99久久| 日韩成人一级| 午夜电影亚洲| 国内精品伊人| 夜久久久久久| 黑人精品一区| 国产日产精品_国产精品毛片| 日韩精品首页| 国产精品传媒麻豆hd| 亚洲深夜影院| 91精品国产91久久久久久黑人| 久久国产乱子精品免费女| 久久裸体视频| 精品国产鲁一鲁****| 蜜桃av一区二区在线观看| 国产精品1区| 尤物网精品视频| 啪啪国产精品| 天堂√中文最新版在线| 国产一区二区三区四区二区| 97久久亚洲| 日韩国产91| 日韩精品免费视频一区二区三区| 午夜久久影院| 亚洲午夜久久久久久尤物| 日韩伦理福利| 成人av三级| 亚洲成人精品| 午夜免费一区| 在线亚洲国产精品网站| 中文一区一区三区高中清不卡免费| 国产日本亚洲| 欧美亚洲tv| 国产精品videossex久久发布 | 亚洲精品一级二级三级| 蜜臀av国产精品久久久久 | 国产欧美一区二区三区精品观看| 尤物在线精品| 丝袜美腿成人在线| 国产精品人人爽人人做我的可爱| 色婷婷久久久| av不卡在线看| 日韩手机在线| 久久香蕉网站| 久久久人人人| 国产精品老牛| 国产欧美另类| 婷婷激情一区| 免费在线观看视频一区| 国产精品a级| 91精品一区国产高清在线gif| 激情视频一区二区三区| 欧美 日韩 国产一区二区在线视频| 欧美亚洲国产一区| 久久国际精品| 99久久夜色精品国产亚洲1000部| 国内激情久久| 日韩精品一级二级| 日韩久久一区二区三区| 久久夜色精品| 中文av在线全新| 日韩欧美高清一区二区三区| 丰满少妇一区| 日本亚洲不卡| 在线日韩中文| 国产精品一区二区三区四区在线观看 | 国产精品17p| 亚洲手机在线| 精品一区二区三区的国产在线观看| 欧美日韩精品一区二区三区在线观看| 国产videos久久| 亚洲深深色噜噜狠狠爱网站| 国产精品麻豆久久| 国产日韩欧美一区二区三区 | 极品av在线| 国产精品欧美在线观看| 黄色在线一区| 婷婷成人在线| 国产高清不卡| 精品视频高潮| 久久影院资源站| 国产伦理久久久久久妇女| 天堂成人国产精品一区| av在线资源| 欧美日韩一视频区二区| 亚洲精品在线国产| 日韩视频二区| 久久狠狠婷婷| 久久男女视频| 国产超碰精品| 电影天堂国产精品| 成人亚洲欧美| 韩国精品主播一区二区在线观看| 国精品产品一区| 91成人在线网站| 国产探花一区在线观看| 91国内精品| 国产精品欧美日韩一区| 国产精品久久久久久久免费软件 | 九九精品调教| 欧美偷窥清纯综合图区| 国产调教精品| 日本激情一区| 色综合www| 日韩国产一区二区| 爽好久久久欧美精品| 亚久久调教视频| 国产精品久久久久久久久久齐齐| 日韩综合小视频| 亚洲激情精品| 91精品国产自产在线丝袜啪| 国产乱码精品一区二区三区亚洲人 | 日本 国产 欧美色综合| 日韩专区欧美专区| 国产精品亚洲欧美一级在线| 国产精品毛片一区二区三区| 亚洲美女久久| 日韩欧美自拍| 欧美一级网站| 在线精品一区二区| 999国产精品视频| 国产精品xxx| 欧美日韩调教| 视频一区中文字幕国产| 日本久久成人网| 国产精品亚洲欧美一级在线| 久久亚洲影院| 合欧美一区二区三区| 欧美香蕉视频| 欧美国产美女| 国产成人1区| 另类综合日韩欧美亚洲| 日韩1区2区日韩1区2区| 久久国产88| 中文无码日韩欧| 丝袜美腿亚洲一区二区图片| 欧美在线影院| 石原莉奈一区二区三区在线观看| 国户精品久久久久久久久久久不卡| 日韩在线精品| 日韩精品第一区| 日韩中文在线播放| 久久狠狠婷婷| 国产精品老牛| 亚洲日产av中文字幕| 深夜福利一区| 国产精品亲子伦av一区二区三区|