Мне не удалось загрузить большой CSV-файл (около 1,2 ГБ из здесь) в пустой массив или список, но не смог загрузить его в python. Есть ли выход?
Загрузка большого файла csv в python в список или массив numpy
Ответы (1)
Вот моя логика для вашего случая. Он будет читать только одну строку за раз, и когда читается следующая строка, предыдущая будет удалена сборщиком мусора, если вы не сохранили ее как ссылку где-то еще. Даже вы можете использовать диспетчер контекста в последних версиях Python.
with open("Large_size_filename") as infile:
for line in infile:
do_something_with(line)
Надеюсь, это поможет вам в понимании
person
Ranadip Dutta
schedule
09.12.2016
Я действительно хочу загрузить весь файл в массив numpy или список python, потому что я хотел построить график для всех данных. Есть ли выход?
- person Harshit Agarwal; 09.12.2016
genfromtxt, указав скромное количество строк. Убедитесь, что вы можете загрузить и понять данные, прежде чем решать проблему загрузки всего этого. - person hpaulj schedule 09.12.20161.10genfromtxtпринимает параметрmax_rows. - person hpaulj schedule 10.12.2016np.ones((81011,4096),float)вписывается в вашу память? Это «сюжет»? - person hpaulj schedule 10.12.2016max_rows, если я укажу для чтения первые 500 строк, то как будут читаться следующие 500 строк? - person Harshit Agarwal schedule 11.12.2016np.ones((81011,4096),float)это не помещается в памяти моего компьютера. - person Harshit Agarwal schedule 11.12.2016