关于python处理大型json文件的方法

如图所示，要处理的数据是一个json数组，而且非常大

下图为电脑配置，使用 json.load() 方法加载上述json文件电脑直接卡死

解决思路：

　　　　先用python进行预处理，即一整个json数据加载慢，那就分开加载，每次加载一个json对象，然后使用 json.dumps()方法 存储到txt中，方便读取。当然也可以存储到内存中，根据情况而定。

　　　　算法思想：因为 json 是一种结构化的数据，所以 {} 是成对存在的。因为使用逐行读取的方法读入json文件，所以根据 {} 的数量来判断是否读取了一个完整的json对象，如果是完整的，则使用 json.dumps()方法 存储到txt中。

　　　　getusefulldata(temp + line,id)这个方法是提取自己需要的数据

　　　　　　读取方法：

到此这篇关于python处理大型json文件的方法的文章就介绍到这了,更多相关python处理大型json文件内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！