问一个性能问题,求思路
比如,我有一文本文件,差不多有10T大小的数据量,电脑内存大小有2G,每次读取3万条数据(假如3万条数据差不多有1G),请问如何保证每次读取耗费电脑的资源基本相同,请大牛讲讲这方面的经验,不一定是文本文件,其它存储介质也行,非常感谢
[解决办法]
如果要保证每次占用的内存相等,不能用行读,应该换成固定的BUFFER
每次迭代释放前一次的内存,再按照BUFFER SIZE跳转的文件的偏移地址(seek)继续固定的BUFFER内容到内存