关于海量数据的处理问题

[收藏此页] [打印本页]选择字色：背景色：字体：[大][中][小]

关于海量数据的处理问题[已结贴,结贴人:chenxw_mail]

发表于：2007-07-03 10:29:09 楼主

每天大概有100多万条的数据需要从日志文件中读取出来，处理完后插入数据库表，各位有什么好的方案吗？主要是性能方面

发表于：2007-07-03 11:35:221楼得分:0

按照你的要求，最慢的部分是从日志文件读数据，这个步骤是很慢的，还需要处理，可以把处理的部分放到数据库里执行，现插数据库，然后执行处理过程。

发表于：2007-07-03 14:06:592楼得分:0

不是很明白，可以详细说一下吗？我是新手。只要能在一两个小时内执行完就可以的

发表于：2007-07-03 16:14:493楼得分:12

100多万条的日志文件，会比较大，从文件读本来就是很慢的，但是这个步骤是不能省略的。

所以这个程序最主要的效率就是看读文件这个部分的效率。

数据的处理，这个过程要看是否复杂，可以把数据的处理交给数据库进行，就是读数据查入到数据库中，然后用存储过程来处理数据。

发表于：2007-07-03 17:01:174楼得分:0

嗯，对于读文件有什么好的方法吗？我是用java的

发表于：2007-07-04 09:34:455楼得分:8

如果分析后觉得可以先把日志都装入数据库，让数据库来处理的话，可以用db2 load来装，这个是很快的。

发表于：2007-07-04 09:52:476楼得分:0

java 读文件的方式就那么几种，只能仔细一点，另外，楼上说的也可以，用db2来处理load过程。

发表于：2007-07-04 21:56:417楼得分:0

db2的load?不懂，另外把这么大的文件一次性装入内存会不会浪费了点？有没有好一点的办法？真的是不懂，各位帮帮忙了