PIO导入大量数据时的解决内存溢出问题.doc

本人刚进公司，目前还处于干杂活状态。现在的任务就是把客户数据迁移到数据库中，由于客户提供的数据都存储在excel中，有些文件数据量还很大，在 usermodel模式下经常内存溢出，于是只能采用直接通过pl/sql往数据库复制或是用eventusermodel模式读取。直接复制倒是简单，但是速度太慢，一次复制的太多也会内存溢出，我没那耐心，没办法，只能用第二种办法了。在google上找，发现相关示例太少了，幸好在docjar 找到了一个示例，自己又改了一下，把原来的例子改为抽象类，提供了一个 optRows() 方法来对行级数据进行操作。 ? ???? usermodel模式对excel操作前需要将文件全部转入内存，对较大文件来说内存开销很大。但是其使用简单。 ???? eventusermodel模式采用事件模型，对文件边读取边处理，内存消耗较低，效率高，因为不用等待文件全部装入内存。但使用较复杂。 ? ???? excel读取采用的API为POI3.6，使用前先下载此包，若运行中出现其他依赖包不存在，请下载相应依赖包。 ? ??? 下面展示的是excel2003及其之前版本的大文件读取方法。 ? 抽象类 HxlsAbstract： Java代码 ? package?com.gaosheng.util.xls; ?? import?java.io.FileInputStream; ?? import?java.io.FileNotFoundException; ?? import?java.io.IOException; ?? import?java.io.PrintStream; ?? import?java.sql.SQLException; ?? import?java.util.ArrayList; ?? import?java.util.List; ?? ?? import?org.apache.poi.hssf.eventusermodel.FormatTrackingHSSFListener; ?? import?org.apache.poi.hssf.eventusermodel.HSSFEventFactory; ?? import?org.apache.poi.hssf.eventusermodel.HSSFListener; ?? import?org.apache.poi.hssf.eventusermodel.HSSFRequest; ?? import?org.apache.poi.hssf.eventusermodel.MissingRecordAwareHSSFListener; ?? import?org.apache.poi.hssf.eventusermodel.EventWorkbookBuilder.SheetRecordCollectingListener; ?? import?org.apache.poi.hssf.eventusermodel.dummyrecord.LastCellOfRowDummyRecord; ?? import?org.apache.poi.hssf.eventusermodel.dummyrecord.MissingCellDummyRecord; ?? import?org.apache.poi.hssf.model.HSSFFormulaParser; ?? import?org.apache.poi.hssf.record.BOFRecord; ?? import?org.apache.poi.hssf.record.BlankRecord; ?? import?org.apache.poi.hssf.record.BoolErrRecord; ?? import?org.apache.poi.hssf.record.BoundSheetRecord; ?? import?org.apache.poi.hssf.record.FormulaRecord; ?? import?org.apache.poi.hssf.record.LabelRecord; ?? import?org.apache.poi.hssf.record.LabelSSTRecord; ?? import?org.apache.poi.hssf.record.NoteRecord; ?? import?org.apache.poi.hssf.record.NumberRecord; ?? import?org.apache.poi.hssf.record.RKRecord; ?? import?org.apache.poi.hssf.record.Record; ?? im