由于业务中使用到word分词,所以数据量比较大,需要把分出来的结果插入到数据库,每次插入1条的话,非常慢,所以使用批量插入
具体思路如下:
long start=System.currentTimeMillis(); if(keyWordList!=null&&!keyWordList.isEmpty()){ //最终插入的条数 Integer effectRow = 0; //总共需要插入的条数 int totalNum=keyWordList.size(); System.out.println("keyWordList总长度:"+totalNum); //每次插入的条数 int onceNum=50000; for(int i=onceNum;i<totalNum;i+=onceNum){ effectRow += keyWordService.insertBatch(keyWordList.subList(i-onceNum, i)); System.out.println("循环次数:"+i); } effectRow += keyWordService.insertBatch(keyWordList.subList(totalNum/onceNum*onceNum, totalNum)); long end=System.currentTimeMillis(); System.out.println("成功插入关键词:"+effectRow+";所用时间:"+(end-start)/1000+"秒"); }优化后的结果很明显:keyWordList总长度:96221 循环次数:50000 成功插入关键词:96221;所用时间:4秒 keyWordList总长度:38314 成功插入关键词:38314;所用时间:1秒 keyWordList总长度:161874 循环次数:50000 循环次数:100000 循环次数:150000 成功插入关键词:161874;所用时间:6秒
各位高人如有其他好的方法可以一起探讨
