Mybatis游标查询大量数据方式代码示例

本篇文章小编给大家分享一下Mybatis游标查询大量数据方式代码示例，文章代码介绍的很详细，小编觉得挺不错的，现在分享给大家供大家参考，有需要的小伙伴们可以来看看。

对大量数据进行处理时，为防止内存泄漏情况发生，所以采用mybatis plus游标方式进行数据查询处理，当查询百万级的数据的时候，使用游标可以节省内存的消耗，不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理

mapper层

使用Cursor类型进行数据接收

@Options，fetchSize设置为Integer最小值

@Select，写查询sql

@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
@Select("select domain from illegal_domain where icpstatus != #{icpstatus}")
Cursor getDayJobDomain(@Param("icpstatus") Integer icpstatus);

service层

Cursor domainList = illegalDomainMapper.getDayJobDomain(1);

数据处理

forEach方式

domainList.forEach(illegalDomain -> {
    //处理逻辑，根据业务需求自行完成
    Future future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
    results.add(future);
});

迭代器

Iterator iter = domainList.iterator();
while (iter.hasNext()) {
    
    
    
    
    
    //处理逻辑，根据业务需求自行完成
    Future future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
    results.add(future);
}

资源释放

使用完毕后，在finally块释放资源，否则游标不关闭也可能会导致内存溢出问题

try{
    //your code
    
} catch (Exception e) {
    log.error(e);
} finally {
    if(null != domainList){
        try {
            domainList.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Mybatis游标使用总结

当查询百万级的数据的时候，查询出所有数据并放入内存中时会发生OOM(OutOfMemoryException)，使用游标可以节省内存的消耗，不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理，在此场景下就可以使用游标的概念来解决这个问题。

什么是游标

游标（Cursor）是处理数据的一种方法，为了查看或者处理结果集中的数据，游标提供了在结果集中一次一行或者多行前进或向后浏览数据的能力。

Demo：

// 第一种
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
List queryDepartmentAll();
 
// 第二种 在Mybatis-3.4.0版本中，不支持@select注解，在3.4.1版本中已经修复：
@Options(resultSetType = ResultSetType.FORWARD_ONLY)
@Select("SELECT * FROM department WHERE status = 0")
Cursor cursorQueryDepartmentAll();

@Service
public class DepartmentServiceImpl implements DepartmentService { 
    private static final Logger LOG = LoggerFactory.getLogger(DepartmentServiceImpl.class);
 
    @Autowired
    private DepartmentDao departmentDao;
 
    @Autowired
    private SqlSessionTemplate sqlSessionTemplate; 
    public List getDepartmentList(DepartmentSearchParam param) {
        Cursor