MongoDB位置查询内存使用优化

生产环境实例频繁 OOM ,调查发现主要由一些$near查询导致,查询类似如下,其中 latlng 字段建立了2d index

{
    "find" : "userData",
    "filter" : {
        "latlng" : {
            "$near" : [
                116.34642045073839,
                39.87082232130999
            ],
            "$maxDistance" : 0.9009009009009009
        }
    },
    "ntoreturn" : 10000
}

官方解释是因为$near需要排序,实际上是从中心点,不断往外扩展,找出附近的点,所以$near cursor会缓存计算结果。MongoDB cursor 的默认超时时间是10分钟,所以如果10分钟内所有打开 cursor 缓存的内存总量超过总内存,就会出现 OOM 的情况。

针对上述问题,应用有如下2种方式优化内存使用

  1. 设置更小的 cursor timeout

    • 启动时设置 mongod –setParameter cursorTimeoutMillis=60000,也可以放到配置文件
    • 在线修改 db.runCommand({setParameter: 1, cursorTimeoutMillis: 60000})
  2. find 时设置{singeBatch: true}选项,让 mongod在查询后立即关闭 cursor,这种方法只适用于不需要对 cursor 进行 getMore 查询的情况。

了解问题详细情况可以查看 SERVER-25141

作者简介

张友东,阿里巴巴技术专家,主要关注分布式存储、Nosql数据库等技术领域,先后参与TFS(淘宝分布式文件系统)Redis云数据库等项目,目前主要从事MongoDB云数据库的研发工作,致力于让开发者用上最好的MongoDB云服务。

发表评论