如果查询数量过多,goroutines中的GORM将冻结

时间:2019-08-27 21:01:16

标签: go go-gorm

我已决定建立可创建CSV报告的服务。

使用中:转到1.12,GORM(作为PostgreSQL ORM)

func main() {
  ... // init DB connection etc
  defer db.Close()
  go fetch(db)
  for {} // keeps open process
}

func fetch(db *gotm.DB) {
  .... // some code counts pages, creates file etc
  sqlLimit := 20000 // set limit
  for i := 0; i < pages; i++ {
    db.Table("reports_bookings"),Debug().Where(sql).Offset(i * sqlLimit).Limit(sqlLimit).Find(&myModels)
    .... // code: push it to file
  }
}

因此,当代码尝试获取数据时,它只会冻结。例如,如果减小限制并设置为100,它将运行2次SQL并冻结。

Debug()也没有显示任何内容。正如我所说的那样,它似乎冻结了。处理器已加载一个内核。

无需goroutine即可正常运行。您能帮我弄清楚为什么它在goroutines中不起作用吗?

谢谢。

编辑

也许我的方法不好,您可以建议如何解决。最后,应将文件上传到S3(例如)

1 个答案:

答案 0 :(得分:2)

退出程序前,您需要等待所有goroutine完成。

func main() {
  ... // init DB connection etc
  wg := sync.WaitGroup{}
  defer db.Close()
  wg.Add(1) // number of goroutines
  go fetch(db, &wg)
  wg.Wait() // wait for goroutines before exiting
}

func fetch(db *gotm.DB, wg *sync.WaitGroup) {
  .... // some code counts pages, creates file etc
  sqlLimit := 20000 // set limit
  for i := 0; i < pages; i++ {
    db.Table("reports_bookings"),Debug().Where(sql).Offset(i * sqlLimit).Limit(sqlLimit).Find(&myModels)
    .... // code: push it to file
    for {} // keeps open process
  }
}

否则,您的程序将在goroutine完成之前退出