从cuSparse三角形求解器中大量使用cudaFree

Question

我正在使用cusparseDgtsv_nopivot函数来求解三对角方程组。输出是正确的，但该功能没有正确使用cuda多流。 nvvp探查器显示尽管对此解算器的每次调用都在不同的流中，但它们从不重叠。 我想在隐式同步上并通过nvvp发现库函数之间有很多调用cudaFree。 有没有办法避免这种隐式同步？

使用cusparse的伪代码：

create array of streams[];
create cusparse handle;
for (int i=0;i<Nsystem;i++){
 cusparseSetStream(handle,stream[i]);
 cusparseDgtsv_nopivot(handle, var for linear system i);
}
destroy cusaprse handle;

PS：提出了类似的cudafree问题并解决了处理矩阵问题：here。

Answer 1

真正简短的回答是否定的。目前无法在运行时API中修改cudaFree的同步行为。

因此，如果您假设问题的原因是内部使用malloc并使用cuSolver免费，那么唯一要做的就是向NVIDIA报告您的用户案例并查看他们是否可以提出解决方法，或者提供例程的“专家”版本，其中调用者明确地管理临时空间。