有多少模拟需要做？

Question

您好我的问题与模型的验证更相关。我已经在netlogo中完成了一个程序，我将在报告中使用我的论文，但现在问题是，为了证明我的结果需要做多少重复（模拟）？我已经阅读了一些使用统计方法的方法，我的同事们给了我一些很好的数学运算，但我也想知道那些使用计算模型的人用什么样的统计检验或数学方法来了解它。

Answer 1

这有两个方面（1）参数组合的数量（2）每个参数组合的运行次数。

（1）通常，您会进行实验，在这些实验中，您可以改变某些输入参数值，并查看某些模型输出的变化情况。以众所周知的谢林分离模型为例，您可以改变容差值并查看隔离指数是如何受到影响的。在这种情况下，您可以将公差从0更改为1乘以0.01（如果您想要离散），或者您可以在[0,1]范围内采用100个不同的随机值。这是实验设计的问题，完全受您希望检查参数空间的精确程度的影响。

（2）对于每个实验值，您还需要运行多个模拟，以便您可以计算平均值并减少模拟运行中随机性的影响。例如，假设您为输入参数运行模型的值为3（无论它意味着什么）并得到125的结果。您如何知道“真实”答案是否为125或其他。如果你运行了10次并在124.8到125.2的范围内得到了10个不同的数字，那么125不是一个不合理的估计。如果你运行了10次并获得了50到500之间的数字，那么125就不是一个有用的报告结果。

每个实验组的运行次数取决于输出的可变性和容差。如果您希望能够估计到小数点后1位，那么即使是124.8到125.2也没用。在任何统计教科书中查找“均值的标准误差”。基本上，如果你进行N次运行，那么结果的95％置信区间是你的N次运行的结果的平均值加上/减去1.96 x结果/ sqrt（N）的标准偏差。如果你想要一个更窄的置信区间，你需要更多的运行。

另一件需要考虑的事情是，如果您正在寻找参数空间的关系，那么每个点的运行次数要少于您尝试对结果进行点估计。

Answer 2

不确定你的意思，但也许你可以查看Hastie和Tishbiani的书籍

http://web.stanford.edu/~hastie/local.ftp/Springer/OLD/ESLII_print4.pdf

特别是有关重采样方法的部分（交叉验证和引导程序）。

他们还有一本较短的书，涵盖了你的案例可能的相关方法以及R中的命令来运行它。但是，据我所知，这本书并不是免费的。

http://www.springer.com/statistics/statistical+theory+and+methods/book/978-1-4614-7137-0

此外，可能会扰乱初始条件，看到您在初始条件或参数的微小扰动后结果不会改变。在更大的范围内，有时您可以根据系统的最终状态细分参数空间。

Answer 3

1) The number of simulations for each parameter setting can be decided by studying the coefficient of variance Cv = s / u, here s and u are standard deviation and mean of the result respectively. It is explained in detail in this paper Coefficient of variance.

2) The simulations where parameters are changed can be analyzed using several methods illustrated in the paper Testing methods.

These papers provide scrupulous analyzing methods and refer to other papers which may be relevant to your question and your research.