要量化模型以使其加权(和/或激活)为8位整数而不是32位浮点,以便更快地计算,我们需要选择权重范围。
有什么方法可以最佳地代替击球和试射吗?
例如,假设我们在[100.0,500.0]中有一个权重分布(浮点32),我们选择范围[200.0,455.0]并将其映射到(整数8)[0,255],以便映射200.0从0到455.0映射到255,所有中间权重线性映射到整数(最接近)。
在这里随机选择一个范围([200.0,455.0]),其权重分别为[100.0,200.0)和(455.0,500.0],如果我们的范围比256大,则会导致聚类映射中的权重。
以准确性为代价进行量化,而最佳的范围选择可以帮助降低成本。