Question

在GPflow中是否有可能获得FLOPS？我找到了一个使用Tensorflow的示例，但不知道如何在GPflow上下文中使用它：

g = tf.Graph()
run_meta = tf.RunMetadata()
with g.as_default():
    A = tf.Variable(tf.random_normal( [25,16] ))
    B = tf.Variable(tf.random_normal( [16,9] ))
    C = tf.matmul(A,B)

    opts = tf.profiler.ProfileOptionBuilder.float_operation()    
    flops = tf.profiler.profile(g, run_meta=run_meta, cmd='op', options=opts)
    if flops is not None:
        print('TF stats gives',flops.total_float_ops)

Answer 1

我稍微介绍一下GPFlow的源代码。使其起作用的关键是在GPFlow的AutoFlows创建新图之前，拦截要分析的Tensorflow op。

就我而言，我想介绍predict()函数。您需要的功能是model._build_predict()（对数可能性有一个等效项）。运作方式如下：

gpflow.reset_default_graph_and_session()
kernel = gpflow.kernels.RBF(1)
model = gpflow.models.GPR(X, Y, kernel)

run_metadata = tf.RunMetadata()
with model.enquire_session(session=None) as tf_session:
    predict_op = model._build_predict(X)

    tf_session.run(predict_op, options=tf.RunOptions(trace_level=tf.RunOptions.FULL_TRACE), 
                      run_metadata=run_metadata)

    opts = tf.profiler.ProfileOptionBuilder.float_operation()    
    prof = tf.profiler.profile(tf_session.graph, run_meta=run_metadata, 
                                cmd='op', options=opts)

print('FOps: ', prof.total_float_ops)

使用GPflow获取FLOPS

1 个答案: