Question

我正在尝试使用BERT训练模型。对于BERT参数，我希望能够使用自己的数据集微调参数。

我正在使用Google Cloud平台和TPU来加快培训过程。

我正在关注this教程，只是替换了以下几行：

已替换：

tf.estimator.Estimator(
model_fn=model_fn_par,
config=run_config_par,
params={"batch_size": BATCH_SIZE})

使用：

tf.contrib.tpu.TPUEstimator(
model_fn=model_fn_par,
config = run_config_par,
use_tpu=FLAGS.use_tpu, train_batch_size = BATCH_SIZE,predict_batch_size=BATCH_SIZE)

已替换：

run_config_par = tf.estimator.RunConfig(
model_dir=OUTPUT_DIR,
save_summary_steps=SAVE_SUMMARY_STEPS,
save_checkpoints_steps=SAVE_CHECKPOINTS_STEPS)

使用：

run_config_par = tf.contrib.tpu.RunConfig(
master=master,
evaluation_master=master,
model_dir=FLAGS.model_dir,
session_config=tf.ConfigProto(
    allow_soft_placement=True, log_device_placement=True),
tpu_config=tf.contrib.tpu.TPUConfig(FLAGS.iterations,
                                    FLAGS.num_shards))

并定义了以下参数：

my_project = MY_PROJECT_NAME
my_zone = 'us-central1-b'
cluster_resolver = tf.contrib.cluster_resolver.TPUClusterResolver(
        tpu=[MY_TPU_NAME],
        zone=my_zone,
        project=my_project)
master = cluster_resolver.get_master()

运行以下行时：

estimator_par.train(input_fn=train_input_fn_par, max_steps=num_train_steps)

笔记本尝试连接到以下地址120次，但不成功，并返回超时错误：

Querying Tensorflow master (grpc://10.240.1.2:8470) for TPU system metadata.

我已经创建并实例化了TPU，并将笔记本运行时类型也设置为TPU。有人知道为什么我无法使用笔记本电脑连接到TPU吗？

Answer 1

您是否从“编辑”>“笔记本设置”>“硬件加速器”中选择了TPU？

使用笔记本计算机连接到Google Cloud TPU的连接超时

1 个答案: