此处描述的张量流文本摘要模型https://github.com/tensorflow/models/tree/master/textsum需要多GPU架构才能进行训练。我反复尝试训练模型导致内存异常,机器因各种原因而崩溃。受过训练的摘要模型是否可用,因此可以使用摘要模型而无需培训?摘要模型是使用非免费的Gigaword数据集进行训练的,如果谷歌没有提供训练好的模型,这是一个原因吗?
答案 0 :(得分:0)
据我所知,没有人把训练过的模型放在那里引用。我最初也遇到了我的macbook pro上的内存问题,并最终使用了我的游戏笔记本电脑,它拥有更好的GPU。
另一种选择当然是利用AWS并使用类似g2.2xlarge实例的东西。他们也有他们的P2实例,但我还没有检查过。
关于Gigaword数据集,它只是归结为许可。它不是最不发达国家的免费许可证,通常许多从事这方面工作的学者都有通过他们的大学或公司提供的数据集。我没有幸运找到它,但是LDC确实回复了我,并建议他们确实有其他文章数据集,其价格约为300美元,对于那些只是试图学习TF的人来说更合理。也就是说,如果您不想购买任何东西,您可以随时编写自己的页面刮刀并格式化textum模型的数据。 https://github.com/tensorflow/models/pull/379/files
希望这会有所帮助。祝好运!