我正在抓取一个具有以下格式的链接的网站：site.net/user/username/post
对于大多数用户，我可以直接转到/user/username并提取指向其所有帖子的链接并进行迭代。但是，对于某些用户，站点/ user / username显然已损坏并且为空。但是，Google仍然可以在/ user / username / post下找到这些帖子，并且这些帖子是完整的。
我是否可以获取所有/user/username/post1|post2|post3 --> [post1,post2,post3]的列表或直接访问它们？