我正在使用python进行网络抓取并以编程方式访问网站。为此，我使用urllib和cookiejar。在我的程序中
我正在对网站进行帖子查询以搜索某些内容。所以通常我使用OAuth登录，转到搜索页面查找相关项目，然后发送有趣项目的搜索查询。
但是，每隔一段时间，似乎完全随机，当我执行项目的搜索查询时，我会得到一个模态窗口作为响应，例如“查看我们的新搜索功能！”。我的意思是POST请求的响应内容是一个描述模态窗口的HTML页面，而我通常希望收到一个HTML页面，其中包含我正在搜索的项目的描述。
如何绕过此模态窗口并使帖子请求始终正常返回？我应该设置某种类型的cookie吗？我正在使用带有cookiejar的urllib。