我正在尝试从一个站点检索数据,以便能够在其上应用某些模型。虽然,我能够使用jsoup登录。它没有获取内容,因为它是通过AJAX加载为JSON的。
使用firefox(Ubuntu)我在检查xhr之后得到了这个卷曲:
卷曲 'https://target.helpshift.com/xhr/view/issue-details/?publish_id=540672&viewing=1' -H'Host:target.helpshift.com'-H'用户代理:Mozilla / 5.0(X11; Ubuntu; Linux x86_64; rv:41.0)Gecko / 20100101 Firefox / 41.0'-H '接受: text / html,application / xhtml + xml,application / xml; q = 0.9, / ; q = 0.8'-H '接受 - 语言:en-US,en; q = 0.5' - 压缩-H'X-Requested-With: XMLHttpRequest'-H'Referer: https://target.helpshift.com/admin/issue/540672/' - H'Cookie: _ga = GA1.3.1855716730.1445436566; _csrf_token = 4mMuJX5jieMAdq_WN1elKiBh0415w-0TDxN_R6kx6SQ; _dc_gtm_UA-33692972-1 = 1; __hs = zHb6Mr4Ds9mIaFuKbWXE9XDkDkuSzSGmmz9PgRmtmKR4Dnu1fZM4BXqys%2BW%2FSF6cDvLv%2FCUrrG4alZsYZtMx57Qe4RU8aKKCIM6%2FSKY0PyRp8zJPJsZug7Ec1x%2F2o%2BbgGkOhqi0vi4G7Z2tYxPBAyrdJJNSjszJS6GgTTB051uMbaoSJLyQww11EKn0yU3W4uzjfmTsf%2BHo30bj6hjOdlRKY68dSVXGHIA31jZNAM%3D - 3Z
但是,当直接在终端中使用curl运行时,我得到:
curl:(6)无法解析主机:target.helpshift.com
如果,我通过Firefox编辑和重新发送它的工作原理。但是,在我研究的10000个页面中的每个页面上运行它是不切实际的。
如何通过curl获得这个json?也许问题是https?! 我可以让Firefox发送这些电话而不进行逐一编辑吗?
修改
target.helpshift.com
-H 'Host: target.helpshift.com'
未更改结果