无法抓取页面来源中未显示的隐藏表单内容

时间:2015-09-30 00:24:43

标签: forms web web-scraping web-crawler hidden

我必须抓取此网页中的评论:https://myglu.org/statuses/6587/comments 在这个网页中,有一个帖子和几个其他用户'评论..

从页面来源,我可以看到一个表单和以下HTML,但是源代码并没有显示任何用户'评论内容。

      <div class="comment-form">
  <form novalidate="novalidate" class="simple_form new_comment"   id="new_comment" action="/statuses/6587/comments" accept-charset="UTF-8" data-remote="true" method="post"><input name="utf8" type="hidden" value="&#x2713;" />
      <div class="input hidden comment_photo_id"><input class="hidden" type="hidden" name="comment[photo_id]" id="comment_photo_id" /></div>
      <div class="input text required comment_body"><label class="text required" for="comment_body"><abbr title="required">*</abbr> Comment body</label><textarea class="text required" name="comment[body]" id="comment_body">

网页是这样的:

=========== Thumb Plus1always在管理糖尿病时... 4个月前 由于压力,我没有胃口,吃只是为了生存。与我的丈夫分开,我没有保险,为了养活我的三个孩子而奋斗,我的前任给了我两个星期的时间来腾出他所拥有的房子,但我们一直住在......努力跟上大学课程并保持我的GPA,并试图找到一个全职职位,以便我可以支持自己和我的孩子,并留在大学(只剩1年和学生教学)。生活正在推动我,我的肚子讨厌食物,所以汤和促进震动它是:(

**** 8评论用户CathyL 3个月前的最新评论

▼  Thumb GluAnna 06/17/2015 噢,抬起头来! FOcus一次只有一天,并确保您可以尝试花时间为您服务!听起来像你正在用你所做的一切尽力而为!

▼  Thumb elizabetta 06/18/2015 我很抱歉听到这个消息!对于那些在收入/保险问题上苦苦挣扎的人来说,你应该考虑在Lilly和Novo Nordisk申请免费的胰岛素项目。此外,一些endos有他们可以给你的样品瓶。保持你的想法。

...

当我在浏览器中打开网站时,我可以看到8条评论 如果你点击鼠标&#34; 8评论&#34; (按钮),它将显示或隐藏下面的评论。

如果源代码没有显示表单内容,我该如何抓取它们?

0 个答案:

没有答案