用Python提取隐藏的html

Question

我对“隐藏的”HTML代码感到有点困惑。如果我使用“查看源代码”功能，我试图提取的html源代码的一部分如下所示：

<div class="comments_with_more">
  <div id="comments_section">
  </div>
</div>

如果我在Firefox中使用“Inspect Element”功能，它会显示“查看源”选项中隐藏的其他图层：

<div class="comments_with_more">
  <div id="comments_section">
    <div id="comments">
      (....what I am trying to get to.........)
    </div>
    <script>
  </div>
</div>

我怀疑剧本可能会弄乱这一点。有没有人知道如何获取一般或Python中的隐藏代码？

Answer 1

您应该使用webkit的绑定，here您可以看到它正在执行您需要的操作（解析已加载javascript更改的页面）