Question

我是Rapid Miner的新手，特别是对于Webcrawler（爬网）。我从任何论坛上的现有文章中学到了示例，但是Rapid Miner 9.2中的Web Crawler似乎无法正常工作，因为它在我的机器上给出了空白的结果。这是示例之一，

<?xml version="1.0" encoding="UTF-8"?><process version="9.2.000">
  <context>
    <input/>
    <output/>
    <macros/>
  </context>
  <operator activated="true" class="process" compatibility="9.2.000" expanded="true" name="Process">
    <parameter key="logverbosity" value="init"/>
    <parameter key="random_seed" value="2001"/>
    <parameter key="send_mail" value="never"/>
    <parameter key="notification_email" value=""/>
    <parameter key="process_duration_for_mail" value="30"/>
    <parameter key="encoding" value="SYSTEM"/>
    <process expanded="true">
      <operator activated="true" class="web:crawl_web_modern" compatibility="9.0.000" expanded="true" height="68" name="Crawl Web X" width="90" x="112" y="85">
        <parameter key="url" value="https://www.dw.com/search/en?searchNavigationId=9097&languageCode=en&origin=gN&item=brexit"/>
        <list key="crawling_rules">
          <parameter key="follow_link_with_matching_url" value=".+search.+"/>
          <parameter key="follow_link_with_matching_url" value=".+news.+"/>
          <parameter key="store_with_matching_url" value=".+brexit.+"/>
        </list>
        <parameter key="max_crawl_depth" value="10"/>
        <parameter key="retrieve_as_html" value="true"/>
        <parameter key="enable_basic_auth" value="false"/>
        <parameter key="add_content_as_attribute" value="false"/>
        <parameter key="write_pages_to_disk" value="true"/>
        <parameter key="include_binary_content" value="false"/>
        <parameter key="output_dir" value="/Users/iqbalakbar/Desktop"/>
        <parameter key="output_file_extension" value="html"/>
        <parameter key="max_pages" value="20"/>
        <parameter key="max_page_size" value="1000"/>
        <parameter key="delay" value="0"/>
        <parameter key="max_concurrent_connections" value="100"/>
        <parameter key="max_connections_per_host" value="50"/>
        <parameter key="user_agent" value="rapidminer-web-mining-extension-crawler"/>
        <parameter key="ignore_robot_exclusion" value="false"/>
      </operator>
      <connect from_op="Crawl Web X" from_port="example set" to_port="result 1"/>
      <portSpacing port="source_input 1" spacing="0"/>
      <portSpacing port="sink_result 1" spacing="0"/>
      <portSpacing port="sink_result 2" spacing="0"/>
    </process>
  </operator>
</process>

感谢您的评论和反馈。谢谢。

Iqbal

Answer 1

网络抓取操作员遇到了一些问题，请看一下RapidMiner社区，其他人也遇到了类似的问题[1]。

当前的解决方法是将“获取页面”与循环运算符结合使用，如下所述：[2]

希望有帮助。

[1] https://community.rapidminer.com/discussion/55201/web-crawling-of-https-pages-not-working-by-using-crawl-web

[2] https://community.rapidminer.com/discussion/54662/how-can-i-crawl-more-than-one-web-page

Webcrawler在RapidMiner 9.2中不起作用，为什么？

1 个答案: