到目前为止，我做了一些研究，如果我想要网页抓取/抓取，我需要遵守robots.txt和服务条款。我的问题是，如果每个（我认为至少）某些PC组件的经销商都使用像ark.intel.com这样的网站获取CPU信息来填写他们网站上的信息和服务条款说：
个人非商业用途：本网站仅供个人和非商业用途。除非另有说明或这些条款中规定，否则您不得修改，复制，分发，传输，展示，执行，复制，发布，许可，创建衍生作品，转让或出售从中获得的任何信息，软件，产品或服务。材料。
我真的很努力谷歌，但每个答案都很模糊。请帮助我，如果我不够具体，我会添加更多信息，只要问我。
答案 0 :(得分：1)
从我的短途旅行到刮痧这是一个相当灰暗的地方。在大多数情况下，使用条款需要在执行性方面Forbes article具有一定的可执行性。
我访问了方舟网站，虽然这个问题必须在法庭上决定，但我没有看到我或用户同意＆＃34;使用条款＆＃34;明确地或在我的非法律意见中，使用条款对典型的网站用户来说是公然可见或显眼的。再次从我有限的网站短浏览。它看起来像是网站或其法律团队的标准样板保护。
虽然从现实的角度来看，我真的认为只要您正在练习道德刮擦（例如不会因为持续的快速刮擦请求而过载Web服务器）或者造成不应有的伤害或商业损失，而不是一般的低风险。它并不像信息是特权的，也不是公开的。但是，请注意，即使大多数机会成为问题的可能性很低，如果涉及大笔资金，风险百分比似乎也会升高。
答案 1 :(得分：0)
首先要做的事情：我不是律师，这些评论完全基于我的经验，请相应地寻求法律援助。
从网站上抓取公共数据时需要考虑以下几点（请注意以下内容仅针对美国法律）：
只要他们不以破坏性的速度爬行，刮刀就不会违反任何合同（以使用条款的形式）或犯罪（如计算机欺诈和滥用法案中所定义） ）。
网站的用户协议不能作为浏览协议强制执行，因为公司未向网站访问者提供足够的条款通知。
Scrapers以访问者身份访问网站数据，并遵循类似于搜索引擎的路径。这可以在不注册为用户的情况下完成（并明确接受任何条款）。