现在有哪些替代方案已经弃用了Google网络搜索API？

Question

Google Web Search API已弃用，已替换为自定义搜索API（请参阅http://code.google.com/apis/websearch/）。

我想搜索整个网络，但看起来新API只能搜索自定义网站。

有没有办法以编程方式搜索整个网络？我能够使用Java程序中的JSON查询旧API。

Answer 1

是的，Google自定义搜索现已替换旧的搜索API，但您 仍然可以使用Google自定义搜索来搜索整个网络，但步骤并不明显来自自定义搜索设置。

创建搜索整个网络的Google自定义搜索引擎：

1. 在Google自定义搜索主页（http://www.google.com/cse/）中，点击创建自定义搜索引擎。
2. 键入搜索引擎的名称和说明。
3. 在“定义您的搜索引擎”下的“要搜索的网站”框中，输入至少一个有效网址（目前，只需将www.anyurl.com放到此屏幕即可。稍后详细介绍。）
4. 选择所需的CSE版本并接受服务条款，然后单击“下一步”。选择所需的布局选项，然后单击“下一步”。
5. 点击“后续步骤”部分下的任意链接，以导航至“控制台”。
6. 在左侧菜单中的“控制面板”下，单击“基本”。
7. 在“搜索首选项”部分，选择“搜索整个网络，但强调包含的网站。”
8. 点击保存更改。
9. 在左侧菜单中的“控制面板”下，单击“站点”。
10. 删除您在初始设置过程中输入的网站。

现在，您的自定义搜索引擎将搜索整个网络。

<强>定价

• Google自定义搜索每天为您提供100次免费查询。
• 之后，您每1000次查询支付5美元。
• 每天最多有10,000个查询。

来源：https://developers.google.com/custom-search/json-api/v1/overview#Pricing

---

• 搜索质量远低于普通的Google搜索（没有同义词，“情报”等）
• Google似乎甚至计划完全关闭此服务。

Answer 2

Google自定义搜索（在评分最高的答案中提倡）运行良好，但与其竞争对手（下方）或与其他Google API相比，价格非常昂贵。它有一个小的免费套餐（每天100个查询）和每1000个查询5美元的非常高的价格。

他们提供升级到网站搜索的选项，网站搜索的价格稍微好一点，但这是为了搜索一个网站（您自己的网站），所以它实际上是完全不同的 - 而不是升级。

主要的替代方案似乎是：

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
其中有一个5000q /月的免费等级，价格从每分钟5个查询开始，没有硬性限制。

更新：在2016年底，该API被关闭，转而支持其Azure对应的“Cognitive Services Bing Search API”：
https://azure.microsoft.com/en-us/services/cognitive-services/search/

See here获得定价图表，1,000笔交易的起价为3美元/米。除非我遗漏了一些东西，否则它非常昂贵。

Yahoo BOSS Search API
更新：已于2016年3月31日停产。 http://developer.yahoo.com/boss/search/
对于整个网络搜索，价格从大约12个查询/便士开始。

有些我以前没有听说过：

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[已停止 - 如下所述]

this SO post对其中一些问题进行了一些讨论 [因为偏离主题而关闭，现在已经不见了]

Answer 3

你可以像浏览器一样发送它们，然后解析html，这就是我一直以来做的事情，即使是像Youtube这样的事情。

Answer 4

以下是自定义搜索控制面板底部的选项：“要搜索的网站”，您可以选择“搜索整个网络但强调所包含的网站”

Answer 5

Faroo有free Web Search API

Answer 6

我刚刚从Common Crawl中遇到过这个问题。

http://www.commoncrawl.org/

可能是我们都在寻找的答案!!

Answer 7

在docs：

之上有一条说明

  

注意：Google Web Search API具有   已被正式弃用   2010年11月1日。它将继续   按照我们的deprecation policy工作，   但是您可以提出的请求数量   每天制作将是有限的。   因此，我们鼓励您前往   新的Custom Search API。

deprecation policy表示他们将继续运行API 3年。因此，如果您已经有一个使用旧API的应用程序，那么您不必急于改变它们。如果您正在编写新应用程序，请使用Custom Search API。有关如何在Python中执行此操作，请参阅我的回答here，但对于任何语言，这个想法都是相同的。

Answer 8

有一个名为JFreeWebSearch的免费Java API，它使用已经提到过的Faroo： http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

Answer 9

你可以创造＆＃34;无处不在＆＃34;自定义搜索引擎直接来自Google自定义搜索主页（http://www.google.com/cse/）。 您只需在添加新引擎期间点击“高级”即可。在那里，您可以提供Schema.org站点类型。 ＆＃39; Thing＆＃39;是最通用的类​​型，涵盖了所有的网络。

Answer 10

Gigablast提供廉价的网络搜索API：http://www.gigablast.com/searchfeed.html