当您开始以下拉形式键入搜索查询时,我需要获取谷歌建议的字符串,并获得建议的搜索查询在底部 SERP。
我有什么方法可以使用app Engine来做到这一点。
我只对这些建议感兴趣,我不要从网页上删除任何其他内容。
我更愿意将其保存在元组中。
请帮忙。
答案 0 :(得分:1)
我会放手一搏。
首先,您需要找到一种查询搜索界面本身(SERP)的方法。我们称之为run_search
您可能无法使用App Engine运行该代码,无论如何都不会。他们不喜欢自动查询。
无论如何,像Mechanize这样的东西可以帮助你。您将需要大量的IP来运行它,因为您很快就会遇到“我们很抱歉......但您的计算机或网络可能正在发送自动查询.. ”问题。所以你无法在app-engine本身上运行它,真的,因为他们已经看到了我怀疑的那个......
然后,一旦你完成了设置,你就需要开始运行你的实际查询。
你需要像“every_word_in_your_chosen_language.txt”这样的东西。
这将有助于:SCOWL
然后做一个循环:
for word in language:
result = run_search(word)
output = (word, result)
run_search
如上所述。然后,您可以根据要求在“输出”中获得所需数据,元组。
当然run_search
会返回list
(SERP会返回多个建议,还记得吗?)所以你必须将该列表保存在元组中。但那没关系。不要忘记添加代码,检查您是否只是收到“我们很抱歉......”消息,以便您续订IP!
当然,对于单个字母,数字甚至是Snowman先生,我们也会提出建议☃所以你需要将这些单词分解为前缀,从单个字母开始,到你发现仍然返回有用结果的任何长度。
for prefix in prefixes:
result = run_search(prefix)
output = (prefix, result)
其中prefixes
只是您所选语言中所有前缀组合的列表。例如。
了Aa 抗体 AC ... AAR AAP 等
python切片运算符将为制作该列表派上用场。
一旦你掌握了数据,我不知道你打算怎么处理数据,但如果它不是Google的IP,我会感到惊讶。所以你以后可能还需要更多随机程序员的建议!