Python-在网站上搜索最优惠的价格

时间:2018-08-24 14:19:41

标签: python beautifulsoup price

我有很多未使用的Steam键,并且我试图编写一个小型python脚本来在一些最便宜的Steam键网站上搜索我拥有的每个游戏的最优惠价格。目前,我已尝试作为示例来查找g2a上的最佳价格。该脚本几乎可以正常运行(是的,有时返回单个价格并不能完全返回我拥有的游戏的价格,但这不是主要问题)。问题是,每当名称的一部分包含特殊字符时,我似乎都无法正确搜索网页。我尝试删除特殊字符,但问题仍然存在。有什么建议吗?

这是我的脚本:

import pandas as pd
import sys
from urllib.request import urlopen, Request
from bs4 import BeautifulSoup
import urllib.parse
carica = pd.read_csv("list.csv")
rows=0
pageh = urlopen(Request('https://www.google.com'))
while rows<len(carica)-1:

#while rows<3:
  rows=rows+1
  filename = (carica.values[rows,0])
  filename = filename.replace(",","")
  filename = filename.replace(" ","%20")
  filename = filename.replace("'","")
  if filename is None:filename='Demo'


  quote_page = ('https://www.g2a.com/en-us/search?query='+filename)


  try:page = urlopen(Request(quote_page, headers={'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/603.1.30 (KHTML, like Gecko) Version/10.1 Safari/603.1.30'}))
  except IOError: page=pageh

  soup = BeautifulSoup(page,'html.parser')


  namea = carica.values[rows,0]
  pricea = soup.find(class_='Card__price-cost price')
  if pricea is None:pricea.text='non trovato'
  testo='\x1b[0m' + carica.values[rows,0] + '\x1b[0m'
  print(testo, '-->', pricea.text)

包含游戏列表的版本位于此处: https://repl.it/@PaoloVeronesi/g2a-prices

1 个答案:

答案 0 :(得分:1)

您不应该手动对这些字符串进行“引号”-Python中有一组特殊的库函数可供使用-urllib.parse模块中的quote()quote_plus()

In [1]: from urllib.parse import quote

In [2]: s = "Small Town Terrors: Galdor's Bluff Collector's Edition"

In [3]: quote(s)
Out[3]: 'Small%20Town%20Terrors%3A%20Galdor%27s%20Bluff%20Collector%27s%20Edition'

In [4]: quote_plus(s)
Out[4]: 'Small+Town+Terrors%3A+Galdor%27s+Bluff+Collector%27s+Edition'

或者,甚至更好的是,将切换到使用requests程序包,该程序包仅隐式地在后台进行报价。