如何在atv的csv中写入抓取的数据?

时间:2019-09-25 12:14:16

标签: python screen-scraping file-writing

你好,我是python的新手,我不知道如何将抓取的数据转换为csv格式。这是我的程序

var temp=Query.make(entity.Claim).select( \ row -> {return { row.ClaimNumber} as String[]})
for(row in temp){
print("Claim Number = " + row[0])
}

它抓取了我想要的输出,我想将输出保存在csv文件中。任何人都可以帮助

2 个答案:

答案 0 :(得分:0)

您可以在python csv文档中找到以下示例。

import csv
with open('eggs.csv', 'w', newline='') as csvfile:
    spamwriter = csv.writer(csvfile, delimiter=' ',
                            quotechar='|', quoting=csv.QUOTE_MINIMAL)
    spamwriter.writerow(['Spam'] * 5 + ['Baked Beans'])
    spamwriter.writerow(['Spam', 'Lovely Spam', 'Wonderful Spam'])

您可以看到,您所要做的就是将行转换为列表,然后将其传递给writerow方法。

答案 1 :(得分:0)

您可以将已废弃链接的列表存储在python列表中,然后通过创建pandas DataFrame创建一个csv文件。

import requests
import urllib.request

from bs4 import BeautifulSoup
import pandas


url = 'https://menupages.com/restaurants/ny-new-york/2'
response = requests.get(url)
soup = BeautifulSoup(response.text, "html.parser")


all_links = soup.find_all("a")
list_links = []
for link in all_links:
    list_links.append(link.get("href"))
    rows = soup.find_all('tr')

df = pandas.DataFrame({'WebLinks':list_links})
df.to_csv('/home/stackoverflow/links.csv', index=0)

文件输出

WebLinks
https://menupages.com/
https://menupages.com/
https://menupages.com/restaurants/cities
https://menupages.com/info/about-us
https://menupages.com/info/contact-us