Question

我做有权这样做。

我有一个大约250页的网站，我需要从中下载“产品说明”和“产品图片”。我该怎么做？我想将数据输出到CSV中，以便我可以将它放在数据库表中。有人能给我一个很好的教程来开始这个吗？我应该使用cURL，对吗？

到目前为止，我从另一个stackoverflow页面How do I transfer wget output to a file or DB?得到了这个：

curl somesite.com | grep sed etc | sed -e '/^(.*)/INSERT tableName (columnName) VALUES (\1)/' |psql dbname

我创建了这个，很糟糕，以获取图像：

#!/bin/bash

lynx --source "www.site.com"|cut -d\" -f8|grep jpg|while read image
do
wget "www.site.com/$image"
done

Answer 1

你想做所谓的屏幕抓取。

以下是一些可以帮助您入门的链接：