如何将wget输出传输到文件或数据库？

Question

我正在尝试使用小脚本从多个页面下载字段。首先，我只能从一个页面获取它...，但我遇到的真正问题是我不知道如何将输出交给数据库表？如何从curl / lynx | grep（将成为所有列表项）中获取输出并将其移动，按列表项列出项目，到我的数据库中的表或CSV，以便可以导入到DB？

#!/bin/bash

lynx --source "http://www.thewebsite.com"|cut -d\" -f8|grep "<li>"

我要连接的数据库是MySQL数据库。我们可以调用虚拟表“listTable”。请尝试坚持打击？我不允许在我正在使用的服务器上编译，而且我似乎无法使用PHP来处理curl。无论如何，我想我需要创建一个变量，然后系统地将变量的内容传递给数据库，对吗？

Answer 1

使用awk，sed或perl之类的东西来创建INSERT语句，然后将其传递给你的sql客户端（psql或mysql）。

Answer 2

只需编写一个Python脚本，该脚本从stdin读取所有内容并将其放入数据库并执行以下操作：

curl http://www.google.com | ./put_to_db.py