将网站源代码下载到文件夹

时间:2015-06-01 16:36:20

标签: python automation web-scraping server web-scripting

我正在努力学习简单的自动化。我已经设置了一个Ubuntu服务器,我想将其配置为从特定URL下载html源,并每隔1分钟附加到服务器上指定文件夹中的文件。

网址只是基本的html,没有任何CSS。

我想使用python,但诚然可以使用任何语言。这是一个好的,简单的日子吗?

2 个答案:

答案 0 :(得分:0)

只需点击安装请求库即可。

$ pip install requests

然后,它非常容易获取HTML(将其放在名为get_html.py的文件中,或者您喜欢的任何名称):

import requests

req = requests.get('http://docs.python-requests.org/en/latest/user/quickstart/')

print(req.text)

将HTML保存到目录有多种选择。例如,您可以将上述脚本的输出重定向到文件,方法如下:

 python get_html.py > file.html

希望这有帮助

答案 1 :(得分:0)

杰夫的答案适用于一次性使用。 你可以这样重复运行它 -

import time
import requests

while True:
    with open('filename.extension', 'a') as fp:
        newHtml = requests.get('url').text
        fp.write(newHtml)
    time.sleep(60)

您可以根据需要将其作为后台进程运行。

$ python3 script_name.py &