Python AWS Lambda Web scraper

时间:2018-03-28 03:37:13

标签: python web-scraping aws-lambda

我需要抓一个URL来将内容发送到我的Lambda函数。我试图通过使用我的Lambda函数打包BeautifulSoup来实现它,但是我遇到了导入错误,例如:无法导入名称' CharsetMetaAttributeValue'我不确定是否应该在AWS环境中使用bs4。

任何建议都会有所帮助。

1 个答案:

答案 0 :(得分:1)

我可以使用带有Lambda函数的已编译lxml包进行Web scraper。编译包可以在github这个链接上获得:https://github.com/JFox/aws-lambda-lxml/tree/master/3.6.4