我在网上搜索过我的问题,但找不到合适的内容。因为,我被卡住了,我在这里发布我的问题,以便找到至少我能解决它的方式
如果我能得到确切的解决方案,那将是非常好的,但我至少需要有关如何抓取网页的建议,其中内容使用不同的语言,因为抓取工具会对网页内容做出某些结论。
我使用英语或德语获取文本是我的主要原因,因为我使用英语和德语制作了一组关键字,我的抓取工具会检查网页内容并验证某些类别。
我想到了一个解决方案,即翻译每个网页,其中内容不是英文或德文与谷歌翻译,但首先,我没有找到确切的代码,其中进行翻译,其次,我认为它将花费很多时间,如果我翻译每个页面,因为我有数千页要抓取
我试图在网上找到任何东西,但没有找到足够的解决方案。
至少,我需要面对这类问题的人们的建议,如何让抓取者理解网页的内容。