Question

我有一个客户要求我创建下载图像的缩略图。我有一小段使用node-fetch将图片下载到缓冲区的代码：

const fetch = require('node-fetch');
const URL =
  'https://lf.lids.com/hwl?set=sku[20905595],c[2],w[400],h[300]&call=url[file:product]';
async function main() {
  const t = await fetch(URL);
  const tt = await t.buffer();
  debugger;
}

main();

此功能适用于除代码中的一张以外的大多数图像。我觉得lids.com可能正在做一些重定向魔术或阻止了刮擦的发生，但是我无法调试它。

我也尝试设置各种标题来模仿浏览器（加载图像），但是到目前为止没有任何效果。我不确定这是图书馆问题还是运营问题。

Answer 1

结果有两个问题：

Agent需要更改以反映浏览器
某些服务器只是直接阻止了AWS中的任何内容以防止抓取，我们最终使用了爬虫来解决这个问题

该图像显示在浏览器中，但无法使用代码下载（node.js）

1 个答案: