如何使用scrapy抓取返回403错误的链接？

Question

我正在尝试从 udemy 中抓取课程详细信息，但它返回 403 错误。我尝试使用用户代理，但仍然不起作用。

import scrapy


class UdemySpider(scrapy.Spider):
    name = 'udemy'
    start_urls = [
        'https://www.udemy.com/api-2.0/search-courses/recommendation/?course_badge=beginners_choice&page_size=5&skip_price=true&q=python'
    ]

def parse(self, response):
    data = response.json()
    yield data

我已经使用了 scrapy-user-agent，但仍然无法抓取数据。