网页抓取-新手

时间:2019-02-25 13:37:54

标签: curl web-scraping

我正在尝试从https://www.scimagojr.com网站提取有关特定期刊的数据。尝试使用curl使用每个日志ID提取数据。

示例:

在名为data.txt的txt中创建卷发

async onChangeDestination(url, index) {
    const url_status = isURL(url + '') ? (await testURL(url)).data.response : "No URL"
    this.setState(prevState => {
        const rules = [...prevState.rules];
        rules[index] = { 
            ...rules[index],
            url,
            url_status
        };
        return { rules };
    });
};

Annales Zoologici Fennici Journal的ID为24589,但我在url中将其更改为$ 1以启用其他ID以便更轻松地收集数据

Curl 'https://www.scimagojr.com/journalsearch.php?q=24589&tip=sid&clean=0'

我尝试使用

Curl 'https://www.scimagojr.com/journalsearch.php?q=$1&tip=sid&clean=0'

但是它没有提供有关日记的信息

1 个答案:

答案 0 :(得分:0)

变量未插入单引号内。更改为双引号:

curl "https://www.scimagojr.com/journalsearch.php?q=$1&tip=sid&clean=0"