C ++:使用libcurl和streams

时间:2012-05-13 03:25:21

标签: c++ pointers curl reference libcurl

试着学习C ++。我是从刮刀开始的。我的想法是想要抓取一堆页面,应用正则表达式,并将我的发现写入文件。

但是,我目前正试图分配curl句柄来写入字符串变量。任何指针(我的意思是......)?

#include <stdio.h>
#include <curl/curl.h>
#include <string>
#include <iomanip>
#include <boost/lexical_cast.hpp>

// Typedefs
using std::string;      using boost::lexical_cast;
using std::cout;
using std::endl;
using std::ostringstream;

// CURL directives
static const string BASE_URL = "http://www.XXXXXX.com/action?page=";
static char* USER_AGENT_STRING = "C++ Scraper"; 

// CURL variables
static CURL* curl;
static CURLcode res;

       void setPageOpts(CURL* c, int count, const ostringstream stream) {
            cout << "Got to the set opts method." << endl;

            // Set URL
            string new_url = BASE_URL + lexical_cast<string>(count);
            curl_easy_setopt(curl, CURLOPT_URL, new_url.c_str());
            curl_easy_setopt(curl, CURLOPT_WRITEDATA, &stream);
        }

        void setConstOpts(CURL *c) {
            // User agent string
            curl_easy_setopt(curl, CURLOPT_USERAGENT, USER_AGENT_STRING);
            //curl_easy_setopt(curl, CURLOPT_VERBOSE, 1);
        }

        void loadCurl() {
            int status = curl_global_init(CURL_GLOBAL_ALL);

            if (status != 0) {  
                cout << "An error has occurred with exit status " << status << endl;
                exit(status);
            }   
        }

        int main() {
            loadCurl();
            curl = curl_easy_init();

            if(curl) {
                setConstOpts(curl);

                for (int i = 1; i < 2; ++i) {           
                    const ostringstream stream;

                    setPageOpts(curl, i, &stream);

                    res = curl_easy_perform(curl);  

                    string output = stream.get();
                    cout << "And the data was: " << endl << endl << output << endl;
                }

                curl_easy_cleanup(curl);
            }

            // Everything went as planned
            return 0;
        }

我得到的当前错误:

learn.cpp:15: warning: deprecated conversion from string constant to 'char*'
learn.cpp: In function 'int main()':
learn.cpp:62: error: conversion from 'const std::ostringstream*' to non-scalar type 'std::ostringstream' requested
learn.cpp:67: error: request for member 'get' in 'stream', which is of non-class type 'const std::ostringstream*'

我看到它的方式,我想让CURL获得内存中流的位置,以便它可以在那里写。所以我认为我需要使用&amp;那个角色和手。但这似乎不起作用。

2 个答案:

答案 0 :(得分:3)

第一个警告是

static char* USER_AGENT_STRING = "C++ Scraper"; 

其中文字为const,因此指针应该是指向const char的指针。

第二个问题是const ostringstream stream。如果流是const,则您无法对其进行任何改变其状态的操作 - 例如读取或写入。

答案 1 :(得分:2)

您的定义:

 void setPageOpts(CURL* c, int count, const ostringstream stream)

很可能会给你带来麻烦。看起来您的意思是通过引用传递中的stream以便更新它:

void setPageOpts(CURL* c, int count, ostringstream& stream) 

(并且在传递时不要忘记使用c。)

而不是这个:

                const ostringstream stream;
                setPageOpts(curl, i, &stream);

调用您的函数:

        ostringstream stream;
        setPageOpts(curl, i, stream);

这样可以更新stream

std::ostringstream没有::get()。我想你的意思是:

        string output = stream.str();

您可能还会发现this answer有用,如果没有设置CURLOPT_WRITEFUNCTION来指定使用std::ostringstream指针的回调函数,当libcurl尝试{{}时,您将获得访问冲突1}}到它。