Question

我正在编辑一个简单的抓取工具，抓取Youtube视频的评论页面。抓取工具使用Ajax浏览Youtube Videos评论页面上的每条评论，然后将其保存到json文件中。即使注释数量很少（＆lt; 10），解析注释仍需要3+分钟。

我已尝试包括request-cache并使用ujson代替json来查看是否有任何好处，但没有明显区别。

这是我目前使用的代码：

import os
import sys
import time
import ujson
import requests
import requests_cache
import argparse
import lxml.html

requests_cache.install_cache('comment_cache')

from lxml.cssselect import CSSSelector

YOUTUBE_COMMENTS_URL = 'https://www.youtube.com/all_comments?v={youtube_id}'
YOUTUBE_COMMENTS_AJAX_URL = 'https://www.youtube.com/comment_ajax'


def find_value(html, key, num_chars=2):
    pos_begin = html.find(key) + len(key) + num_chars
    pos_end = html.find('"', pos_begin)
    return html[pos_begin: pos_end]


def extract_comments(html):
    tree = lxml.html.fromstring(html)
    item_sel = CSSSelector('.comment-item')
    text_sel = CSSSelector('.comment-text-content')
    photo_sel = CSSSelector('.user-photo')


    for item in item_sel(tree):
        yield {'cid': item.get('data-cid'),
               'name': item.get('data-name'),
               'ytid': item.get('data-aid'),
               'text': text_sel(item)[0].text_content(),
               'photo': photo_sel(item)[0].get('src')}


def extract_reply_cids(html):
    tree = lxml.html.fromstring(html)
    sel = CSSSelector('.comment-replies-header > .load-comments')
    return [i.get('data-cid') for i in sel(tree)]


def ajax_request(session, url, params, data, retries=10, sleep=20):
    for _ in range(retries):
        response = session.post(url, params=params, data=data)
        if response.status_code == 200:
            response_dict = ujson.loads(response.text)
            return response_dict.get('page_token', None), response_dict['html_content']
        else:
            time.sleep(sleep)


def download_comments(youtube_id, sleep=1, order_by_time=True):
    session = requests.Session()

    # Get Youtube page with initial comments
    response = session.get(YOUTUBE_COMMENTS_URL.format(youtube_id=youtube_id))
    html = response.text
    reply_cids = extract_reply_cids(html)

    ret_cids = []
    for comment in extract_comments(html):
        ret_cids.append(comment['cid'])
        yield comment

    page_token = find_value(html, 'data-token')
    session_token = find_value(html, 'XSRF_TOKEN', 4)

    first_iteration = True

    # Get remaining comments (the same as pressing the 'Show more' button)
    while page_token:
        data = {'video_id': youtube_id,
                'session_token': session_token}

        params = {'action_load_comments': 1,
                  'order_by_time': order_by_time,
                  'filter': youtube_id}

        if order_by_time and first_iteration:
            params['order_menu'] = True
        else:
            data['page_token'] = page_token

        response = ajax_request(session, YOUTUBE_COMMENTS_AJAX_URL, params, data)
        if not response:
            break

        page_token, html = response

        reply_cids += extract_reply_cids(html)
        for comment in extract_comments(html):
            if comment['cid'] not in ret_cids:
                ret_cids.append(comment['cid'])
                yield comment

        first_iteration = False
        time.sleep(sleep)

    # Get replies (the same as pressing the 'View all X replies' link)
    for cid in reply_cids:
        data = {'comment_id': cid,
                'video_id': youtube_id,
                'can_reply': 1,
                'session_token': session_token}

        params = {'action_load_replies': 1,
                  'order_by_time': order_by_time,
                  'filter': youtube_id,
                  'tab': 'inbox'}

        response = ajax_request(session, YOUTUBE_COMMENTS_AJAX_URL, params, data)
        if not response:
            break

        _, html = response

        for comment in extract_comments(html):
            if comment['cid'] not in ret_cids:
                ret_cids.append(comment['cid'])
                yield comment
        time.sleep(sleep)


def main(argv):
    parser = argparse.ArgumentParser(add_help=False, description=('Download Youtube comments without using the Youtube API'))
    parser.add_argument('--help', '-h', action='help', default=argparse.SUPPRESS, help='Show this help message and exit')
    parser.add_argument('--youtubeid', '-y', help='ID of Youtube video for which to download the comments')
    parser.add_argument('--output', '-o', help='Output filename (output format is line delimited JSON)')
    parser.add_argument('--timeorder', '-t', action='store_true', help='Download Youtube comments ordered by time')

    try:
        args = parser.parse_args(argv)

        youtube_id = args.youtubeid
        output = args.output

        start_time = time.time()

        if not youtube_id or not output:
            parser.print_usage()
            raise ValueError('you need to specify a Youtube ID and an output filename')

        print 'Downloading Youtube comments for video:', youtube_id
        count = 0
        with open(output, 'wb') as fp:
            for comment in download_comments(youtube_id, order_by_time=bool(args.timeorder)):
                print >> fp, ujson.dumps(comment, escape_forward_slashes=False)
                count += 1
                sys.stdout.write('Downloaded %d comment(s)\r' % count)
                sys.stdout.flush()

        elapsed_time = time.time() - start_time

        print '\nDone! Elapsed time (seconds):', elapsed_time


    except Exception, e:
        print 'Error:', str(e)
        sys.exit(1)


if __name__ == "__main__":
    main(sys.argv[1:])

我是Python的新手，所以我不确定瓶颈在哪里。完成的脚本将用于解析100,000多条评论，因此性能是一个很大的因素。

使用多线程解决问题？如果是这样，我将如何重构它以从中受益呢？
这严重是网络问题吗？

Answer 1

是的，多线程会加快这个过程。在单独的Thread。
是的，这是与网络相关的问题。

您的请求受I / O限制。你向Youtube提出了一个请求 - 它需要一些时间来取回响应，它主要依赖于网络，你不能让这个过程更快。但是，您可以使用Thread s并行发送多个请求。这不会使实际过程更快，但您将在更短的时间内处理更多。

线程教程：

有点类似于您的任务的示例 - http://www.toptal.com/python/beginners-guide-to-concurrency-and-parallelism-in-python

此外，由于您将进行大量的抓取和处理，我建议您使用类似Scrapy的内容 - 我个人将其用于此类任务。

Answer 2

一次发出多个请求会加快这个过程，但是如果需要3分钟来解析10条评论，那么你会遇到其他一些问题，解析100,000条评论需要数天时间。除非有迫切的理由使用lxml我建议您查看BeautifulSoup并让它为您提供评论标记及其文字内容的列表，而不是自己动手。我猜测大部分的缓慢是在lxml转换你传递给它的内容，然后在你的手动计数中找到字符串中的位置。我也怀疑sleep的电话 - 那是为了什么？

假设这个

print >> fp, ujson.dumps(comment, escape_forward_slashes=False)
count += 1
sys.stdout.write('Downloaded %d comment(s)\r' % count)

仅用于调试，将其移至download_comments并使用logging，以便您可以打开和关闭它。在你去的时候将每个单独的评论倾倒到JSON会变得很慢;您可能希望现在开始将这些转储到数据库中以避免这种情况。并重新检查为什么你一次做一条评论：BeautifulSoup应该给你一个完整的评论列表和＆amp;每个页面加载的文本，这样您就可以批量处理它们，一旦开始解析较大的组，这将非常方便。

如何加速Ajax请求Python Youtube scraper

2 个答案: