Question

我想在Tor的帮助下使用python 3发出匿名Web请求，我正在遵循本教程：https://computerscienceandfangs.blogspot.com/2018/04/setting-up-tor-for-windows-10-python-3.html。

到目前为止，我只是测试教程代码的第一部分（如下）：

import requests

def get_tor_session():
    session = requests.session()
    # Tor uses the 9050 port as the default socks port
    session.proxies = {'http':  'socks5://127.0.0.1:9050',
                       'https': 'socks5://127.0.0.1:9050'}
    return session

# Make a request through the Tor connection
# IP visible through Tor
session = get_tor_session()
print(session.get("http://httpbin.org/ip").text)
# Above should print an IP different than your public IP

# Following prints your normal public IP
print(requests.get("http://httpbin.org/ip").text)

因此，当我执行代码print(session.get("http://httpbin.org/ip").text)时，它应该告诉我要使用的其他IP地址。但是相反，我得到了错误：

 File "C:\Program Files\Anaconda3\lib\site-packages\requests\adapters.py", line 43, in SOCKSProxyManager
    try:

InvalidSchema: Missing dependencies for SOCKS support.

我已经按照教程安装了以下软件包：

1）pip安装请求-升级

2）pip安装请求[袜子]

3）pip安装主干

我正在使用Windows 7（64位）。适用于Python IDE的Spyder。 Python版本3.5。

第二个问题，比较笼统。我正在寻求更大范围的请求，作为网络刮板项目的一部分。上面的方法（使用我参考的教程）是否仍然是一种很好的方法（即使用Python手动编码），以确保您不会被禁止/列入黑名单？还是有没有更高级的服务可以为您执行匿名IP请求，IP轮换和请求调节，而无需编写自己的软件和手动配置，并且请求数量不受限制？

非常感谢。

Answer 1

您是否正在从cli运行tor服务？

您的代理应如下所示：

session.proxies = {'http':  'socks5h://127.0.0.1:9050',
                   'https': 'socks5h://127.0.0.1:9050'}

此外，请求并非旨在按照您描述的方式进行大量请求。我建议使用以下设置，该设置使用aiohttp，aiohttp_socks和asyncio。

import asyncio, aiohttp
from aiohttp_socks import SocksConnector

async def get_one(url, callback):
    connector = SocksConnector.from_url('socks5://localhost:9050', rdns=True)
    # rdns=True is important!
    # 1) Can't connect to hidden services without it
    # 2) You will make DNS lookup requests using your real IP, and not your Tor IP!
    async with aiohttp.ClientSession(connector=connector) as session:
        print(f'Starting {url}')
        async with session.get(url) as res:
            return await callback(res)

def get_all(urls, callback):
    future = []
    for url in urls:
        task = asyncio.ensure_future(get_one(url, callback))
        future.append(task)

    return future

def test_callback(res):
    print(res.status)

if __name__ == '__main__':
    urls = [
        'https://python.org', 
        'https://google.com',
        #...
    ]

    loop = asyncio.get_event_loop()
    future = get_all(urls, test_callback)
    loop.run_until_complete(asyncio.wait(future))

Answer 2

要解决该错误：InvalidSchema: Missing dependencies for SOCKS support我已经通过在命令行中运行以下命令来重新启动Windows OS中的Tor服务：

tor --service remove

然后

tor --service install -options ControlPort 9051

TorRequests和Python-InvalidSchema：缺少对SOCKS支持的依赖关系

2 个答案: