需要从ip-ranges文件中获取Amazon S3部分

时间:2019-06-11 19:42:33

标签: python regex beautifulsoup

我正在尝试从下面的站点获取ip,我能够使用python美丽的汤获得整个站点,并使用python regex模块来获取ip4地址 但是我遇到了一个问题,我只需要ipv4 ip就可以在其中显示“ S3”的任何帮助

https://ip-ranges.amazonaws.com/ip-ranges.json

akamai_feed = urlopen('https://ip-ranges.amazonaws.com/ip-ranges.json').read() 
soup = BeautifulSoup(akamai_feed, 'html.parser')
ip_addr = re.findall(r'\b\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}.\d{1,3}.\b', soup.get_text())

3 个答案:

答案 0 :(得分:1)

此提要是Json文件,因此您可以使用Python标准库中的json模块:

from urllib.request import urlopen
import json

akamai_feed = json.loads( urlopen('https://ip-ranges.amazonaws.com/ip-ranges.json').read() )

for prefix in akamai_feed['prefixes']:
    if prefix['service'] == 'S3':
        print(prefix['ip_prefix'])

打印:

...

52.95.163.0/24
52.95.145.0/24
52.92.40.0/21
52.219.32.0/21
52.95.136.0/23
52.219.62.0/23
52.95.175.0/24

... and so on

答案 1 :(得分:0)

该网站包含一个嵌套的JSON字典,因此您需要先阅读JSON数据:

>>> import urllib.request
>>> import json
>>> akamai_feed = urllib.request.urlopen('https://ip-ranges.amazonaws.com/ip-ranges.json').read()
>>> akamai_json = json.loads(akamai_feed)

现在您已经有了实际的数据,可以使用例如filter()函数:

>>> list(filter(lambda _: _['service'] == 'S3', akamai_json['prefixes']))
[{'ip_prefix': '52.95.154.0/23', 'region': 'eu-west-3', 'service': 'S3'}, {'ip_prefix': '52.219.64.0/22', 'region': 'ap-south-1', 'service': 'S3'}, ...]

这将为您提供'service''S3'的词典列表。另外,您也可以使用列表理解:

>>> [_ for _ in json.loads(akamai_feed)['prefixes'] if _['service'] == 'S3']
[{'ip_prefix': '52.95.154.0/23', 'region': 'eu-west-3', 'service': 'S3'}, {'ip_prefix': '52.219.64.0/22', 'region': 'ap-south-1', 'service': 'S3'}, ...]

如果您只对IP地址感兴趣,那么...

>>> [_['ip_prefix'][:-3] for _ in json.loads(akamai_feed)['prefixes'] if _['service'] == 'S3']
['52.95.154.0', '52.219.64.0', ...]

如果/xx可以是任意数字,或者IP地址不是IPv4字符串格式,则regex将有助于过滤字符串。

答案 2 :(得分:-1)

这里不需要使用正则表达式,因为IP可能不需要验证,如果我理解正确的问题,我们只想获得select pd.* from PES_Data pd where pd.PatientCommentText is null; 值,但是如果您希望使用正则表达式来做到这一点,那可能就足够了:

"ip_prefix"

Demo

测试

"ip_prefix": "(.+?)"