使用PowerShell从HTML网站获取图像链接

时间:2013-04-07 07:09:40

标签: html image parsing powershell download

我想批量下载一些图片库。这些图像是免费提供的,无需任何权限。我为我的生活无法让它发挥作用。这就是我到目前为止所拥有的。 $ pattern吐出的是整个HTML行,而不仅仅是图像链接。你有什么指示可以给我吗?循环设置为仅运行一次以进行测试。循环将遍历所有以数字方式组织的页面。

# Variables
$i=1        # Webpage Counter
$j=1        # Image Counter
$rootDir = "http://website.com/sport/galleries/"
$saveDir = "C:\Users\user\Desktop\"
$webpagetxt = "C:\Users\user\Desktop\page.txt"
$links = "C:\Users\user\Desktop\links.txt"
$regex = "http://website.com/galleries/[0-9]*/[^\.]*.JPG"

# Create folder to download to
#New-Item -Name SiouxSportsGalleries -ItemType directory

# Start Web Client
$client = New-Object System.Net.WebClient

# Main loop to get image links and download
    For($i=10; $i -le 10; $i++){

        # Download source code of the web page.
        $url = $rootDir+$i+'.htm'
        $webclient = new-object System.Net.WebClient
        $webpage = $webclient.DownloadString($url)
        $webpage > "$webpagetxt"

    # Parse web page and find image link.
       $pattern = Get-Content $webpagetxt | Select-String -pattern $regex -Allmatches
       echo "This is the link" $pattern
    #$pattern > $links

 }

2 个答案:

答案 0 :(得分:3)

您需要提取匹配的值。 Select-String会返回对象,当您echo时,会发生什么$pattern.ToString()ToString()返回该行,而不是匹配值。这将仅返回所有链接:

Get-Content $webpagetxt | Select-String -pattern $regex -Allmatches | % { $_.Matches | % { $_.Value } }

顺便说一下,您可以简单地在换行符上拆分字符串以获取数组(如果这是保存它的唯一原因),而不是保存网页并使用get-content重新打开它。 : - )

$webpage -split "`n" | Select-String -pattern $regex -Allmatches | % { $_.Matches | % { $_.Value } }

编辑要下载它,您可以使用另一个foreach循环扩展它:

$rootDir = "http://website.com/sport/galleries/"
$saveDir = "C:\Users\user\Desktop\"
$webpage -split "`n" | Select-String -pattern $regex -Allmatches | % { $_.Matches | % { $_.Value } } | % {
    #Get local path
    $local = $_.Replace($rootDir, $saveDir)
    #Create path
    $file = New-Item $local -ItemType file -Force
    #Download
    $wb.DownloadFile($_, $file.FullName)
}

答案 1 :(得分:0)

Select-String返回一个包含属性的对象。将其发送到Get-Member,看看您有什么好吃的东西。您需要查看匹配属性,例如$pattern.matches。查看documentation中的示例9。