Question

我试图通过Twitter流API来预测推文流向Azure Blob存储的系统。我正在关注微软的教程，但它结束于以下场景：

$writeStream = New-Object System.IO.StreamWriter $memStream
$count=0
$lineMax=1000000
$sReader = New-Object System.IO.StreamReader($response.GetResponseStream())


$inrec = $sReader.ReadLine()

while (($inrec -ne $null) -and ($count -le $lineMax))
{
    if ($inrec -ne "")
    {
        $writeStream.WriteLine($inrec)
    }




    $inrec=$sReader.ReadLine()
}


$writeStream.Flush()
$memStream.Seek(0, "Begin")
$destBlob.UploadFromStream($memStream)

$sReader.close()

现在的问题是，如果我想大规模地使用它，我怀疑该文件将变得太大而无法一次性发送到Azure。这个问题的正确方法是什么？我应该将文件本地滚动到磁盘，然后将其发送到Azure吗？

Answer 1

您可能想要查看新的附加Blob。这使您可以创建一个blob并继续附加它（如果需要，可以从多个位置）。这里有一些how-to information可能有所帮助。

将滚动文件上载到Azure Blob

1 个答案: