Azure批量从Azure文件服务位置将csv文件导入Azure SQL Server

时间:2017-06-14 02:06:47

标签: sql sql-server csv azure-sql-database azure-storage

我想将csv文件(sqlserver-dba-csv.txt)导入到Azure中托管的SQL Server数据库的表中。

此文件位于Azure文件服务(位置地址:' https://XXXXXXXXXXX.file.core.windows.net/XXXXXXXXXXX/sqlserver-dba-csv.txt')上,该文件也是我本地计算机上的映射驱动器。

最终我希望通过触发器使其自动化,但是现在我只想将数据导入SQL服务器上的表中以证明该过程有效。

此sqlserver-dba-csv.txt文件的内容为:

1,James Brown,blue 
2,Prince,red 
3,Rick James,yellow

我在SSMS上使用的代码是:

**--create a table
CREATE TABLE musicians_csv (
musician_id INT,
full_name VARCHAR(50),
colour VARCHAR(20)
)
GO
--bulk insert csv into a SQL Server table
BULK
INSERT musicians_csv
FROM 'https://XXXXXXXXXXX.file.core.windows.net/XXXXXXXXXXX/sqlserver-dba-csv.txt'
WITH
(
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n'
)
GO
--Verify data inserted
SELECT *
FROM musicians_csv
GO
--Drop the table
DROP TABLE musicians_csv
GO**

我收到的错误消息是:

  

消息4861,级别16,状态1,行10无法批量加载,因为该文件   " HTTPS:/xxxxxxxxx.file.core.windows.net/xxxxxxxxx/sqlserver-dba-csv.txt"   不能打开。操作系统错误代码(null)。

     

(0行(s)受影响)

我怀疑文件位置的格式不正确,但搜索后无法找到任何解决方案。

或者 - 我能够在本地计算机上引用和导入文件,即使我的SQL Server位于Azure云中 - 例如:" C:\ Users \ user.name \桌面\ SQLSERVER-DBA-csv.txt"

任何帮助非常感谢

2 个答案:

答案 0 :(得分:1)

您可能遇到安全问题:如果该文件尚未被声明为公共访问,则Azure SQL可能无法访问您尝试导入的文件。

当然,您可能不希望将文件设置为可供所有人使用,因此您必须存储凭据以通过CREATE CREDENTIAL命令将其访问到Azure SQL中:

CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'A-$tr0ng|PaSSw0Rd!';
GO

CREATE DATABASE SCOPED CREDENTIAL [CSV-Storage-Credentials]
WITH IDENTITY = 'SHARED ACCESS SIGNATURE',
SECRET = '<shared-access-signature for "csvimportdemo" blob storage here>';
GO

CREATE EXTERNAL DATA SOURCE [CSV-Storage]
WITH 
( 
    TYPE = BLOB_STORAGE,
    LOCATION = 'https://csvimportdemo.blob.core.windows.net',
    CREDENTIAL= [CSV-Storage-Credentials]
);

完成此操作后,您可以通过BULK命令访问该文件:

SELECT 
    FileId = ' + CAST(@fid AS NVARCHAR(9)) + ',
    FirstName, 
    LastName,   
    TwitterHandle
FROM OPENROWSET(
    BULK '<your file here>', 
    DATA_SOURCE = 'CSV-Storage',
    FIRSTROW=2,
    FORMATFILE='<your format file here>',
    FORMATFILE_DATA_SOURCE = 'Storage') as t

你可以在github上找到一个完整的工作样本(我发布的示例代码来自),它也使用Azure函数自动导入:

https://github.com/yorek/AzureFunctionUploadToSQL/blob/master/SQL/create-objects.sql

答案 1 :(得分:0)

此链接可以帮助您: https://azure.microsoft.com/en-us/updates/preview-loading-files-from-azure-blob-storage-into-sql-database/

您需要创建一个外部数据源(如果您的blob存储不公开,则使用共享访问签名。)