在SharePoint中将大型Excel文件数据导入数据库的设计考虑因素

Question

这是一个设计方法问题，请耐心等待长篇大论:-)

我们有一个SharePoint Web部件，用户可以从该部件添加到系统中。但我将在SharePoint中使用批量用户导入功能。

我的问题是在开发此解决方案时应该记住所有设计注意事项。以下是我已经确定的基本流程

1. 用户下载导入模板 （excel文件）
2. 使用用户详细信息填写下载的导入模板
3. 用户上传Excel工作表
4. 系统将验证模板和数据
5. 逐行从excel文件导入数据到数据库
6. 对于任何异常/错误日志，将整个excel记录与异常详细信息一起放在另一个excel日志文件中

以下是我对此流程的一些考虑因素 用于模板验证

导出模板

• 基于数据库列生成模板
• 添加列限制例如数据类型，仅选择预定义值

模板验证

• 检查支持的列数
• 列标题名称有效期

数据验证

• 检查强制数据存档
• 数据类型验证
• 针对数据库的数据验证

导入流程

• 这是一个SharePoint解决方案，我们可能有多个WFE，我正在考虑将文件上传到文档库以进行临时存储
• 实际导入过程将通过一些计时器作业完成，该作业将从此文档库中获取？
• 日志文件将是一个相同的空白模板，只有标题列和实际记录失败以及错误消息作为附加列。这应存储在单独的文档库中。
• 在流程结束时向用户显示下载此日志文件的链接。
• 我是否还要保留所有记录成功的记录。如果不是数千个，可能导入的用户数可能是数百个。

如果我在这里缺少任何设计考虑因素或在此处可能出现任何错误，请建议。

感谢。