Question

我正在开发一个应用程序，我必须将CSV文件中的数据上传到数据库表中。问题是，我没有CSV文件，但我有平面文本文件要转换为CSV。另一个问题是，由于应用程序由具有不同系统的多个客户使用，因此我使用不同布局的不同平面文本文件。

我想要实现的是创建一个从特殊文件加载“规则”的应用程序;这些规则将使用平面文本文件进行处理，以生成CSV文件。从平面文件转换为CSV的应用程序将是相同的，只是规则集将是不同的。

我怎样才能做到这一点？你推荐的最佳做法是什么？

Answer 1

这取决于规则的复杂程度。如果唯一不同的输入是列的名称和使用的分隔符，那么它很容易，但如果你想要能够完全解析不同的格式（如XML等），那么这是一个不同的故事。

我自己会选择为“记录”阅读器实现基类，该阅读器从文件中读取记录并将其输出到数据集或CSV。然后，您可以实现实现读取不同源格式的子类。

如果您愿意，可以为这些格式添加特定规则，这样您就可以创建一个从BaseReader继承的通用XMLReader，但允许使用可配置的列名。但是我会从一堆硬编码的读者开始，看看你得到的格式，直到你可以更清楚地了解这些格式的哪些方言。

编辑：根据要求，举例说明它的外观。

注意，这个例子远非理想！它读取自定义格式，将其传输到一个特定的表结构并将其保存为CSV文件。您可能希望将其进一步拆分，以便可以将代码重用于不同的表结构。特别是字段定义，您可能希望能够设置后代类或工厂类。但是为了简单起见，我采取了更严格的方法，并在一个基类中放置了太多的智能。

基类具有创建内存数据集所需的逻辑（我使用了TClientDataSet）。它可以“迁移”文件。实际上，这意味着它会读取，验证和导出文件。

阅读是抽象的，必须在子类中实现。它应该将数据读取到内存数据集中。这允许您在客户端数据集中执行所有必要的验证。这允许您以数据库/文件格式不可知的方式强制执行字段类型和大小，并进行任何其他检查。

使用数据集中的数据完成验证和编写。从解析源文件的那一刻起，就不再需要有关源文件格式的知识了。

声明：不要忘记使用DB, DBClient。

type
  TBaseMigrator = class
  private
    FData: TClientDataset;
  protected
    function CSVEscape(Str: string): string;
    procedure ReadFile(AFileName: string); virtual; abstract;
    procedure ValidateData;
    procedure SaveData(AFileName: string);
  public
    constructor Create; virtual;
    destructor Destroy; override;

    procedure MigrateFile(ASourceFileName, ADestFileName: string); virtual;
  end;

实现：

{ TBaseReader }

constructor TBaseMigrator.Create;
begin
  inherited Create;
  FData := TClientDataSet.Create(nil);
  FData.FieldDefs.Add('ID', ftString, 20, True);
  FData.FieldDefs.Add('Name', ftString, 60, True);
  FData.FieldDefs.Add('Phone', ftString, 15, False);
  // Etc
end;

function TBaseMigrator.CSVEscape(Str: string): string;
begin
  // Escape the string to a CSV-safe format;
  // Todo: Check if this is sufficient!
  Result := '"' + StringReplace(Result, '"', '""', [rfReplaceAll]) + '"';
end;

destructor TBaseMigrator.Destroy;
begin
  FData.Free;
  inherited;
end;

procedure TBaseMigrator.MigrateFile(ASourceFileName, ADestFileName: string);
begin
  // Read the file. Descendant classes need to override this method.
  ReadFile(ASourceFileName);

  // Validation. Implemented in base class.
  ValidateData;

  // Saving/exporting. For now implemented in base class.
  SaveData(ADestFileName);
end;

procedure TBaseMigrator.SaveData(AFileName: string);
var
  Output: TFileStream;
  Writer: TStreamWriter;
  FieldIndex: Integer;
begin
  Output := TFileStream.Create(AFileName,fmCreate);
  Writer := TStreamWriter.Create(Output);
  try

    // Write the CSV headers based on the fields in the dataset
    for FieldIndex := 0 to FData.FieldCount - 1 do
    begin
      if FieldIndex > 0 then
        Writer.Write(',');
      // Column headers are escaped, but this may not be needed, since
      // they likely don't contain quotes, commas or line breaks.
      Writer.Write(CSVEscape(FData.Fields[FieldIndex].FieldName));
    end;
    Writer.WriteLine;

    // Write each row
    FData.First;
    while not FData.Eof do
    begin

      for FieldIndex := 0 to FData.FieldCount - 1 do
      begin
        if FieldIndex > 0 then
          Writer.Write(',');
        // Escape each value
        Writer.Write(CSVEscape(FData.Fields[FieldIndex].AsString));
      end;
      Writer.WriteLine;

      FData.Next
    end;

  finally
    Writer.Free;
    Output.Free;
  end;
end;

procedure TBaseMigrator.ValidateData;
begin
  FData.First;
  while not FData.Eof do
  begin
    // Validate the current row of FData
    FData.Next
  end;
end;

示例子类：TIniFileReader，它将inifile部分读取为数据库记录。如您所见，您只需要实现逻辑来读取文件。

type
  TIniFileReader = class(TBaseMigrator)
  public
    procedure ReadFile(AFileName: string); override;
  end;

{ TIniFileReader }

procedure TIniFileReader.ReadFile(AFileName: string);
var
  Source: TMemIniFile;
  IDs: TStringList;
  ID: string;
  i: Integer;
begin
  // Initialize an in-memory dataset.
  FData.Close; // Be able to migrate multiple files with one instance.
  FData.CreateDataSet;

  // Parsing a weird custom format, where each section in an inifile is a
  // row. Section name is the key, section contains the other fields.
  Source := TMemIniFile.Create(AFileName);
  IDs := TStringList.Create;
  try
    Source.ReadSections(IDs);

    for i := 0 to IDs.Count - 1 do
    begin
      // The section name is the key/ID.
      ID := IDs[i];

      // Append a row.
      FData.Append;

      // Read the values.
      FData['ID'] := ID;
      FData['Name'] := Source.ReadString(ID, 'Name', '');
      // Names don't need to match. The field 'telephone' in this propriety
      // format maps to 'phone' in your CSV output.
      // Later, you can make this customizable (configurable) if you need to,
      // but it's unlikely that you encounter two different inifile-based
      // formats, so it's a waste to implement that until you need it.
      FData['Phone'] := Source.ReadString(ID, 'Telephone', '');

      FData.Post;
    end;

  finally
    IDs.Free;
    Source.Free;
  end;
end;

Answer 2

这与“屏幕刮刀”所面临的问题非常相似。如果最终用户打算能够使用它，我会避免使用正则表达式（除非作为内部实现细节，如果需要），并且不向最终用户公开原始正则表达式编辑。

相反，我会让他们加载他们的数据文件样本，并使用拖放样式直观地构建他们的规则。

单击“匹配文本”按钮，单击并拖动以选择屏幕上的矩形区域。如果格式不精确或不可重复，请选择允许向上或向下或向左或向右移动一定量的选项。建立对原始盒子之外的距离的限制。
单击“抓取文本”按钮，单击并拖动到屏幕上的矩形或非矩形（流动）区域。使用字段命名输出，并为其指定类型（整数，字符串[x]等）。类似的限制适用于步骤1.
单击“保存”，模板规则将写入磁盘。加载一个不同的文件，看看规则是否仍然适用。

Relevant wikipedia topic.

解析平面文本文件

2 个答案: