Question

我构建了一个数据加载器原型，可以将CSV保存到splayed表中。工作流程如下：

第一次创建架构，例如volatilitysurface表：

volatilitysurface::([date:`datetime$(); ccypair:`symbol$()] atm_convention:`symbol$(); premium_included:`boolean$(); smile_type:`symbol$(); vs_type:`symbol$(); delta_ratio:`float$(); delta_setting:`float$(); wing_extrapolation:`float$(); spread_type:`symbol$());

对于rawdata文件夹中的每个文件，请将其导入：

myfiles:@[system;"dir /b /o:gn ",string `$getenv[`KDBRAWDATA],"*.volatilitysurface.csv 2> nul";()];
if[myfiles~();.lg.o[`load;"no volatilitysurface files found!"];:0N];
.lg.o[`load;"loading data files ..."];
/ load each file
{
  mypath:"" sv (string `$getenv[`KDBRAWDATA];x);
  .lg.o[`load;"loading file name '",mypath,"' ..."];
  myfile:hsym`$mypath;
  tmp1:select date,ccypair,atm_convention,premium_included,smile_type,vs_type,delta_ratio,delta_setting,wing_extrapolation,spread_type from update date:x, premium_included:?[premium_included = `$"true";1b;0b] from ("ZSSSSSFFFS";enlist ",")0:myfile;
  `volatilitysurface upsert tmp1;
} @/: myfiles;
delete tmp1 from `.;
.Q.gc[];
.lg.o[`done;"loading volatilitysurface data done"];

.lg.o[`save;"saving volatilitysurface schema to ",string afolder];
volatilitysurface::0!volatilitysurface;
.Q.dpft[afolder;`;`ccypair;`volatilitysurface];
.lg.o[`cleanup;"removing volatilitysurface from memory"];
delete volatilitysurface from `.;
.Q.gc[];
.lg.o[`done;"saving volatilitysurface schema done"];

这完美无缺。我经常使用.Q.gc[];来避免点击wsfull。当新的CSV文件可用时，我打开现有的架构，将其挂载并再次保存，有效地覆盖现有的HDB文件系统。

开放架构：

.lg.o[`open;"tables already exists, opening the schema ..."];
@[system;"l ",(string afolder) _ 0;{.lg.e[`open;"failed to load hdb directory: ", x]; 'x}];
/ Re-create table index
volatilitysurface::`date`ccypair xkey select from volatilitysurface;

重新运行步骤＃2将新的CSV文件附加到现有的volatilitysurface表格中，它会完美地插入第一张CSV，但第二张CSV失败并显示：
```
error: `cast
```

我调试错误点并仔细检查我发现tmp1和volatilitysurface的元数据完全相同。任何想法为什么会这样？我对任何其他表都有同样的问题。我曾尝试在每次upsert后清理表中的键，但没有帮助，即

volatilitysurface::0!volatilitysurface;
volatilitysurface::`date`ccypair xkey volatilitysurface;

在施法错误点的元数据比较：

meta tmp1
c                 | t f a
------------------| -----
date              | z    
ccypair           | s    
atm_convention    | s    
premium_included  | b    
smile_type        | s    
vs_type           | s    
delta_ratio       | f    
delta_setting     | f    
wing_extrapolation| f    
spread_type       | s

meta volatilitysurface
c                 | t f a
------------------| -----
date              | z    
ccypair           | s   p
atm_convention    | s    
premium_included  | b    
smile_type        | s    
vs_type           | s    
delta_ratio       | f    
delta_setting     | f    
wing_extrapolation| f    
spread_type       | s

UPDATE 使用下面答案的输入我尝试使用Torq的.loader.loadallfiles函数（它没有失败但是没有任何反应，表格没有在内存中创建，数据没有写入数据库）：

.loader.loadallfiles[`headers`types`separator`tablename`dbdir`dataprocessfunc!(`x`ccypair`atm_convention`premium_included`smile_type`vs_type`delta_ratio`delta_setting`wing_extrapolation`spread_type;"ZSSSSSFFFS";enlist ",";`volatilitysurface;`:hdb; {[p;t] select date,ccypair,atm_convention,premium_included,smile_type,vs_type,delta_ratio,delta_setting,wing_extrapolation,spread_type from update date:x, premium_included:?[premium_included = `$"true";1b;0b] from t}); `:rawdata]

UDPATE2 这是我从TorQ获得的输出：

2017.11.20D08:46:12.550618000|wsp18497wn|dataloader|dataloader1|INF|dataloader|**** LOADING :rawdata/20171102_113420.disccurve.csv ****
2017.11.20D08:46:12.550618000|wsp18497wn|dataloader|dataloader1|INF|dataloader|reading in data chunk
2017.11.20D08:46:12.566218000|wsp18497wn|dataloader|dataloader1|INF|dataloader|Read 10000 rows
2017.11.20D08:46:12.566218000|wsp18497wn|dataloader|dataloader1|INF|dataloader|processing data
2017.11.20D08:46:12.566218000|wsp18497wn|dataloader|dataloader1|INF|dataloader|Enumerating
2017.11.20D08:46:12.566218000|wsp18497wn|dataloader|dataloader1|INF|dataloader|writing 4525 rows to :hdb/2017.09.12/volatilitysurface/
2017.11.20D08:46:12.581819000|wsp18497wn|dataloader|dataloader1|INF|dataloader|writing 4744 rows to :hdb/2017.09.13/volatilitysurface/
2017.11.20D08:46:12.659823000|wsp18497wn|dataloader|dataloader1|INF|dataloader|writing 731 rows to :hdb/2017.09.14/volatilitysurface/
2017.11.20D08:46:12.737827000|wsp18497wn|dataloader|dataloader1|INF|init|retrieving sort settings from :C:/Dev/torq//config/sort.csv
2017.11.20D08:46:12.737827000|wsp18497wn|dataloader|dataloader1|INF|sort|sorting the volatilitysurface table
2017.11.20D08:46:12.737827000|wsp18497wn|dataloader|dataloader1|INF|sorttab|No sort parameters have been specified for : volatilitysurface. Using default parameters
2017.11.20D08:46:12.737827000|wsp18497wn|dataloader|dataloader1|INF|sortfunction|sorting :hdb/2017.09.05/volatilitysurface/ by these columns : sym, time
2017.11.20D08:46:12.753428000|wsp18497wn|dataloader|dataloader1|ERR|sortfunction|failed to sort :hdb/2017.09.05/volatilitysurface/ by these columns : sym, time.  The error was: hdb/2017.09.

我收到以下错误sorttab|No sort parameters have been specified for : volatilitysurface. Using default parameters这个sorttab记录在哪里？它默认使用表PK吗？

UPDATE3 确定通过在我的sort.csv文件夹下提供非默认config来修复UPDATE2：

tabname,att,column,sort
default,p,sym,1
default,,time,1
volatilitysurface,,date,1
volatilitysurface,,ccypair,1

但现在我看到，如果我在同一个文件上多次调用该函数，它只会附加重复数据而不是upsert。

UPDATE4 还没有...假设我可以检查以确保没有使用重复文件。当我加载然后启动数据库时，我得到一些结构，它重新使用某种字典而不是表格。

2017.10.31| (,`volatilitysurface)!,+`date`ccypair`atm_convention`premium_incl..
2017.11.01| (,`volatilitysurface)!,+`date`ccypair`atm_convention`premium_incl..
2017.11.02| (,`volatilitysurface)!,+`date`ccypair`atm_convention`premium_incl..
2017.11.03| (,`volatilitysurface)!,+`date`ccypair`atm_convention`premium_incl..
sym       | `AUDNOK`AUDCNH`AUDJPY`AUDHKD`AUDCHF`AUDSGD`AUDCAD`AUDDKK`CADSGD`C..

请注意，日期实际上是日期时间Z而不仅仅是日期。我的完整和最新版本的函数调用是：

target:hsym `$("" sv ("./";getenv[`KDBHDB];"/volatilitysurface"));
rawdatadir:hsym `$getenv[`KDBRAWDATA];
.loader.loadallfiles[`headers`types`separator`tablename`dbdir`partitioncol`dataprocessfunc!(`x`ccypair`atm_convention`premium_included`smile_type`vs_type`delta_ratio`delta_setting`wing_extrapolation`spread_type;"ZSSSSSFFFS";enlist ",";`volatilitysurface;target;`date;{[p;t] select date,ccypair,atm_convention,premium_included,smile_type,vs_type,delta_ratio,delta_setting,wing_extrapolation,spread_type from update date:x, premium_included:?[premium_included = `$"true";1b;0b] from t}); rawdatadir];

Answer 1

`强制转换错误是指未枚举的值

我无法在此处看到任何枚举，磁盘上的splayed表需要枚举符号列。例如，在调用.Q.dpft

之前，可以使用以下行完成此操作

volatilitysurface:.Q.en[afolder;volatilitysurface];

您可以考虑使用示例CSV加载程序来加载数据。 TorQ是一个这样的例子，由AquaQ Analytics开发的KDB框架（作为免责声明，我为AquaQ工作）

该框架可在此处免费获取：https://github.com/AquaQAnalytics/TorQ

您可能感兴趣的具体组件是dataloader.q，并在此处记录：http://aquaqanalytics.github.io/TorQ/utilities/#dataloaderq

此脚本将处理所有必要的内容，加载所有文件，枚举，磁盘排序，应用属性等，以及使用.Q.fsn来防止内存不足

Answer 2

我将在这里添加第二个答案，试图解决有关使用TorQ数据加载器的问题。

我想说明运行此功能后你得到的输出是什么？应该有一些日志消息输出，你可以发布这些吗？例如，当我运行函数时：

jmcmurray@homer ~/deploy/TorQ (master) $ q torq.q -procname loader -proctype loader -debug
<torq startup messages removed>
q).loader.loadallfiles[`headers`types`separator`tablename`dbdir`partitioncol`dataprocessfunc!(c;"TSSFJFFJJBS";enlist",";`quotes;`:testdb;`date;{[p;t] select date:.z.d,time:TIME,sym:INSTRUMENT,BID,ASK from t});`:csvtest]
2017.11.17D15:03:20.312336000|homer.aquaq.co.uk|loader|loader|INF|dataloader|**** LOADING :csvtest/tradesandquotes20140421.csv ****
2017.11.17D15:03:20.319110000|homer.aquaq.co.uk|loader|loader|INF|dataloader|reading in data chunk
2017.11.17D15:03:20.339414000|homer.aquaq.co.uk|loader|loader|INF|dataloader|Read 11000 rows
2017.11.17D15:03:20.339463000|homer.aquaq.co.uk|loader|loader|INF|dataloader|processing data
2017.11.17D15:03:20.339519000|homer.aquaq.co.uk|loader|loader|INF|dataloader|Enumerating
2017.11.17D15:03:20.340061000|homer.aquaq.co.uk|loader|loader|INF|dataloader|writing 11000 rows to :testdb/2017.11.17/quotes/
2017.11.17D15:03:20.341669000|homer.aquaq.co.uk|loader|loader|INF|dataloader|**** LOADING :csvtest/tradesandquotes20140422.csv ****
2017.11.17D15:03:20.349606000|homer.aquaq.co.uk|loader|loader|INF|dataloader|reading in data chunk
2017.11.17D15:03:20.370793000|homer.aquaq.co.uk|loader|loader|INF|dataloader|Read 11000 rows
2017.11.17D15:03:20.370858000|homer.aquaq.co.uk|loader|loader|INF|dataloader|processing data
2017.11.17D15:03:20.370911000|homer.aquaq.co.uk|loader|loader|INF|dataloader|Enumerating
2017.11.17D15:03:20.371441000|homer.aquaq.co.uk|loader|loader|INF|dataloader|writing 11000 rows to :testdb/2017.11.17/quotes/
2017.11.17D15:03:20.460118000|homer.aquaq.co.uk|loader|loader|INF|init|retrieving sort settings from :/home/jmcmurray/deploy/TorQ/config/sort.csv
2017.11.17D15:03:20.466690000|homer.aquaq.co.uk|loader|loader|INF|sort|sorting the quotes table
2017.11.17D15:03:20.466763000|homer.aquaq.co.uk|loader|loader|INF|sorttab|No sort parameters have been specified for : quotes. Using default parameters
2017.11.17D15:03:20.466820000|homer.aquaq.co.uk|loader|loader|INF|sortfunction|sorting :testdb/2017.11.17/quotes/ by these columns : sym, time
2017.11.17D15:03:20.527216000|homer.aquaq.co.uk|loader|loader|INF|applyattr|applying p attr to the sym column in :testdb/2017.11.17/quotes/
2017.11.17D15:03:20.535095000|homer.aquaq.co.uk|loader|loader|INF|sort|finished sorting the quotes table

毕竟，我可以运行\l testdb并且有一个名为＆＃34;引用＆＃34;的表格。包含我加载的数据

如果您可以发布这样的日志消息，那么查看正在发生的事情可能会有所帮助。

<强>更新

＆＃34;但现在我看到，如果我在同一个文件上多次调用该函数，它只会附加重复数据而不是插入它。＆＃34;

如果我正确理解问题，听起来您可能不应该在同一个文件上多次调用该函数。 TorQ中的另一个过程在这里很有用，＆＃34; file alerter＆＃34;。此过程将监视新目录和新目录。更新的文件，并可以在任何出现的函数上调用一个函数（这样你就可以让它自动调用每个新文件的加载器函数）。它有许多选项，例如处理后移动文件（因此您可以＆＃34;存档＆＃34;加载的CSV）

请注意，文件警报器要求函数只使用两个参数 - 目录＆amp;文件名。这实际上意味着你需要一个＆＃34;包装＆＃34;围绕装载机功能的功能，它带有一个字典和一个字典。一个目录。我不认为TorQ包含一个类似.loader.loadallfiles的函数用于单个文件，因此可能需要将目标文件复制到临时目录，在该目录上运行loadallfiles然后从那里删除该文件加载下一个。

splayed table upsert导致错误：`cast

2 个答案: