我正在使用c#中的Deedle,与系列中的相同操作相比,在一个窗口中浏览窗口非常慢。例如,对于尺寸相似的系列和框架,我看到的是60ms vs 3500ms(系列与框架)。
以前有人看过吗?
var msftRaw = Frame.ReadCsv(@"C:\Users\olivi\source\repos\ConsoleApp\MSFT.csv");
var msft = msftRaw.IndexRows<DateTime>("Date").SortRowsByKey();
var rollingFrame = msft.Window(60); // 7700 ms
var openSeries = msft.GetColumn<double>("Open");
var rollingSeries = openSeries.Window(60); // 14 ms
var oneSeriesFrame = Frame.FromColumns(new Dictionary<string, Series<DateTime, double>> { { "Open", openSeries } });
var rollingFakeFrame = oneSeriesFrame.Window(60); // 3300mm
在处理金融时间序列数据时,这是非常常见的操作,例如,计算价格之间的滚动相关性,或者在另一个价格时间序列存在条件时计算滚动实现的波动性。
答案 0 :(得分:0)
我发现了一种解决性能问题的方法:分别对每个系列执行滚动操作,将滚动系列加入框架中,以便它们按日期对齐,并在框架上写入处理功能,然后在框架中选择每个系列处理功能。
从上面的示例继续:
private static double CalculateRealizedCorrelation(ObjectSeries<string> objectSeries)
{
var openSeries = objectSeries.GetAs<Series<DateTime, double>>("Open");
var closeSeries = objectSeries.GetAs<Series<DateTime, double>>("Close");
return MathNet.Numerics.Statistics.Correlation.Pearson(openSeries.Values, closeSeries.Values);
}
var rollingAgg = new Dictionary<string, Series<DateTime, Series<DateTime, double>>>();
foreach (var column in msft.ColumnKeys)
{
rollingAgg[column] = msft.GetColumn<double>(column);
}
var rollingDf = Frame.FromColumns(rollingAgg);
var rolingCorr = rollingDf.Rows.Select(kvp => CalculateRealizedCorrelation(kvp.Value));