从SQLite数据库中检索和绘制有序的2D热图数据
本周大部分时间我一直在努力解决这个问题，我认为我可能最适合在这里寻求帮助。我有一个存储在SQLite数据库中的2D数组数据，我想要获取和可视化。虽然我不知道如何处理，但是我需要如何获取和绘制数据有很多限制。
所以，我有一个数据库，其中的表包含如下内容：
| ID | SourceID | TargetID | Parameter | Values |
| 1 | 21 | 34 | 23.46513 | 0.12654 |
| 2 | 21 | 34 | 23.46513 | 0.25478 |
| 3 | 21 | 46 | 23.46513 | 0.43564 |
| 4 | 21 | 46 | 23.46513 | 1.02487 |
| 5 | 34 | 21 | 14.56319 | 0.01476 |
| 6 | 34 | 21 | 14.56319 | 0.87265 |
| 7 | 34 | 46 | 14.56319 | 0.46478 |
| 8 | 34 | 46 | 14.56319 | 0.13665 |
| 9 | 46 | 21 | 7.99581 | 0.04189 |
| 10 | 46 | 21 | 7.99581 | 0.91754 |
| 11 | 46 | 34 | 7.99581 | 0.73688 |
| 12 | 46 | 34 | 7.99581 | 0.24299 |
此数据集的一些功能需要注意：
-
ID是关键，是唯一的 -
SourceID和TargetID值来自同一组。在这种情况下，它们都包含{21,34,46}。SourceID列构成热图的x轴数据，TargetID列构成y轴数据。 -
Values列包含必须在热图中绘制的数据。 -
Parameter列是我需要用来对数据进行排序的列，因为我需要创建一个有序的热图。在这种情况下，Parameter基于与每个SourceID和TargetID相关联的值。
下表显示了每个SourceId / TargetId与Parameter值的关联：
| SourceID/TargetID | Parameter |
| 46 | 7.99581 |
| 34 | 14.56319 |
| 21 | 23.46513 |
根据我提出的另一个question，我知道我可以根据SourceId的最小值将此表格缩减为（TargetId，Values）的唯一组合使用SQL查询，如：
SELECT SourceID, TargetID, min(Values)
FROM dataset
GROUP BY SourceID, TargetID;
这会产生以下缩小表：
| ID | SourceID | TargetID | SourceSort | Values |
| 1 | 21 | 34 | 23.46513 | 0.12654 |
| 3 | 21 | 46 | 23.46513 | 0.43564 |
| 5 | 34 | 21 | 14.56319 | 0.01476 |
| 8 | 34 | 46 | 14.56319 | 0.13665 |
| 9 | 46 | 21 | 7.99581 | 0.04189 |
| 12 | 46 | 34 | 7.99581 | 0.24299 |
我挣扎的是我现在需要根据Parameter中的值来订购此表。如果我将ORDER BY Parameter添加到SQL查询中，它会成功排序SourceID列，但TargetID列不会根据此列对具有相同{{1}的行进行排序}}。简而言之，我想获得下表：
SourceID此排序的基础示例：首先使用| ID | SourceID | TargetID | Values |
| 12 | 46 | 34 | 0.24299 |
| 9 | 46 | 21 | 0.04189 |
| 8 | 34 | 46 | 0.13665 |
| 5 | 34 | 21 | 0.01476 |
| 3 | 21 | 46 | 0.43564 |
| 1 | 21 | 34 | 0.12654 |
值基于SourceID排序对表进行排序。随后，对于Parameter值相等的行，TargetID基于Parameter排序进行排序，例如，第1行（SourceID）在第2行之前排序（{{ 1}}）因为ID=8应该根据相关的ID=5值在TargetID = 46之前进行排序。
最后，通过此表，我需要构建一个热图：
TargetID = 21为实现这一目标，我使用Parameter (TargetID ordered by `Parameter ASC`)
^
|
|
----------------------------------
21 | 0.04189 | 0.01476 | 0 |
----------------------------------
34 | 0.24299 | 0 | 0.12654 |
----------------------------------
46 | 0 | 0.13665 | 0.43564 |
----------------------------------
| 46 | 34 | 21 --> (SourceID ordered by `Parameter ASC`)
库，并使用Python函数执行SQL查询。我发现我可以使用Pandas read_sql()函数来绘制热图。我想使用色彩图在2D数组中绘制值，并且我希望数据集的排序与上面完全相同。最后，我想将matplotlib和pcolor()值绘制为刻度标签。
这似乎应该是可行的，但到目前为止，我只能根据SourceID生成没有排序的热图。我不知道我是否最适合直接在SQL语句中解决排序位，或者我是否应该获取数据然后对{{1}返回的TargetID进行排序}}
无论如何，我非常感谢输入！如果有任何不清楚的地方，请告诉我，我会尝试澄清。
谢谢！
2 个答案:
答案 0 :(得分：0)
您的sqlite表格格式不正确，因为参数值仅反映 参数与SourceID的关联，但不是TargetID。
最好有两张桌子：
<强> ID_PARAM ：
id parameter
21 23.46513
34 14.56319
46 7.99581
数据集 - 请注意，此处没有参数列：
ID SourceID TargetID Values
1 21 34 0.12654
2 21 34 0.25478
3 21 46 0.43564
4 21 46 1.02487
5 34 21 0.01476
6 34 21 0.87265
7 34 46 0.46478
8 34 46 0.13665
9 46 21 0.04189
10 46 21 0.91754
11 46 34 0.73688
12 46 34 0.24299
然后您可以使用JOIN在两者之间形成所需的关联 SourceID /参数和TargetID /参数：
SELECT d.SourceID, d.TargetID, min(d.`Values`) as min_value
FROM dataset d
JOIN id_param as ip1
ON d.SourceID = ip1.id
JOIN id_param as ip2
ON d.TargetID = ip2.id
GROUP BY SourceID, TargetID
ORDER BY ip1.parameter ASC, ip2.parameter ASC
例如，
import io
import sqlite3
import pandas as pd
import matplotlib.pyplot as plt
text = '''\
| ID | SourceID | TargetID | Parameter | Values |
| 1 | 21 | 34 | 23.46513 | 0.12654 |
| 2 | 21 | 34 | 23.46513 | 0.25478 |
| 3 | 21 | 46 | 23.46513 | 0.43564 |
| 4 | 21 | 46 | 23.46513 | 1.02487 |
| 5 | 34 | 21 | 14.56319 | 0.01476 |
| 6 | 34 | 21 | 14.56319 | 0.87265 |
| 7 | 34 | 46 | 14.56319 | 0.46478 |
| 8 | 34 | 46 | 14.56319 | 0.13665 |
| 9 | 46 | 21 | 7.99581 | 0.04189 |
| 10 | 46 | 21 | 7.99581 | 0.91754 |
| 11 | 46 | 34 | 7.99581 | 0.73688 |
| 12 | 46 | 34 | 7.99581 | 0.24299 |'''
def make_table(filename):
# make sqlite table
with sqlite3.connect(filename) as con:
df = pd.read_table(io.BytesIO(text), sep=r'\s*[|]\s*').iloc[:, 1:-1]
df.to_sql('dataset', con=con, if_exists='replace')
filename = '/tmp/data.sqlite'
make_table(filename)
with sqlite3.connect(filename) as con:
con.execute('DROP TABLE id_param')
sql = '''CREATE TABLE id_param
(id INTEGER PRIMARY KEY, parameter INTEGER)'''
con.execute(sql)
sql = '''INSERT INTO id_param
SELECT SourceID, Parameter
FROM dataset
GROUP BY SourceID'''
con.execute(sql)
sql = '''
SELECT d.SourceID, d.TargetID, min(d.`Values`) as min_value
FROM dataset d
JOIN id_param as ip1
ON d.SourceID = ip1.id
JOIN id_param as ip2
ON d.TargetID = ip2.id
GROUP BY SourceID, TargetID
ORDER BY ip1.parameter ASC, ip2.parameter ASC
'''
df = pd.read_sql(sql, con)
print(df)
产量
SourceID TargetID min_value
0 46 34 0.24299
1 46 21 0.04189
2 34 46 0.13665
3 34 21 0.01476
4 21 46 0.43564
5 21 34 0.12654
答案 1 :(得分：0)
将sqlite表转换为Matplotlib pcolor格式的最简单方法（我看）需要绘制热图是使用Pandas DataFrame的pivot方法。由于此pivot将对列和行重新排序，因此无需对SQL查询生成的顺序进行大惊小怪。相反，更容易在Pandas中修复订单：
import io
import sqlite3
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
text = '''\
| ID | SourceID | TargetID | Parameter | Values |
| 1 | 21 | 34 | 23.46513 | 0.12654 |
| 2 | 21 | 34 | 23.46513 | 0.25478 |
| 3 | 21 | 46 | 23.46513 | 0.43564 |
| 4 | 21 | 46 | 23.46513 | 1.02487 |
| 5 | 34 | 21 | 14.56319 | 0.01476 |
| 6 | 34 | 21 | 14.56319 | 0.87265 |
| 7 | 34 | 46 | 14.56319 | 0.46478 |
| 8 | 34 | 46 | 14.56319 | 0.13665 |
| 9 | 46 | 21 | 7.99581 | 0.04189 |
| 10 | 46 | 21 | 7.99581 | 0.91754 |
| 11 | 46 | 34 | 7.99581 | 0.73688 |
| 12 | 46 | 34 | 7.99581 | 0.24299 |'''
def make_table(filename):
# make sqlite table
with sqlite3.connect(filename) as con:
df = pd.read_table(io.BytesIO(text), sep=r'\s*[|]\s*').iloc[:, 1:-1]
df.to_sql('dataset', con=con, if_exists='replace')
filename = '/tmp/data.sqlite'
make_table(filename)
with sqlite3.connect(filename) as con:
sql = '''
SELECT SourceID, TargetID, min(`Values`) as min_value
FROM dataset
GROUP BY SourceID, TargetID
'''
df = pd.read_sql(sql, con)
table = df.pivot(index='SourceID', columns='TargetID', values='min_value')
sql = 'SELECT DISTINCT SourceID FROM dataset ORDER BY Parameter ASC'
order = pd.read_sql(sql, con)['SourceID']
table = table.reindex(index=order, columns=order)
fig, ax = plt.subplots()
ax.pcolor(table.values, cmap=plt.get_cmap('jet'),
vmin=df['min_value'].min(), vmax=df['min_value'].max())
ax.set_xticks(np.arange(table.shape[1] + 1)+0.5, minor=False)
ax.set_xticklabels(table.columns, minor=False)
ax.set_yticks(np.arange(table.shape[0] + 1)+0.5, minor=False)
ax.set_yticklabels(table.index, minor=False)
ax.set_xlim(0, table.shape[1])
ax.set_ylim(0, table.shape[0])
plt.show()
产量
- 我写了这段代码，但我无法理解我的错误
- 我无法从一个代码实例的列表中删除 None 值，但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场？
- 是否有可能使 loadstring 不可能等于打印？卢阿
- java中的random.expovariate()
- Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
- 为什么我的 Onclick 箭头功能在 React 中不起作用？
- 在此代码中是否有使用“this”的替代方法？
- 在 SQL Server 和 PostgreSQL 上查询，我如何从第一个表获得第二个表的可视化
- 每千个数字得到
- 更新了城市边界 KML 文件的来源？