我正在查询我的所有10个表以从中获取用户ID并将所有用户ID加载到HashSet中,以便我可以拥有唯一的用户ID。
截至目前,它是顺序的。我们转到一个表并从中提取所有user_id并将其加载到哈希集中,然后加载到第二个和第三个表中并继续运行。
private Set<String> getRandomUsers() {
Set<String> userList = new HashSet<String>();
// is there any way to make this parallel?
for (int table = 0; table < 10; table++) {
String sql = "select * from testkeyspace.test_table_" + table + ";";
try {
SimpleStatement query = new SimpleStatement(sql);
query.setConsistencyLevel(ConsistencyLevel.QUORUM);
ResultSet res = session.execute(query);
Iterator<Row> rows = res.iterator();
while (rows.hasNext()) {
Row r = rows.next();
String user_id = r.getString("user_id");
userList.add(user_id);
}
} catch (Exception e) {
System.out.println("error= " + ExceptionUtils.getStackTrace(e));
}
}
return userList;
}
有没有办法制作这个多线程,以便每个表都可以并行获取我表中的数据?最后,我需要userList
hashset,它应具有来自所有10个表的所有唯一用户ID。
我正在使用Cassandra数据库并且只进行一次连接,因此我不需要创建多个连接。
答案 0 :(得分:2)
如果您能够使用Java 8,则可以使用parallelStream
对表的列表执行此操作,并使用lambda将表名扩展为每个唯一ID的相应列表表,然后将结果连接成一个哈希。
如果没有Java 8,我会使用Google Guava的可听取的期货和执行服务:
public static Set<String> fetchFromTable(int table) {
String sql = "select * from testkeyspace.test_table_" + table + ";";
Set<String> result = new HashSet<String>();
// populate result with your SQL statements
// ...
return result;
}
public static Set<String> fetchFromAllTables() throws InterruptedException, ExecutionException {
// Create a ListeningExecutorService (Guava) by wrapping a
// normal ExecutorService (Java)
ListeningExecutorService executor =
MoreExecutors.listeningDecorator(Executors.newCachedThreadPool());
List<ListenableFuture<Set<String>>> list =
new ArrayList<ListenableFuture<Set<String>>>();
// For each table, create an independent thread that will
// query just that table and return a set of user IDs from it
for (int i = 0; i < 10; i++) {
final int table = i;
ListenableFuture<Set<String>> future = executor.submit(new Callable<Set<String>>() {
public Set<String> call() throws Exception {
return fetchFromTable(table);
}
});
// Add the future to the list
list.add(future);
}
// We want to know when ALL the threads have completed,
// so we use a Guava function to turn a list of ListenableFutures
// into a single ListenableFuture
ListenableFuture<List<Set<String>>> combinedFutures = Futures.allAsList(list);
// The get on the combined ListenableFuture will now block until
// ALL the individual threads have completed work.
List<Set<String>> tableSets = combinedFutures.get();
// Now all we have to do is combine the individual sets into a
// single result
Set<String> userList = new HashSet<String>();
for (Set<String> tableSet: tableSets) {
userList.addAll(tableSet);
}
return userList;
}
Executors和Futures的使用都是核心Java。 Guava唯一能做的就是让我把Futures变成ListenableFutures。有关后者为何更好的讨论,请参见here。
可能仍有办法改善此方法的并行性,但如果大部分时间花在等待数据库响应或处理网络流量上,那么这种方法可能有所帮助。
答案 1 :(得分:0)
您可能能够使其成为多线程但由于线程创建和多个连接的开销,您可能不会有显着的好处。相反,在mysql中使用UNION语句并立即获取它们。让数据库引擎弄清楚如何有效地获取它们:
String sql = "select user_id from testkeyspace.test_table_1 UNION select user_id from testkeyspace.test_table_2 UNION select user_id from testkeyspace.test_table_3 ...."
当然,您必须以编程方式创建sql查询字符串。实际上不要在查询中加上“....”。