我正在开发一个简单的Spring MVC应用程序,用于从流API中下载推文并将其显示在网页中。该应用程序的用户可以使用他们想要下载的推文的关键字提交Task
。这些任务是共享的,因此每个人都可以启动,停止,修改,更改或取消任务。
TwitterFetcher
是负责下载推文的类。该类接收一个Task并持久保存在数据库中下载的所有推文。
@Service
public class TwitterFetcher {
@Autowired
private OAuthService oAuthService;
@Autowired
private TweetService tweetService;
private Task task;
private TwitterStream twitterStream;
public void start(Task task) {
/* Stop previous stream */
stop();
/* Get OAuth credentials */
OAuth oAuth = oAuthService.findOneEnabled();
if (oAuth == null) {
} else {
this.task = task;
Configuration oAuthConfiguration = getOAuthConfiguration(oAuth);
twitterStream = new TwitterStreamFactory(oAuthConfiguration).getInstance();
twitterStream.addListener(new TwitterListener());
String keywords = task.getBaseKeywords() + ", " + task.getExpandedKeywords();
FilterQuery filterQuery = new FilterQuery();
filterQuery.track(keywords.split(", "));
twitterStream.filter(filterQuery);
}
}
public void stop() {
if (twitterStream != null) {
twitterStream.shutdown();
}
}
private Configuration getOAuthConfiguration(OAuth oAuth) {
ConfigurationBuilder cb = new ConfigurationBuilder();
cb.setDebugEnabled(false);
cb.setJSONStoreEnabled(true);
cb.setOAuthAccessToken(oAuth.getAccessToken());
cb.setOAuthAccessTokenSecret(oAuth.getAccessTokenSecret());
cb.setOAuthConsumerKey(oAuth.getConsumerKey());
cb.setOAuthConsumerSecret(oAuth.getConsumerSecret());
return cb.build();
}
private class TwitterListener implements StatusListener {
@Override
public void onStatus(Status status) {
/* Persist new tweet */
Tweet tweet = new Tweet();
tweet.setJson(DataObjectFactory.getRawJSON(status));
tweetService.save(tweet);
}
[Omitted code]
}
}
基本功能将是下一个功能:
该应用程序有一个控制采集器和任务的仪表板,用户必须能够在下载提取器时与其进行交互。
我的问题是,抓取器会阻止应用程序还是会在不同的线程中执行?在最坏的情况下,我必须改变以解决这个问题?我还远离一个可用的应用程序,所以我无法测试它。即便如此,如果可能,我现在想要解决它。
答案 0 :(得分:0)
您可以使用ExecutorService在单独的线程中运行fetcher。我建议使用ThreadPool,这样如果运行fetcher的用户太多,你就不会打击性能:
ExecutorService executor = Executors.newFixedThreadPool(maxThreads)
当通过执行程序提交任务时,它将返回Future
对象,您可以从中检查作业是否完成
Future f = executor.submit(myTask);
boolean isDone = f.isDone();
如果您不熟悉,请阅读有关Java并发的更多信息:http://docs.oracle.com/javase/tutorial/essential/concurrency/index.html
答案 1 :(得分:0)