我正在尝试对一个国家的州一级房地产领域普遍存在的在线趋势进行竞争分析。我必须创建一份不偏向任何特定公司的报告，但它会比较或只是显示这些公司在一系列趋势中的表现。我将使用Clickstream analysis的参数来显示公司网站的执行情况统计信息。在我看来，Sentiment Analysis可以描述趋势特定的表现。如果有其他方式以有效的方式做到这一点，我期待任何这样的方法。
现在，我无法找到任何共同的趋势。
我尝试使用Google Trends。它们提供有关特定搜索词的图形和人口统计信息，并列出搜索的相关术语，我无法如何使用。当我从一个国家深入到另一个州时，数据量非常少。
一旦了解了趋势，我就会发现人们对这些趋势的反应。 Sentiment Analysis将为我提供此信息。
Twitter和其他社交媒体网站可以提供一些可以执行情绪分析的数据。我使用了this网站，它提供了与推特上某些术语相关的积极，消极和中立的行为。我需要类似于此的东西，但可以执行此分析的数据集不应仅限于社交媒体。
该报告将按月生成。我希望在上述任务中实现最大程度的自动化。我正在考虑使用网页抓取来刮取类似格式的数据。我还想知道我应该抓取哪些数据以及我应该手动提取哪些数据。