猪和蜂巢脚本性能分析教程

时间:2013-09-13 08:23:34

标签: performance hadoop hive apache-pig

我正在寻找关于进行猪拉丁文脚本和hive脚本的性能分析和改进的好教程。

2 个答案:

答案 0 :(得分:0)

我不知道任何这样的教程。在我看来,唯一的良好方式就是自己保护数据和案例。

话虽如此,您可以使用 TPC-H 之类的内容来对您的查询进行基准测试,并根据您可以改进和优化Pig和Hive查询的结果,以防您找到一些性能瓶颈。这也将帮助您弄清楚Pig和Hive不擅长什么。此外,您可以比较这两种工具,以防您对特定任务的哪一个感到困惑。

您可以访问以下指定的链接找到更多相关信息:

  • 在猪身上运行TPC-H基准Ticket
  • 在猪身上运行TPC-H基准Ticket

如果您需要所有详细信息,可以访问PigHive 上运行TPC-H的原始论文。这些论文包含大量信息,您肯定会在此过程中发现它们很有用。

HTH

答案 1 :(得分:0)

我不确定这是不是你想要的,但是大数据大学有一些关于Hive和Pig的非常好的教程。试一试。您将需要IBM QuickStart VM。它是一个巨大的下载,但它是免费的,非常好。

链接: http://www-01.ibm.com/software/data/infosphere/biginsights/quick-start/

VM的教程也很好,但我认为BigDataUni的教程更好。

如果重要,我在两个网站上注册并且没有收到任何垃圾邮件或任何东西。