Question

我已经设置了单节点Hadoop 1.2.1群集并尝试运行此脚本：

pydoop script transpose.py matrix.txt t_matrix

脚本不返回任何内容，作业处于挂起状态。

问题是，在运行脚本后，作业处于挂起状态超过10分钟。为什么Job没有正常运行？

这是运行时生成的输出：

Traceback (most recent call last): File "/home/hduser/hadoop/tmp/mapred/local   
/taskTracker/distcache/-2030848362897089950_-2130723868_1886929692/localhost 
/user/hduser /pydoop_script_91c491cf7e6b42f6bcbeda09edae9385  
/exe90d967507f86405a9606c35582b2fc43", line 10, in import pydoop.pipes File"/usr/local 
/lib/python2.7/dist-packages/pydoop/pipes.py", line 29, in pp =    
pydoop.import_version_specific_module('_pipes') File "/usr/local/lib/python2.7/dist-  
packages/pydoop/__init__.py", line 107, in import_version_specific_module return  
import_module(complete_mod_name(name)) File "/usr/lib/python2.7/importli/__init__.py",  
line 37, in import_module __import__(name) ImportError: /usr/local/lib/python2.7/dist- 
packages/pydoop/_pipes_1_2_1.so: undefined symbol: BIO_s_mem

Answer 1

您缺少一个必需的SSL库您需要在您的环境中查找并链接“libssl.so.1.0.0” 在运行pydoop脚本之前尝试执行以下命令：

export LD_PRELOAD=PATH_TO/libssl.so.1.0.0

例如：

export LD_PRELOAD=/lib/x86_64-linux-gnu/libssl.so.1.0.0

Pydoop工作没有运行

1 个答案: