集群環境是centos6.2,2master,4slave。
在集群上跑example.jar測試通過,管理頁面顯示所有節點正常。jps顯示正常。
但在win7下建立用eclipse安裝csdn下載的插件顯示update錯誤,不過可以連接上hadoop集群,正常顯示hdfs。
使用example裡面的wordcount.java,照博客 http://www.cnblogs.com/huligong1234/p/4137133.html 的方法運行後顯示可以連接上master但不能連接slave:
WARN - Failed to connect to /192.168.11.94:50010 for block, add to deadNodes and continue. java.net.ConnectException: Connection timed out: no further information
java.net.ConnectException: Connection timed out: no further information
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)。。。
4個slave都顯示通信超時。不知道有人知道是怎麼回事嗎??
我在任務管理頁面master:8088下查看發現沒有任務提交的記錄,最後發現任務是跑在本地的,那樣當然就報錯了。
我在程序裡增加conf.set("mapreduce.framework.name", "yarn");
conf.set("yarn.resourcemanager.address", "master2:8032");
管理頁面顯示有程序運行了,通信錯誤也沒了。這個錯誤竟然是因為win7下用eclipse跑MR程序跑在了本地
只不過。。報了新的錯誤。。