程序師世界是廣大編程愛好者互助、分享、學習的平台,程序師世界有你更精彩!
首頁
編程語言
C語言|JAVA編程
Python編程
網頁編程
ASP編程|PHP編程
JSP編程
數據庫知識
MYSQL數據庫|SqlServer數據庫
Oracle數據庫|DB2數據庫
您现在的位置: 程式師世界 >> 編程語言 >  >> 更多編程語言 >> Python

pyspark代碼運行報錯,如何解決?(語言-python)

編輯:Python
問題遇到的現象和發生背景

操作系統:Ubuntu 20.04
Spark版本:3.2.1
Hadoop 版本:3.3.1
Python 版本:3.8.10
Java 版本:1.8.202

問題相關代碼,請勿粘貼截圖

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("WordCount").setMaster("local")
sc = SparkContext(conf=conf)
inputFile = "hdfs://localhost:9000/user/way/word.txt"
textFile = sc.textFile(inputFile)
wordCount = textFile.flatMap(lambda line : line.split(" ")).map(lambda word : (word, 1)).reduceByKey(lambda a, b : a + b)
wordCount.foreach(print)

Spark 中運行結果及報錯內容

pycharm中運行結果及報錯內容

Process finished with exit code 1

我的解答思路和嘗試過的方法

我以為是py4j文件目錄有問題,後來發現不是;後來看pycharm報錯是導入包文件的問題可能是版本兼容性問題

我想要達到的結果

正常運行代碼


  1. 上一篇文章:
  2. 下一篇文章:
Copyright © 程式師世界 All Rights Reserved