jupyter notebook中运行pyspark代码

前提是windows下安装pyspark

设置连接

用jupyter notebook编写pyspark代码

登录后复制

from pyspark.sql import SparkSession

# 环境配置

spark = SparkSession.builder.master("local").appName("test").enableHiveSupport().getOrCreate()

sc = spark.sparkContext

# 测试是否成功

rdd = sc.parallelize([("hello", 1)])

rdd.collect()

声明：本站部分作品是由网友自主投稿和发布、编辑整理上传，对此类作品本站仅提供交流平台，转载的目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，不为其版权负责。如果您发现网站上有侵犯您的知识产权的作品，请与我们取得联系，我们会及时修改或删除。

上一篇：DevOps 指标中的常见错误
下一篇：没有了