目录
- 1.配置jdk
- 2.配置spark
- 3.配置hadoop
- 三.pycharm配置spark
一.配置版本
java jdk 1.8.0_111
python 3.9.6
spark 3.1.2
hadoop 3.2.2
二.配置环境
1.配置jdk
从官网下载相应jdk的版本安装，并进行环境变量的配置
（1）在系统变量新建java_home，根据你安装的位置填写变量值
（2）新建classpath
变量值：.;%java_home%\lib\dt.jar;%java_home%\lib\tools.jar；（注意前面所需的符号）
（3）点击path
在其中进行新建：%java_home%\bin
（4）配置好后进行确定
（5）验证，打开cmd，输入java -version和javac进行验证
此上说明jdk环境变量配置成功
2.配置spark
（1）下载安装：
spark官网：
（2）解压，配置环境
（3）点击path，进行新建：%spark_home%\bin，并确认
（4）验证，cmd中输入pyspark
这里提醒我们要安装hadoop
3.配置hadoop
（1）下载：
hadoop官网：hadoop 3.2.2下载地址
（2）解压，配置环境
注意：解压文件后，bin文件夹中可能没有以下两个文件：
下载地址：
配置环境变量classpath:%hadoop_home%\bin\winutils.exe
（3）点击path，进行新建：%hadoop_home%\bin，并确认
（4）验证，cmd中输入pyspark
由上可以看出spark能运行成功，但是会出现如下警告：
warn procfsmetricsgetter: exception when trying to compute pagesize, as a result reporting of processtree metrics is stopped
这里因为spark为3.x版本有相关改动，使用spar2.4.6版本不会出现这样的问题。
不改版本解决方式（因是警告，未尝试）：
方式一：
方式二：
三.pycharm配置spark
（1）run–>edit configurations
（2）对environment variables进行配置
（3）file–>settings–>project structure–>add content root
找到spark-3.1.2-bin-hadoop3.2\python\lib下两个包进行添加
选择结果：
（4）测试
# 添加此代码，进行spark初始化
import findspark
findspark.init()
from datetime import datetime, date
from pyspark.sql import sparksession
spark = sparksession.builder.getorcreate()
rdd = spark.sparkcontext.parallelize([
(1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),
(2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),
(3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))
])
df = spark.createdataframe(rdd, schema=['a', 'b', 'c', 'd', 'e'])
df.show()
运行结果：
四.使用anconda中python环境配置spark
1.创建虚拟环境
conda create -n pyspark_env python==3.9.6
查看环境：
conda env list
运行结果：
2.安装pyspark
切换到pyspark_env并进行安装pyspark
pip install pyspark
3.环境配置
运行上面的实例，会出现以下错误：
这说明我们需要配置py4j，spark_home
spark_home：
pythonpath设置：
hadoop_home设置：
path中设置：
4.运行
# 添加此代码，进行spark初始化
import findspark
findspark.init()
from datetime import datetime, date
from pyspark.sql import sparksession
spark = sparksession.builder.getorcreate()
rdd = spark.sparkcontext.parallelize([
(1, 2., 'string1', date(2000, 1, 1), datetime(2000, 1, 1, 12, 0)),
(2, 3., 'string2', date(2000, 2, 1), datetime(2000, 1, 2, 12, 0)),
(3, 4., 'string3', date(2000, 3, 1), datetime(2000, 1, 3, 12, 0))
])
df = spark.createdataframe(rdd, schema=['a', 'b', 'c', 'd', 'e'])
df.show()
运行结果同上
到此这篇关于python安装spark的文章就介绍到这了,更多相关python安装spark内容请搜索www.887551.com以前的文章或继续浏览下面的相关文章希望大家以后多多支持www.887551.com！
