Windows7下安装pyspark

Windows7下安装pyspark

安装需要如下东西：

java

​​jdk-8u181-windows-x64.exe​​

spark

​​spark-2.1.3-bin-hadoop2.7​​

hadoop(版本要与spark的一致，这里都是hadoop2.7)

​​hadoop-2.7.7​​

Anaconda(这个是为了预防python出现api-ms-win-crt-runtime-l1-1-0.dll错误，且安装了vc_redist.2015.exe还无法解决时需要安装)

​​Anaconda3-2.4.1-Windows-x86_64.exe​​

python

​​python-3.5.4-amd64.exe​​

pycharm

​​pycharm-community-2016.1.4.exe​​

安装JDK

千万不要用默认路径Program Files，这个有空格后面会很坑！新建路径在C:\Java，Java安装在这里！

新建环境变量名：JAVA_HOME，变量值：C:\Java\jdk1.8.0_11打开PATH，添加变量值：%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin新建环境变量名：CLASSPATH，变量值：.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

在 ​​cmd​​​ 中输入 ​​java​​ 出现如下信息就算安装成功了

安装spark

在C盘新建​​Spark​​目录，将其解压到这个路径下

新建环境变量名：SPARK_HOME，变量值：C:\Spark打开PATH，添加变量值：%SPARK_HOME%\bin

安装hadoop

在C盘新建​​Hadoop​​目录，将其解压到这个路径下

新建环境变量名：HADOOP_HOME，变量值：C:\Hadoop打开PATH，添加变量值：%HADOOP_HOME%\bin

去网站-Hadoop在Windows下的支持winutils

​​​​hadoop2.7​​​，所以选择​​2.7​​​的​​bin​​​-下来，将其覆盖到 ​​C:\Hadoop\bin​​

修改C:\Hadoop\etc\hadoop下的hadoop-env.cmd为set JAVA_HOME=C:\Java\jdk1.8.0_11

在 ​​cmd​​​ 中输入 ​​hadoop​​ 出现如下信息就算安装成功了

安装python

安装路径为 ​​C:\Python35​​

在C盘或者代码盘新建\tmp\hive路径，输入命令

winutils.exe chmod -R 777 C:\tmp\hive

验证pyspark

cmd输入pyspark得到如下画面

配置pycharm

在如下路径添加环境变量

JAVA_HOMESPARK_HOMEHADOOP_HOME

Run->Edit Configurations->Environment variables

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。