当前位置: 亚洲城ca88 > 亚洲城 > 正文

单机安装配置,0配备与支出条件搭建

时间:2019-08-24 08:11来源:亚洲城
Apache 斯Parker1.1.0布局与费用意况搭建 斯Parker是Apache企业生产的一种基于Hadoop Distributed FileSystem(HDFS)的并行计算架构。与MapReduce不一样,斯Parker并不囿于于编写map和reduce三个法子,其提供

Apache 斯Parker1.1.0布局与费用意况搭建

斯Parker是Apache企业生产的一种基于Hadoop Distributed File System(HDFS)的并行计算架构。与MapReduce不一样,斯Parker并不囿于于编写map和reduce三个法子,其提供了越来越强劲的内部存款和储蓄器总括(in-memory computing)模型,使得客户能够透过编制程序将数据读取到集群的内部存款和储蓄器个中,何况能够低价顾客赶快地重复查询,极其适合用于落实机器学习算法。本文将介绍Apache 斯Parker1.1.0配置与付出条件搭建。

越来越多斯Parker相关学科见以下内容:

CentOS 7.0下安装并配置Spark 

Spark1.0.0布局指南

CentOS 6.2(陆拾陆个人)下安装Spark0.8.0详尽记录

斯Parker简单介绍及其在Ubuntu下的装置使用

安装Spark集群(在CentOS上)

Hadoop vs 斯Parker质量相比较

斯Parker安装与上学

斯Parker 并行总括模型

  1. 准备

  出于学习指标,本文将斯Parker安插在设想机中,设想机采取VMware WorkStation。在虚构机中,必要设置以下软件:

  • Ubuntu 14.04.1 LTS 64个人桌面版
  • hadoop-2.4.0.tar.gz
  • jdk-7u67-linux-x64.tar.gz 
  • scala-2.10.4.tgz
  • spark-1.1.0-bin-hadoop2.4.tgz

  斯Parker的花费条件,本文选用Windows7平台,IDE选择速龙liJ IDEA。在Windows中,要求设置以下软件:

  • IntelliJ IDEA 13.1.4 Community Edition
  • apache-maven-3.2.3-bin.zip(安装进度相比轻易,请读者自行设置)
  1. 安装JDK

  解压jdk安装包到/usr/lib目录:

1 sudo cp jdk-7u67-linux-x64.gz /usr/lib
2 cd /usr/lib
3 sudo tar -xvzf jdk-7u67-linux-x64.gz
4 sudo gedit /etc/profile

  在/etc/profile文件的尾声增加意况变量:

1 export JAVA_HOME=/usr/lib/jdk1.7.0_67
2 export JRE_HOME=/usr/lib/jdk1.7.0_67/jre
3 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
4 export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

  保存并更新/etc/profile:

1 source /etc/profile

  测量试验jdk是否安装成功:

1 java -version

亚洲城 1

 

  1. 设置及布局SSH

    1 sudo apt-get update 2 sudo apt-get install openssh-server 3 sudo /etc/init.d/ssh start

  生成并累加密钥:

1 ssh-keygen -t rsa -P ""  
2 cd /home/hduser/.ssh 
3 cat id_rsa.pub >> authorized_keys

  ssh登录:

1 ssh localhost

亚洲城 2

 

  1. 安装hadoop2.4.0

  选用伪遍布方式安装hadoop2.4.0。解压hadoop2.4.0到/usr/local目录:

1 sudo cp hadoop-2.4.0.tar.gz /usr/local/
2 sudo tar -xzvf hadoop-2.4.0.tar.gz

  在/etc/profile文件的末尾增加情况变量:

1 export HADOOP_HOME=/usr/local/hadoop-2.4.0
2 export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
3 
4 export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
5 export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

  保存并更新/etc/profile:

1 source /etc/profile

  在位于/usr/local/hadoop-2.4.0/etc/hadoop的hadoop-env.sh和yarn-env.sh文件中期维修改jdk路线:

1 cd /usr/local/hadoop-2.4.0/etc/hadoop
2 sudo gedit hadoop-env.sh
3 sudo gedit yarn-evn.sh

hadoop-env.sh:

亚洲城 3

yarn-env.sh:

亚洲城 4

  修改core-site.xml:

1 sudo gedit core-site.xml

  在<configuration></configuration>之间加多:

1 <property>
2   <name>fs.default.name</name>
3   <value>hdfs://localhost:9000</value>
4 </property>
5 
6 <property>
7   <name>hadoop.tmp.dir</name>
8   <value>/app/hadoop/tmp</value>
9 </property>

  修改hdfs-site.xml:

1 sudo gedit hdfs-site.xml

  在<configuration></configuration>之间增添:

1 <property>
2  <name>dfs.namenode.name.dir</name>
3  <value>/app/hadoop/dfs/nn</value>
4 </property>
5
6 <property>
7  <name>dfs.namenode.data.dir</name>
8  <value>/app/hadoop/dfs/dn</value>
9 </property>
10
11 <property>
12  <name>dfs.replication</name>
13  <value>1</value>
14 </property>

  修改yarn-site.xml:

1 sudo gedit yarn-site.xml

  在<configuration></configuration>之间增加:

1 <property>
2   <name>mapreduce.framework.name</name>
3   <value>yarn</value>
4 </property>
5 
6 <property>
7   <name>yarn.nodemanager.aux-services</name>
8   <value>mapreduce_shuffle</value>
9 </property>

  复制一视同仁命名mapred-site.xml.template为mapred-site.xml:

1 sudo cp mapred-site.xml.template mapred-site.xml
2 sudo gedit mapred-site.xml

  在<configuration></configuration>之间增多:

1 <property>
2   <name>mapreduce.jobtracker.address </name>
3   <value>hdfs://localhost:9001</value>
4 </property>

  在运营hadoop以前,为防范或然出现不可能写入log的主题素材,记得为/app目录设置权限:

1 sudo mkdir /app
2 sudo chmod -R hduser:hduser /app

  格式化hadoop:

1 hadoop namenode -format 

  运营hdfs和yarn。在付出Spark时,仅供给运转hdfs:

1 sbin/start-dfs.sh  
2 sbin/start-yarn.sh  

   在浏览器中开垦地址

亚洲城 5

 

  1. 安装scala

    1 sudo cp /home/hduser/Download/scala-2.9.3.tgz /usr/local 2 sudo tar -xvzf scala-2.9.3.tgz

  在/etc/profile文件的末段加多情形变量:

1 export SCALA_HOME=/usr/local/scala-2.9.3
2 export PATH=$SCALA_HOME/bin:$PATH

  保存并更新/etc/profile:

1 source /etc/profile

  测量试验scala是或不是安装成功:

1 scala -version

 

  1. 安装Spark

    1 sudo cp spark-1.1.0-bin-hadoop2.4.tgz /usr/local 2 sudo tar -xvzf spark-1.1.0-bin-hadoop2.4.tgz

  在/etc/profile文件的终极增多意况变量:

1 export SPARK_HOME=/usr/local/spark-1.1.0-bin-hadoop2.4
2 export PATH=$SPARK_HOME/bin:$PATH

  保存并更新/etc/profile:

1 source /etc/profile

  复制同等对待命名spark-env.sh.template为spark-env.sh:

1 sudo cp spark-env.sh.template spark-env.sh
2 sudo gedit spark-env.sh

  在spark-env.sh中添加:

1 export SCALA_HOME=/usr/local/scala-2.9.3
2 export JAVA_HOME=/usr/lib/jdk1.7.0_67
3 export SPARK_MASTER_IP=localhost
4 export SPARK_WORKER_MEMORY=1000m

  启动Spark:

1 cd /usr/local/spark-1.1.0-bin-hadoop2.4
2 sbin/start-all.sh

  测验斯Parker是或不是安装成功:

1 cd /usr/local/spark-1.1.0-bin-hadoop2.4
2 bin/run-example SparkPi

亚洲城 6

 

  1. 搭建斯Parker开辟遇到

  本文开辟斯Parker的IDE推荐速龙liJ IDEA,当然也能够挑选Eclipse。在利用英特尔liJ IDEA以前,供给设置scala的插件。点击Configure:

亚洲城 7

  点击Plugins:

亚洲城 8

  点击Browse repositories...:

亚洲城 9

  在搜求框内输入scala,采用Scala插件进行设置。由于已经安装了那些插件,下图未有显得安装选项:

亚洲城 10

  安装到位后,AMDliJ IDEA会供给重启。

越多详细的情况见请继续阅读下一页的美貌内容:

  • 1
  • 2
  • 下一页

斯Parker1.1.0配备与开垦情形搭建 Spark是Apache公司推出的一种基于Hadoop Distributed File System(HDFS)的并行总结架构。与MapReduce差别,斯Parker并不局限...

斯Parker 1.6单机意况的装置策画

斯Parker官方网站文书档案描述的是:

Spark runs on Java 7 , Python 2.6 /3.4  and R 3.1 . For the Scala API, Spark 2.0.2 uses Scala 2.11. You will need to use a compatible Scala version (2.11.x).

(PS:在运用spark1.6的时候可以行使的scala版本是2.10.x)

自家本地的条件是:

Ubuntu 14.04.5 LTS

jdk-8u111-linux-x64.tar.gz

hadoop-2.6.5.tar.gz

scala-2.10.6.tgz

spark-1.6.0-bin-hadoop2.6.tgz


1.安装jdk

解压jdk安装包到任性目录:

$ cd /home/yfl/Spark

$ tar -xzvf jdk-8u111-linux-x64.tar.gz

$ sudo vim /etc/profile

编辑/etc/profile文件,在结尾加上java遭遇变量:

export JAVA_HOME=/home/yfl/Spark/jdk1.8.0_111/

export JRE_HOME=/home/yfl/Spark/jdk1.8.0_111/jre

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

保存并更新/etc/profile:

$ source /etc/profile

翻看是或不是成功:

$ java -version


2.配置ssh localhost

确认保障卫安全装好ssh:

$ sudo apt-get update

$ sudo apt-get install openssh-server

$ sudo /etc/init.d/ssh start

浮动并丰裕密钥:

$ ssh-keygen -t rsa

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ chmod 0600 ~/.ssh/authorized_keys

倘诺已经生成过密钥,只需实践后两行命令。 测量检验ssh localhost

$ ssh localhost

$ exit


3.安装hadoop2.6.5

解压hadoop2.6.0到自由目录:

$ cd /home/yfl/Spark

$ wget 

$ tar -xzvf hadoop-2.6.5.tar.gz

编辑/etc/profile文件,在终极加上java意况变量:

export HADOOP_HOME=/home/yfl/Spark/hadoop-2.6.5/

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

编辑$HADOOP_HOME/etc/hadoop/hadoop-env.sh文件

$ vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

在最后加上:

export JAVA_HOME=/home/yfl/Spark/jdk1.8.0_111/

修改Configuration文件:

$ cd $HADOOP_HOME/etc/hadoop

PS:修改xml的时候若是发掘文件不设有能够cp xxx.xml.template xxx.xml 就可以

修改core-site.xml:

<property>

<name>fs.default.name</name>

    <value>hdfs://localhost:9000</value>

</property>

修改hdfs-site.xml:

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

<property>

    <name>dfs.name.dir</name>

    <value>file:///home/yfl/Spark/hadoopdata/hdfs/namenode</value>

</property>

<property>

    <name>dfs.data.dir</name>

    <value>file:///home/yfl/Spark/hadoopdata/hdfs/datanode</value>

</property>

首先个是dfs的备份数据,单机用1份就行,后边三个是namenode和datanode的目录。

修改mapred-site.xml:

<property>

    <name>mapreduce.framework.name</name>

      <value>yarn</value

</property>

修改yarn-site.xml:

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

初始化hadoop:

$ hdfs namenode -format

启动

$ $HADOOP_HOME/sbin/start-all.sh

停止

$ $HADOOP_HOME/sbin/stop-all.sh

反省WebUI,浏览器打起始口:

port 8088: cluster and all applications

port 50070: Hadoop NameNode

port 50090: Secondary NameNode

port 50075: DataNode

hadoop运转后可采纳jps命令查看,获得结果:

10057 Jps

9611 ResourceManager

9451 SecondaryNameNode

9260 DataNode

9102 NameNode

9743 NodeManager


4.安装scala

解压scala安装包到跋扈目录:

$ cd /home/yfl/Spark

$ tar -xzvf scala-2.10.6.tgz

$ sudo vim /etc/profile

在/etc/profile文件的末段增加碰到变量:

export SCALA_HOME=/home/yfl/Spark/scala-2.10.6

export PATH=$SCALA_HOME/bin:$PATH

保留并更新/etc/profile:

$ source /etc/profile

翻看是还是不是中标:

$ scala -version


5.安装Spark

解压spark安装包到大肆目录:

$ cd /home/yfl/Spark

亚洲城,$ tar -xzvf spark-1.6.0-bin-hadoop2.6.tgz

$ mv spark-1.6.0-bin-hadoop2.6 spark-1.6.0

$ sudo vim /etc/profile

在/etc/profile文件的末段加多情状变量:

export SPARK_HOME=/home/yfl/Spark/spark-1.6.0

export PATH=$SPARK_HOME/bin:$PATH

封存并更新/etc/profile:

$ source /etc/profile

在conf目录下复制等量齐观命名spark-env.sh.template为spark-env.sh:

$ cp spark-env.sh.template spark-env.sh

$ vim spark-env.sh

在spark-env.sh中添加:

export JAVA_HOME=/home/yfl/Spark/jdk1.8.0_111/

export SCALA_HOME=/home/yfl/Spark/scala-2.10.6

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4G

启动

$ $SPARK_HOME/sbin/start-all.sh

停止

$ $SPARK_HOME/sbin/stop-all.sh

测验斯Parker是还是不是安装成功:

$SPARK_HOME/bin/run-example SparkPi 2>&1 | grep "Pi is roughly"

得到结果:

Pi is roughly 3.14716

检查WebUI,浏览器打初阶口:

编辑:亚洲城 本文来源:单机安装配置,0配备与支出条件搭建

关键词: 亚洲城ca88