5. 配置环境变量并刷新

standalone模式。2. 解压安装包到 /opt/installs。

Spark。

：适用于容器部署和微服务架构的环境。Driver在Worker节点上运行。模式和。

五、

spark-3.1.2-bin-hadoop3.2.tgz。

4. 激活虚拟环境。

Anaconda3-2021.05-Linux-x86_64.sh。。

4. 创建软链接。
/opt/installs/spark/bin/spark-submit --master local[2] /opt/installs/spark/examples/src/main/python/pi.py 100。
vi /etc/profile# exportt配置如下 SPARK_HOME=/opt/installs/sparkexport PATH=$SPARK_HOME/bin:$PATH。模式。。Standalone。
Local 模式（本地）
Local模式是Spark在本地机器上运行，利用本地资源进行计算。安装。

版本。cd /opt/modules。在这种模式下，Spark可以使用YARN的资源管理功能，分为Client模式和Cluster模式。

5. 环境变量的配置。案例：求PI。

3. 更新环境变量。

3. 在 /opt/installs 目录下的重命名文件夹 spark-local。

：适用于生产环境，Hadop集群的资源可以使用。。

本文使用的是 。

# 环境变量vi编辑 /etc/profile# 添加以下内容# Anaconda Homeexport ANACONDA_HOME=/opt/installs/anaconda3export PATH=$PATH:$ANACONDA_HOME/bin# 刷新环境变量source /etc/profile。YARN模式在大数据处理中非常常见c;适用于生产环境。Mesos模式。。YARN。
。
版本。Kubernetes。
前言。

Anaconda 不仅有这个软件 Python 还具有资源环境隔离功能󿀌基于不同版本和不同环境的测试开发方便#xff0c;比单纯安装 Python 强大的功能

3.Anaconda 下载

下载链接：

https://repo.anaconda.com/archive这篇文章用的是 。

二、

通过 Anaconda 部署 Python 。这种模式通常用于测试和调试，因为它不需要其他节点资源󿀌适用于开发环境。#xff0有五种操作模式c;分别是 。。
Standalone 模式（集群）
Standalone模式是Spark自带的资源调度系统，支持完全分布式。
YARN 模式（集群）
YARN模式是Hadoop的资源调度框架，Spark也可以在YARN上运行。
tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs。YARN模式。在这种模式下，Spark有自己的Master和Worker节点，负责资源的调度和管理。：适用于开发和测试，不需要其它节点资源。模式、Standalone模式分为Client模式和Cluster模式，Driver在Client模式下运行在Master节点，在Cluster模式下，

ln -s spark-local spark。2. 运行安装包

#添加执行权限 chmod u+x Anaconda3-2021.05-Linux-x86_64.sh#执行 sh ./Anaconda3-2021.05-Linux-x86_64.sh#过程#第一次：[直接回车�然后按q】 Please, press ENTER to continue >>>#第二次：[输入yes] Do you accept the license terms? [yes|no] [no] >>> yes#第三次：[输入解压路径：/opt/installs/anaconda3] [/root/anaconda3] >>> /opt/installs第四次࿱/anaconda3a;[输入yes�是否在用户.Anaconda3在bashrc文件中初始化的相关内容] Do you wish the installer to initialize Anaconda3 by running conda init? [yes|no] [no] >>> yes。