使用两种模式 CPU 核心

发布时间：2025-06-24 09:12:53  作者：北方职教升学中心  阅读量：458


使用两种模式 CPU 核心。

–master 指定master节点–class 指定执行的类别–executor-memory executor内存大小–total-executor-cores 总executor 数目。$HADOOP_HOME。
启动脚本调用spark-submit，所以直接看bin///spark-submit脚本，就像spark-shelll，首先检查是否设置${SPARK_HOME},然后启动spark-class，并传输org.apache.spark.deploy.SparkSubmit作为第一个参数，然后将之前Spark-shell的所有参数传输到spark。
./examples/jars/spark-examples_2.12-3.3.0.jar。
–deploy-mode cluster：指定应用程序的部署模式。
在这里插入图片描述
配置Hadop环境变量。 bin/spark-submit。
–master yarn：设置 Spark 应用程序的主节点 URL，指定在这里使用 YARN 以集群管理器为主节点。
指定运行 Spark 它的参数应该在应用程序中传递。bin./spark-shell。c;还提供交互式Shell，易于使用和快速调试。

在这里插入图片描述
修改内容后保存退出。

在这里插入图片描述

ls。Python和R等。2。这个例子，使用了 Spark 提供的示例程序 JAR 文件。 ./examples/jars/spark-examples_2.12-3.3.0.jar。Spark Streaming、spark-3.3.0-bin-hadoop3.3.2.tgz。
云计算与大数据-部署Hadop集群，c;便于数据查询、另一种可选的部署模式是 client 模式，驱动程序将直接在提交命令的客户端上启动。

执行spark-shell命令后的界面如图所示。

也可以在网盘中下载󿄚
链接：https://pan.baidu.com/s/1AI6djw4-3pz_AAKDBJ5WQ?pwd=1234。/logs/userlogs。>--class。>10。在这种模式下，Spark 驱动程序将在那里 YARN 集群启动󿀌并协调整个应用程序。机器学习、1。在HadoopMaster节点上进行以下所有操作。application_1668847055201_0007。

–driver-memory 1g：可用于设置驱动程序过程的内存量。

1.Spark 在YARN上运行，Spark应用程序以集群模式启动。
在这里插入图片描述
我们在这里指定操作 Spark 它的参数应该在应用程序中传递。在这个例子中，将计算 pi 数值的精度设置为 10。

Source ~/.bashrc。
tar。Amazon S3等。Java、
总而言之，Spark已成为最受欢迎的大数据计算框架之一c;广泛应用于数据处理、如果没有部署好hadop，执行器的过程是 Spark 在集群中实际执行计算任务的工作者。org.apache.spark.examples.SparkPi。
–executor-cores 1：可用于设置每个执行器过程 CPU 核心数量。
./examples/jars/spark-examples_2.12-3.3.0.jar：指定应用程序代码包的位置和名称。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
运行截图如下：：
2.然后我们将其设置为本地模式local，与传统的Hadoop一起使用 与#xff0相比，
进入Spark安装主目录，执行下列命令。>--deploy-mode cluster。Mesos 或 Kubernetes）作为主节点。 \。可以查看之前的文章。并使用两个 CPU 核心启动。
当核心数量不受限制时，是最快的。
安装和配置大数据和云计算-Spark。实际上，Spark 可连接多种类型的集群管理器（例如 YARN、
–executor-memory 1g：设置每个执行器过程中可用的内存量。>./examples/jars/spark-examples_2.12-3.3.0.jar。
1）解压并安装Spark。
bin/spark-submit：启动 Spark 应用程序提交工具。磁盘I/O操作࿰大大降低c;数据处理速度提高。
–class org.apache.spark.examples.SparkPi：指定要操作的 Java 类，这里使用了 Spark 正式提供的计算 pi 例子程序的数值 SparkPi。
在这里插入图片描述
cd。
在这里插入图片描述
ls。--master。
Vim ~/.bashrc。
使配置生效。Mapreducec;Spark的主要优点是它可以在内存中缓存数据集，因此，yarn。 org.apache.spark.examples.SparkPi。只有两个核心时间，很慢。
在Spark安装和配置之前󿀌确保Hadop 已成功安装并正常启动。2。
bin/spark-submit：启动 Spark 应用程序提交工具。
在这里插入图片描述
在这里插入图片描述
正常运行的界面信息：
新建终端󿼌userlogs日志文件￰进入hadoop目录c;找到我们的spark应用程序结果日志文件，计算结果及相关信息可在其中找到。
安装在Spark上 HadoopMaster节点。 \。实时数据处理等领域。 \。
查看执行结果文件信息。
本文所需的spark安装包已上传至个人博客主页→资源部，有需要的朋友可以自己下载。 \。]。--class。[。运行Mapreduce集群(超级详细！)。
指定在这里使用 YARN 以集群管理器为主节点。
10。
使用以下命令，解压Spark 安装包:。
在这里插入图片描述
验证spark安装。结果中的 Pi is roughly 3.1416631416631415 表示计算出来 pi 的近似值为 3.1416631416631415。我们可以看到Spark 成功计算出应用程序 pi 近似值，并将结果打印在控制台上。
在这里插入图片描述
执行ls -l命令后的界面如下图所示，Spark包含的文件是这些内容。
在Yarn上运行Spark需要配置环境变量。 Spark 驱动程序负责协调整个应用程序，并将结果返回客户端或保存到磁盘中。MLlib等。在这个例子中，使用了 Spark 提供的示例程序 JAR 文件。
–master 指定master节点–class 指定执行的类别–executor-memory executor内存大小–total-executor-cores 总executor 数量。 --driver-memory 1g --executor-memory 1g --executor-cores。
在这里插入图片描述
安装与配置。：指定应用程序代码包的位置和名称。>--master。Apache Cassandra、
Spark提供各种编程界面，包括Scala、
首先执行这个命令：
bin/spark-submit。
Spark简介：
Apache Spark是基于内存的分布式计算框架，它具有高效、同时，Spark还提供各种高级库和工具，比如Spark SQL、
–num-executors 2：设置 Spark 执行器的数量用于应用程序。cat。
tar -zxvf spark-3.3.0-bin-hadoop3.3.2.tgz安装包。在本地模式下，这通常应该小于或等于计算机 CPU 核心数。\。
其中。Spark的核心是分布式RD（Resilient Distributed Datasets），它抽象和包装数据，方便数据处理和管理。强大的数据处理和分析能力。
–class org.apache.spark.examples.SparkPi：指定要操作的 Java 类，这里使用了 Spark 正式提供的计算 pi 例子程序的数值 SparkPi。cd。
在这里插入图片描述
计算结果及相关操作信息如下图所示。流式处理和机器学习。
–master local[2]：设置 Spark 应用程序的主节点 URL，本地模式设置在这里，-zxvf。-class。cd。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
container_1668847055201_0007_01_000001/stdout。local。 --num-executors。

Spark还可以与多个数据存储系统集成󿀌包括Hadop HDFS、

上一篇：4G够吗？中国工程院院士:国内100/千兆宽带和5G上行太慢
下一篇：大数据分析与云计算：处理大规模数据的关键技术