基本信息

---

下载

文档摘要

---

南华大学计算机学院

实验报告

（2021学年秋季学期）

课程名称

大数据平台与编程实践

实验名称

Spark的基本使用

一、实验目的

??1.了解spark和spark生态系统

2.了解spark运行基本流程和运行原理

二、实验环境

VMwareWorkstationPro虚拟机下的Linux操作系统

Hadoop

Spark

实验内容

启动hadoop集群和spark集群，启动spark-shell

2.RDD创建

2-1从文件系统中加载数据创建RDD

2-2从hdfs系统中加载数据创建RDD