Monthly Archives: 10 月 2023

运行模式 本地运行模式 Local模式：不需要其他任何节点资源就可以在本地执行spark代码的环境 解压缩文件，并重命名文件夹为spark-local

Spark Core 提供了Spark最基础与最核心的功能 Spark SQL 是Spark用来操作结构化数据的组件 通过Spark SQL 用户可以使用SQL或者Apache Hive版本的SQL（HQL）来查询数据 Spark Stre...

File：数据源 Mapper：将数据读取出来并打散数据 data：数据 reducer：聚合数据 最后落盘File 上一次计算结果为下一次计算使用，磁盘IO会非常影响性能 不适合循环迭代式数据流处理 Spark改进 ...