大数据
spark-05 配置参数详解
以下是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。
Spark提供三个位置用来配置系统：
Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者
Java系统属性设置
环境变量...
maven-05 Maven实战案例：搭建微服务Maven工程架构
一、项目需求和结构分析
需求案例：搭建一个电商平台项目，该平台包括用户服务、订单服务、通用工具模块等。
项目架构：
1. 用户服务：负责处理用户相关的逻辑，例如用户信息的管理、用户注册、登录等。
2. 订单服务：负责处理订单相关的逻辑，例...
maven-04 Maven继承和聚合特性
一、Maven工程继承关系
1、继承概念
Maven 继承是指在 Maven 的项目中，让一个项目从另一个项目中继承配置信息的机制。继承可以让我们在多个项目中共享同一配置信息，简化项目的管理和维护工作。
2、继承作用
作用：在父工程中统一...
maven-03 Maven核心功能依赖和构建管理
一、依赖管理和配置
Maven 依赖管理是 Maven 软件中最重要的功能之一。Maven 的依赖管理能够帮助开发人员自动解决软件包依赖问题，使得开发人员能够轻松地将其他开发人员开发的模块或第三方框架集成到自己的应用程序或模块中，避免出现版本冲突和依赖缺失等问题。...
maven-02 基于idea的maven工程创建
一、Maven工程GAVP属性
Maven 中的 GAVP 是指 GroupId、ArtifactId、Version、Packaging 等四个属性的缩写，其中前三个是必要的，而 Packaging 属性为可选项。这四个属性主要为每个项目在maven仓库总做一个...
maven-01 maven 简介快速入门
一、Maven主要作用
1、 场景概念
场景1：例如我们项目需要第三方库（依赖），如Druid连接池、MySQL数据库驱动和Jackson等。那么我们可以将需要的依赖项的信息编写到Maven工程的配置文件，Maven软件就会自动下载并复制这些依赖项到项目中，...
spark-04 运行架构
Spark运行架构
运行架构
Driver表示master负责管理整个集群中作业任务调度
图形中的Executor则是slave，负责实际执行任务
Driver
spark驱动器节点，用于执行spark任务中的main方法，负责...