Linux-centos部署大数据工作流任务调度系统：apache-dolphinscheduler-1.3.4

发布日期：2021-05-09 19:27:29 浏览次数：20 分类：精选文章

本文共 3627 字，大约阅读时间需要 12 分钟。

单机部署指南

1. 基础软件安装

在开始部署前，确保已安装以下必备软件：

数据库：PostgreSQL (8.2.15+) 或 MySQL (5.7+)，选择其一即可。
- 如果选用MySQL，则需安装JDBC Driver 5.1.47+。

Java 环境：JDK (1.8+)，需将 JAVA_HOME 和 PATH 配置到 /etc/profile。

ZooKeeper：版本为3.4.6+，必装。

扩展安装选项：
- Hadoop 或 MinIO：选装，支持资源上传至HDFS或MinIO。
- DataX：选装，用于异构数据源同步。

注意：DolphinScheduler仅依赖这些组件的客户端，具体任务执行不直接依赖Hadoop、Hive、Spark。

2. 下载二进制包

创建部署目录：

mkdir -p /opt/dolphinscheduler
cd /opt/dolphinscheduler

下载最新版本的后端安装包至该目录，解压并重命名：

tar -zxvf apache-dolphinscheduler-incubating-1.3.4-dolphinscheduler-bin.tar.gz -C /opt/dolphinscheduler
mv apache-dolphinscheduler-incubating-1.3.4-dolphinscheduler-bin dolphinscheduler-bin

3. 创建部署用户及权限

使用root用户创建部署用户：

useradd dolphinscheduler

配置sudo免密：

echo "dolphinscheduler" | passwd --stdin dolphinscheduler
sed -i '$a dollscheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL' /etc/sudoers
sed -i 's/Defaults    requirett/' /etc/sudoers
chown -R dolphinscheduler:dolphinscheduler dolphinscheduler-bin

注意：部署用户需拥有sudo权限，建议初次部署时查看 /etc/sudoers，确保没有 Default requiretty 配置。

4. SSH免密配置

为方便后续操作，配置SSH免密登录：

su dolphinscheduler
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys

注意：部署用户在使用 ssh localhost 时无需输入密码。

5. 数据库初始化

选择数据库并创建数据库：

# PostgreSQL示例
createdb dolphinscheduler
# MySQL示例（以root用户执行）
mysql -uroot -p
CREATE DATABASE IF NOT EXISTS dolphinscheduler DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'user'@'%' IDENTIFIED BY 'password';
GRANT ALL PRIVILEGES ON dolphinscheduler.* TO 'user'@'localhost' IDENTIFIED BY 'password';
FLUSH PRIVILEGES;

配置数据库连接信息：在 conf/datasource.properties 中设置以下内容：

spring.datasource.driver-class-name=org.postgresql.Driver
spring.datasource.url=jdbc:postgresql://localhost:5432/dolphinscheduler
spring.datasource.username=dolphinscheduler
spring.datasource.password=dolphinscheduler

执行数据库初始化脚本：

sh script/create-dolphinscheduler.sh

注意：脚本执行完毕时如出现 /bin/java: No such file or directory，需检查 JAVA_HOME 是否配置正确。

6. 修改运行参数

配置环境变量（以 /opt/soft 为例）：

export HADOOP_HOME=/opt/soft/hadoop
export HADOOP_CONF_DIR=/opt/soft/hadoop/etc/hadoop
export JAVA_HOME=/opt/soft/java
export PATH=/opt/soft/java/bin/:$HADOOP_HOME/bin:$FLINK_HOME/bin:$PYTHON_HOME/bin:$DATAX_HOME/bin

将 JDK软链接到路径：

sudo ln -s /opt/soft/java/bin/java /usr/bin/java

配置安装参数（以 MinIO 为例）：

修改 conf/config/install_config.conf，设置：

dbtype=mysql
dbhost=localhost:3306
dbname=dolphinscheduler
username=your_user
password=your_password
zkQuorum=localhost:2181
installPath=/opt/soft/dolphinscheduler
deployUser=dolphinscheduler
resourceUploadPath=/data/dolphinscheduler
hdfsRootUser=hdfs
ips=localhost:22
masters=localhost
workers=localhost,default
alertServer=localhost
apiServers=localhost

注意：资源上传需确保 /data/dolphinscheduler 存在并有正确权限。

7. 一键部署

初始化部署用户：

sh install.sh

部署完成后使用 jps 检查服务状态：

jps

MasterServer

WorkerServer

LoggerServer

ApiApplicationServer

AlertServer

注意：第3步可能出现错误信息，忽略即可。

8.Entering the system

访问前端页面，，默认入口地址为 http://<IPAddress>:8080，如Spinner加载中，请稍等。

9. 启停服务

停止所有服务：

sh ./bin/stop-all.sh

启动所有服务：

sh ./bin/start-all.sh

单个服务管理：

Master：sh ./bin/dolphinscheduler-daemon.sh start master-server

Worker：sh ./bin/dolphinscheduler-daemon.sh start worker-server

Api：sh ./bin/dolphinscheduler-daemon.sh start api-server

Logger：sh ./bin/dolphinscheduler-daemon.sh start logger-server

Alert：sh ./bin/dolphinscheduler-daemon.sh start alert-server

10. 常见问题排查

DataX 同步问题：确保安装路径正确且权限足够。

数据库初始化失败：检查数据库连接配置及用户权限。

API服务未启动：手动启动服务。

MySQL版本不符：使用asted版本OK。

资源上传路径错误：检查资源UploadPath配置。

如有其他问题，可参考社区或联系技术支持。

上一篇：Linux-centos7_64位静默安装Oracle 11g并增加表空间及用户

下一篇：Linux-centos7.6安装Perl所需依赖汇总

发表评论

关于作者

喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！

-- 愿君每日到此一游！