airflow学习之路 (一) 安装启动airflow

airflow学习之路 (一) 安装启动airflow

airflow简介

​ ​ Apache Airflow 是一个开源平台，用于开发、调度、 以及监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建工作流程 与几乎任何技术连接。Web 界面有助于管理工作流的状态。气流是 可通过多种方式进行部署，从笔记本电脑上的单个进程到分布式设置，甚至支持 最大的工作流程。

适用场景

​ ​ 适用于需要执行数据处理和数据管道任务的应用场景，例如数据抽取、转换、加载(ETL)、数据挖掘、机器学习等。Airflow提供了丰富的监控、报告和告警功能，可以帮助用户管理和调度复杂的数据管道。

运行环境搭建

创建airflow虚拟环境

conda create -n airflow python=3.8

进入airflow虚拟环境

conda activate airflow

安装airflow环境依赖包

pip install kubernetes  -i https://pypi.douban.com/simple
pip install numpy -i https://pypi.douban.com/simple
pip install apache-airflow==2.4.3 -i https://pypi.douban.com/simple

初始化airflow

airflow db init

查看版本

airflow version

调度服务启动

启动airflow web服务

启动后浏览器访问http://172.22.8.244:8080

airflow webserver -p 8080 -D

• -p 端口
• -D 后台运行

启动airflow调度

airflow scheduler -D

创建账户

airflow users create \
--username admin \
--firstname test \
--lastname test \
--role Admin \
--email test@test.com

运行脚本

启动停止脚步

vim af.sh

内容如下:

#!/bin/bash
 case $1 in
 "start"){
  echo "-------------启动 airflow-----------"
  conda activate airflow;airflow webserver -p 8080 -D;airflow scheduler -D;conda deactivate
 };;
 "stop"){
  echo "-------------关闭 airflow-----------"
  ps -ef|egrep "scheduler|airflow-webserver"|grep -v grep|awk "{print $2}"|xargs kill -15
};;
esac

添加可使用权限

chmod a+x af.sh

启动服务

af.sh start

添加可使用权限

chmod a+x af.sh

启动服务

af.sh start