Apache airflow 예를들면plc_run_now_30sec_dag -> convert_to_nosql -> insert_abac, insert_ptn위 순서대로 실행해야한다고 가정해보겠습니다. (맨마지막 2개는 병렬로 실행) A dag가 끝나야 B dag 가 실행되게 하고싶었습니다.여러가지 방법이 있었는데 저는 dataset을 활용했습니다.dag가 성공적으로 종료되면 dataset에 업데이트 신호를 전파하고B dag에서 그 업데이트 신호를 인지하면 실행되게끔 trigger를 설정했습니다.결과적으로 A dag에서 B dag를 직접 호출 및 실행하지 않고도 실행할 수 있습니다. 1. plc_run_now_30sec_dag.pyAPI 호출하는 dag입니다.API호출을 위해 SimpleHttpOpera..
구조airflow-docker/├── airflow └── dags # git을 활용하여 dag 버전관리├── dags/ # DAG 정의 파일(.py) 보관 폴더├── logs/ # Airflow 로그 저장 폴더├── plugins/ # 사용자 플러그인 보관 폴더└── docker-compose.yml # 전체 스택 구성 파일└── .env # 환경변수 파일 docker-compose.yml 작성services: redis: image: redis:7 container_name: airflow-redis restart: always ports: - "6380:..
도커 용량이슈어느날 Jenkins에서 에러 Git push하려는데 에러 알고보니 원인은 리눅스 서버 용량부족100Gb만 할당했는데 Docker가 90% 를 차지하고있었따..리눅스 용량 확인법df -h루트(/)가 100% 이니 루트의 용량을 파헤쳐보자sudo du -h --max-depth=1 / | sort -hr | head -n 10var의 용량이 제일크니 var를 파헤쳐보자sudo du -sh /var/*lib 용량 파헤쳐보자sudo du -sh /var/lib/*결국 도커였다. 도커 사용량 확인docker system df어 그런데 왜 27 기가 밖에 안되는걸까docker system df는 전부를 보여주지 않는다!도커가 추적하고 있는 이미지/컨테이너/볼륨/빌드 캐시만 보여준다 숨은 용량을 찾아보..
sudo 비밀번호 요구 예외걸기0. 현재 사용자에게 허용된 sudo 명령 목록확인sudo -l1. visudo 명령어 실행sudo visudo 2. 아래 명령어 추가yourid ALL=(ALL) NOPASSWD: /myproject/*/deploy-script.sh 예시3. 저장ctrl + o -> enter -> ctrl + x
# ========================= # ✅ 1. 시스템 업데이트 및 정리 # =========================# 패키지 목록 갱신sudo apt update# 모든 패키지 업그레이드sudo apt upgrade -y# 사용하지 않는 패키지 자동 삭제sudo apt autoremove -y# 패키지 목록 갱신# ========================= # ✅ 2. 기본 패키지 설치 # ========================= # 자주 사용하는 필수 도구들 설치sudo apt install -y curl wget git vim unzip net-tools htop build-essential software-properties-common ca-certificates g..
1. Read (r, 읽기 권한)파일: 파일 내용을 읽을 수 있음. (cat, less, vi 등으로 파일을 열어볼 수 있음)디렉토리: 디렉토리 내부의 파일 목록을 조회할 수 있음. (ls 명령어 사용 가능)❗ 주의: 디렉토리에 r 권한만 있고 x 권한이 없으면, ls로 파일 목록은 볼 수 있지만, 해당 파일을 열거나 접근하는 것은 불가능함.ls -ldr--r--r-- 2 user user 4096 Feb 1 12:00 mydir 위처럼 r만 있는 경우:ls mydir # 가능cd mydir # Permission denied (불가능)2. Execute (x, 실행 권한)파일: 실행 가능한 파일(스크립트, 바이너리 등)을 실행할 수 있음../script.sh # 실행 가능디렉토리: 디렉토리 내..
