Search for a command to run...
Articles tagged with #spark
Apache Airflow là một công cụ mạnh mẽ để lập lịch và quản lý quy trình công việc (workflow). Một trong những thành phần cốt lõi của Airflow là Operator, đóng vai trò xác định các tác vụ (task) trong một DAG (Directed Acyclic Graph). Trong bài viết nà...
Trong hệ sinh thái Apache Spark trên Kubernetes, việc tối ưu scheduling của các executor là điều cực kỳ quan trọng đối với hiệu năng, khả năng chịu lỗi (fault-tolerance) và tài nguyên cluster. Một trong những kỹ thuật phổ biến và cực kỳ hiệu quả tron...
Apache Airflow là một công cụ mạnh mẽ để lập lịch và quản lý các luồng công việc, trong khi Apache Spark là nền tảng lý tưởng cho xử lý dữ liệu lớn. Khi triển khai Spark trên Kubernetes, việc tích hợp Airflow với Spark thông qua SparkKubernetesOperat...
Trong môi trường xử lý dữ liệu lớn, Apache Spark là một công cụ mạnh mẽ để thực hiện các tác vụ như ETL, phân tích dữ liệu, và xử lý streaming. Khi triển khai Spark trên Amazon Elastic Kubernetes Service (EKS), việc sử dụng Spark Operator giúp đơn gi...
Trong bài viết này, chúng ta sẽ đi sâu vào cách triển khai và vận hành Spark History Server trên Amazon EKS, kết hợp với Spark Operator và lưu trữ log sự kiện trên Amazon S3 thông qua IAM Roles for Service Accounts (IRSA). Đây là mô hình lý tưởng cho...
Việc tích hợp Apache Airflow với Spark Operator cho phép bạn orchestration (điều phối) các workflow xử lý dữ liệu lớn một cách linh hoạt trong Kubernetes. 🧠 Tổng quan: Airflow + Spark Operator Apache Airflow là một công cụ quản lý workflow, giúp bạ...