top of page

Cloud 환경의 워크로드 자동화 수준을 엔터프라이즈 수준으로 높이는 지름길 - Automation by Broadcom

클라우드 이용이 확대되는 것은 어느 조직이나 마찬가지입니다. 클라우드는 사용하는 현업 부서가 사용자는 편의성과 유연성에 높은 점수를 줍니다. 반면에 IT 팀은 늘어만 가는 복잡성에 골치가 아픕니다. IT 팀이 체감하는 부담 중 하나가 자동화입니다. 클라우드 서비스 제고 기업이 제공하는 자동화 도구는 엔터프라이즈의 눈 높이로 보면 부족한 부분이 많습니다. 기업은 엔드투엔드 측면에서 자동화 프로세스에 대한 가시성을 원합니다. 이 조건이 충족되어야 IT 팀은 SLA를 관리할 수 있습니다. 구글 클라우드 환경을 예로 브로드컴의 자동화 솔루션이 어떻게 가시성을 제공할 수 있는지 알아보겠습니다. 


제한된 작업 스케줄링 기능

별도의 도구를 쓰지 않을 경우 일반적으로 구글 클라우드가 제공하는 시간 기반 스케줄러를 씁니다. 구글 클라우드의 기본 시간 기반 스케줄러는 단순히 시간을 기준으로 작업을 예약합니다. 즉, 특정 시간에 작업이 시작되도록 설정합니다. 이러한 스케줄러는 업스트림 작업의 지연이나 다운스트림 작업의 준비 상태와 같은 동적인 요소를 고려하지 못합니다. 예를 들어, 이전 작업이 예정보다 늦게 완료되더라도, 후속 작업은 미리 설정된 시간에 강제로 시작됩니다. 이는 작업 간의 실제 흐름과 상호 의존성을 반영하지 못하는 것으로, 실제 작업 환경에서는 많은 작업들이 서로의 진행 상태에 영향을 받습니다. 정리하자면 구글 클라우드가 제공하는 시간 기반 스케줄러만 사용할 경우 특정 작업이나 프로세스가 시작되기 전에 완료되어야 하는 이전 작업(업스트림)과 특정 작업이 완료된 후에 시작되어야 하는 후속 작업(다운스트림) 관련 종속성 이슈를 겪을 수 있습니다. 이를 좀 더 자세히 알아보겠습니다. 


데이터 품질 및 신뢰성 문제

  • 데이터 문제의 발생: 작업들이 미리 정해진 시간에 시작되도록 설정되어 있기 때문에, 만약 이전 작업이 예상보다 늦게 끝나면, 다음 작업은 오래된 또는 부정확한 데이터를 바탕으로 시작될 수 있습니다. 예를 들어, 데이터를 처리하는 작업이 끝나지 않았는데, 다음 단계인 분석 작업이 시작되면, 분석은 불완전한 데이터로 수행되어야 합니다.

  • 최적화되지 않은 작업 흐름: 작업들이 서로의 진행 상황에 맞춰 조절되지 않고, 단순히 시간에 따라 자동으로 시작되기 때문에, 작업 흐름이 최적화되지 않습니다. 이는 필요한 데이터가 준비되지 않았을 때도 작업이 시작되거나, 심지어 작업이 실패할 수도 있다는 것을 의미합니다.

  • 복잡한 환경에서의 문제 증가: 많은 데이터 소스에 의존하는 복잡한 작업 환경에서는, 이러한 문제가 더 심각해질 수 있습니다. 예를 들어, 하나의 데이터 소스가 지연되면 이로 인해 전체 작업 흐름에 문제가 발생하고, 이는 연쇄적으로 다른 작업들에도 영향을 미칠 수 있습니다.


네트워크 관련 오류

  • 네트워크의 중요성: 클라우드에서 작업을 수행할 때, 사용자는 여러 위치에 퍼져 있는 네트워크 자원에 의존합니다. 이러한 네트워크 자원들이 원활하게 연결되지 않으면, 작업 실행에 문제가 발생할 수 있습니다.

  • 일시적인 연결 문제의 영향: 가끔 일시적인 네트워크 문제가 발생하여, 예를 들어, 데이터베이스에 접근하거나 API를 호출하는 작업이 실패할 수 있습니다. 처음 시도했을 때는 오류가 발생하지만, 몇 분 후 다시 시도하면 성공할 수도 있습니다.

  • 작업 실패 및 연쇄적 문제: 이러한 일시적인 네트워크 문제가 발생하면, 정해진 시간에 실행되어야 하는 작업들이 실패할 수 있습니다. 그리고 이러한 실패는 다음에 수행될 작업들에도 영향을 미쳐 전체 작업 흐름에 문제를 일으킬 수 있습니다.


높은 비용과 비효율성

  • 버퍼 추가: 클라우드에서 작업을 관리하는 운영자는 작업 간 발생할 수 있는 지연을 대비해 '버퍼'라고 하는 여유 시간을 추가할 수 있습니다. 예를 들어, 하나의 작업이 끝나고 다음 작업을 시작하기 전에 일정량의 추가 시간을 두는 것입니다.

  • 오류 최소화: 이런 방식은 연속되는 작업 사이에 발생할 수 있는 문제를 줄이는데 도움이 됩니다. 하지만 모든 오류를 완전히 해결할 수는 없습니다.

  • 유휴 상태의 비용: 버퍼를 추가하면, 작업 대기 시간이 길어지기 때문에 구글 클라우드의 컴퓨팅 자원이 활용되지 않는 시간이 늘어납니다. 이는 사용하지 않는 서버가 가동되고 있음을 의미하는데, 이로 인해 비용이 증가합니다.

  • 비용의 증가: 특히 대규모 기업에서는 이런 유휴 시간이 많아질수록 관련 비용이 크게 증가합니다. 때로는 이 비용이 한 달에 수만 달러에 달할 수도 있습니다.


노동 집약적인 대응 과정

  • 노동 집약적인 문제 해결: 클라우드에서 작업을 관리하다가 오류가 발생하면, 관리자는 이 문제를 찾아내고 해결하기 위해 많은 시간과 노력을 들여야 합니다.

  • 다양한 작업의 영향: 이러한 오류는 하나의 작업뿐만 아니라 여러 작업에 영향을 미칠 수 있습니다. 따라서, 관리자는 여러 작업의 일정을 임시로 중단시키고 문제를 직접 찾아 해결해야 할 수도 있습니다.


솔루션: Automation by Broadcom

브로드컴의 자동화 솔루션 제품군은 사용자가 파이프라인, 통합, 애플리케이션 및 프로세스를 아우르는 종속성 관리에 필요한 강력한 일정 관리 기능을 제공합니다. 이 솔루션들은 온프레미스 환경뿐만 아니라 구글 클라우드를 포함한 다양한 클라우드 환경에서도 엔드투엔드 가시성을 제공합니다. 현재 브로드컴의 Automic Automation, AutoSys, dSeries 솔루션은 구글 클라우드와 원활한 통합을 지원합니다.



Google Cloud Storage: 데이터를 저장, 액세스 및 조작할 수 있는 객체 스토리지 서비스입니다. 이 스토리지는 광범위한 워크플로 처리 사용 사례에 사용되므로 이러한 개체를 효과적으로 관리할 수 있는 능력이 자동화 성공의 핵심입니다. 브로드컴의 자동화 솔루션을 사용하면 클라우드 스토리지 및 기타 클라우드 기반 활동의 모니터링 및 관리를 기존 엔터프라이즈 워크로드 자동화 플랫폼과 쉽게 통합할 수 있습니다.


Google Cloud BigQuery: 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다. BigQuery를 사용하면 팀은 머신러닝, 지리정보 분석, 비즈니스 인텔리전스를 사용하여 데이터를 관리하고 분석할 수 있습니다. BigQuery에서는 작업 실행을 자동화할 수 있지만 이로 인해 IT 운영에서 관리해야 할 자동화 영역이 추가로 생성됩니다. 브로드컴의 자동화 솔루션을 사용하면 BigQuery 내에서 데이터 전송을 정의하고 쿼리를 예약할 수 있으며 엔터프라이즈 워크로드 자동화 솔루션을 사용하여 이러한 워크플로의 예약을 관리할 수 있습니다.


Google Cloud Composer: 완전 관리형 워크플로 조정 서비스입니다. 팀은 이 서비스를 사용하여 클라우드 및 온프레미스 데이터 센터 전반에 걸친 워크플로를 포함하여 워크플로를 생성, 예약, 모니터링 및 관리할 수 있습니다. 그러나 팀이 Cloud Composer를 사용하면 IT 운영팀이 계속 추적하고 지원해야 하는 새로운 격리된 자동화 환경을 효과적으로 생성하게 됩니다. 우리의 통합을 통해 팀은 Airflow 지향 비순환 그래프(DAG)를 기존 엔터프라이즈 워크로드 자동화 솔루션과 쉽게 통합할 수 있습니다. 이러한 기능을 통해 팀은 엔드투엔드 가시성을 유지하고 중앙 집중식 명령 및 제어를 다시 얻을 수 있습니다.


Google Cloud Data Fusion: 데이터 파이프라인을 신속하게 구축하고 관리할 수 있도록 지원하는 인기 있는 클라우드 기반 서비스입니다. 이 서비스는 데이터 추출, 전송, 로드(ETL) 및 데이터 통합 기능을 제공합니다. 브로드컴의 자동화 솔루션을 사용하면 Data Fusion 파이프라인의 일정을 관리할 수 있습니다.


Google Cloud Dataflow: 스트림 및 배치 데이터에 대한 서버리스 데이터 처리 서비스입니다. 고객의 데이터 볼륨이 증가함에 따라 이 서비스는 자동화된 인프라 프로비저닝 및 확장을 제공합니다. Dataflow를 사용하면 팀에서 작업 실행을 자동화할 수 있지만 이로 인해 IT 운영팀이 관리해야 하는 별도의 자동화 서비스가 생성되어 잠재적인 문제에 대한 복잡성과 가시성이 부족해질 수 있습니다. 브로드컴의 자동화 솔루션을 사용하면 Dataflow 워크로드는 물론 다른 서비스 및 환경의 워크로드도 중앙에서 관리할 수 있습니다. 참고: 이 통합은 현재 AutoSys 및 dSeries에만 사용할 수 있습니다. Automic과의 통합은 향후 제공될 예정입니다.


기존 환경과 매끄러운 통합 

브로드컴의 자동화 솔루션을 클라우드 환경까지 확장하면 많은 이점이 있습니다. 브로드컴의 자동화 솔루션을 이용해 서로 다른 클라우드 예약 및 워크플로 조정 도구를 관리하는 통합 도구를 설정할 수 있습니다. 또한, 모든 클라우드 및 온프레미스 워크로드에 대한 통합 자동화 전략을 실행에 옮길 수 있습니다. 더 자세한 내용이 궁금하시면 유클릭으로 문의 바랍니다. 


조회수 17회댓글 0개

최근 게시물

전체 보기

Comments


bottom of page