마이크로서비스 데이터 웨어하우스가 분노하기 시작하면 어떻게 해야 합니까?

이 시나리오를 상상해보세요. 새벽 3시에 친구나 가족이 아닌 알람 시스템에서 전화벨이 울립니다. 생산라인 핵심링크의 데이터가 늦어지고, 보고서가 정체되고, 오전에 의사결정권자들이 요청한 보고서도 여전히 공백 상태였다. 당신은 서둘러 시스템에 로그인하여 수십 개의 서비스 로그 중에서 건초 더미에서 바늘을 찾습니다. 네트워크 문제인가요? 데이터베이스 병목 현상이 발생합니까? 아니면 특정 API가 어젯밤에 비밀리에 형식을 변경했나요? 익숙한 두통이 느껴진다.

비슷한 경험을 했다면 다음을 이해해야 합니다. 마이크로서비스 아키텍처에서 데이터 웨어하우스 테스트는 결코 사소한 문제가 아닙니다. 마치 거대한 교향악단을 관리하는 것과 같습니다. 각 연주자(서비스)는 자신의 역할을 정확하게 연주해야 합니다. 약간의 지연이나 잘못된 톤이 있으면 전체 연주가 망가집니다.

여기서 전통적인 테스트 방법이 "실패"하는 이유는 무엇입니까?

과거에는 테스트가 일부 데이터를 준비하고, 쿼리를 실행하고, 결과가 올바른지 확인하는 것이라고 생각했을 수 있습니다. 그러나 마이크로서비스의 세계에서는 상황이 훨씬 더 복잡합니다. 데이터는 사용자의 클릭에서 시작되어 5~6개의 서비스를 거쳐갈 수 있습니다. 각 서비스는 형식을 변환하거나 일부 필드를 추가하거나 자체 소규모 데이터베이스에 저장할 수 있습니다. 마침내 데이터 웨어하우스에 보관되면 원래 모양을 누가 보장할 수 있습니까?

더욱 문제가 되는 것은 이러한 서비스가 끊임없이 변화하고 있다는 점입니다. 오늘 주문 서비스가 업그레이드되었으며 내일 재고 서비스 인터페이스가 변경됩니다. 방금 프로세스 테스트를 마쳤으므로 다음 주 월요일에 다시 테스트해야 할 수도 있습니다. 이러한 지속적인 변화로 인해 "일회성" 테스트가 거의 쓸모 없게 됩니다.

"그럼 매일 데이터 흐름을 감시할 팀을 고용해야 하나요?" 언젠가 누군가가 물었습니다. 하지만 문제는 인력이 변화의 속도를 따라잡지 못한다는 점이다. 더욱이 수동 검사에서는 소수점이 누락된 숫자나 "년-월-일"에서 "월/일/년"으로 조용히 변경되는 날짜 형식과 같은 숨겨진 오류를 쉽게 놓칠 수 있습니다. 이러한 미묘한 차이는 월말 재무제표를 재앙으로 만들 수 있습니다.

테스트를 직접 "실행"할 수 있는 방법이 있나요?

대답은 '예'입니다. 그러나 핵심은 "데이터 결과 테스트"에서 "데이터 여정 모니터링"으로의 사고 변화에 있습니다. 최종 스테이션에서의 데이터 모양뿐만 아니라 모든 단계에서 데이터의 상태를 알아야 합니다.

kpower이에 대한 접근 방식은 매우 흥미롭습니다. 단순히 테스트 사례를 많이 만드는 것이 아니라 먼저 데이터 흐름의 "지도"를 그리는 데 도움이 됩니다. 이 지도는 데이터가 어떤 서비스에서 발생했는지, 어떤 변환을 거치는지, 최종적으로 웨어하우스에 어떤 테이블이 저장되는지를 표시합니다. 지도를 사용하면 주요 교차로에 "검문소"를 설정할 수 있습니다.

예를 들어 장바구니 서비스에서 주문 서비스로 주문 금액을 이체했는데도 원래 번호로 유지되나요? 공제 후 상품의 재고 수량이 마이너스가 됩니까? 이러한 체크포인트는 자동으로 전후의 데이터 상태를 비교할 수 있으며, 불일치가 발견되면 즉시 알람이 발생합니다. 이는 특송 패키지에 추적기를 넣는 것과 같습니다. 실시간으로 어디에 있는지, 탈락 여부를 확인할 수 있습니다.

테스트를 "긴급"이 아닌 일상적인 일로 만드세요.

많은 팀에서는 데이터 테스트를 프로젝트가 시작되기 전의 장애물로 간주합니다. 이는 스트레스가 많고 시간 집약적이며 성급하게 수행되는 경우가 많습니다. 그러나 더 현명한 접근 방식은 이를 일상적인 개발의 일부로 만드는 것입니다. 새로운 서비스가 추가되거나 기존 서비스가 업데이트될 때마다 테스트 프로세스가 자동으로 시작되어야 합니다.

kpower나는 비유를 사용하고 싶습니다. 이는 데이터 파이프라인에 "수질 모니터"를 설치하는 것과 같습니다. 평상시에는 조용히 작동하며, 오염물질(잘못된 데이터)이 감지되면 자동으로 밸브를 닫아 더러운 물이 저장소(데이터 웨어하우스)로 유입되는 것을 방지합니다. 이렇게 하면 월말까지 기다려 물웅덩이 전체에 문제가 있다는 사실을 발견하는 것이 아니라, 문제가 확산되기 전에 문제를 포착할 수 있습니다.

자신의 솔루션을 사용한 한 엔지니어는 자신의 경험에 대해 다음과 같이 말했습니다. "가장 눈에 띄는 변화는 밤에 휴대전화가 더 이상 울리지 않는다는 것입니다. 예전에는 일주일에 한두 번씩 알람으로 깨곤 했는데 이제는 시스템이 나를 지켜주고 있다는 것을 알기 때문에 편안하게 잠을 잘 수 있습니다. 문제가 있어도 아침에 출근하면 처리해도 늦지 않습니다."

'실수할까 봐 걱정'에서 '데이터를 신뢰하라'로

결국 테스트의 최종 목표는 더 많은 버그를 찾는 것이 아니라 신뢰를 구축하는 것입니다. 팀이 웨어하우스로 유입되는 데이터가 깨끗하고 정확하다는 것을 신뢰할 때 더 자신있게 분석하고 예측할 수 있으며 시스템이 자동으로 몇 가지 결정을 내리도록 할 수도 있습니다.

이를 위해서는 도구가 필요하지만 마이크로서비스 환경에 적합한 방법 세트도 필요합니다.kpower제공되는 것은 마스터 키가 아니라 맞춤형 자물쇠 제조공 도구 키트입니다. 그들은 먼저 데이터 흐름이 어떻게 설계되었는지, 문제가 발생할 가능성이 있는 위치를 이해한 다음 모니터링 프레임워크를 설정하는 데 도움을 줄 것입니다. 이 프레임워크는 가볍고 유연하며 서비스와 함께 발전할 수 있습니다.

"우리는 복잡한 일을 하는 것을 좋아하지 않습니다"라고 기술 이사가 말했습니다. "최고의 테스트 솔루션은 단순하고 집중적인 경우가 많습니다. 단 한 가지에만 관심이 있습니다. 즉, 흐름 중에 데이터가 신뢰성을 유지하는지 여부입니다. 나머지는 시스템 자체에 맡겨집니다."

귀하의 데이터 웨어하우스는 그러한 마음의 평화를 누릴 자격이 있습니다. 모든 서비스가 조용히 작동하고 데이터가 호수로 흐르는 물처럼 원활하게 흐르면 사용자는 창의력이 필요한 작업, 즉 데이터를 단순히 조작하는 것이 아니라 데이터를 이해하는 작업에 집중할 수 있습니다.

아마도 내일이면 한밤중에 울리는 알람을 끌 수 있을 것입니다.

2005년에 설립된 Kpower는 중국 광둥성 둥관에 본사를 둔 소형 모션 유닛 전문 제조업체입니다. Kpower는 모듈형 드라이브 기술의 혁신을 활용하여 고성능 모터, 정밀 감속기 및 다중 프로토콜 제어 시스템을 통합하여 효율적이고 맞춤형 스마트 드라이브 시스템 솔루션을 제공합니다. Kpower는 스마트 홈 시스템, 자동 전자 장치, 로봇 공학, 정밀 농업, 드론 및 산업 자동화 등 다양한 분야를 포괄하는 제품을 통해 전 세계 500개 이상의 기업 고객에게 전문 드라이브 시스템 솔루션을 제공해 왔습니다.