기술 지원
게시됨 2026-01-19
이것에 대해 이야기해 봅시다: 당신은 거대한 시스템을 유연한 작은 모듈, 즉 마이크로서비스로 나누기 위해 많은 노력을 기울였습니다. 그들은 자신의 임무를 수행하고 매우 빠르게 달립니다. 그러나 여기서 문제가 발생합니다. 각 서비스는 정보의 섬처럼 구석구석에 흩어져 있는 자체 데이터를 생성합니다. 전체 비즈니스의 전체 그림을 보거나 분석을 수행하거나 보고서를 생성하려는 경우 데이터가 여기저기에 뭉쳐져 있는 흩어진 모래 조각과 같아서 시간이 많이 걸리고 노동 집약적이며 오류가 발생하기 쉽다는 것을 알게 됩니다.
각 연주자가 서로 다른 키로 연주하는 오케스트라를 지휘하는 것처럼 느껴집니다. 부분적으로는 괜찮게 들리지만 합쳐지면 엉망이 됩니다. 데이터 웨어하우스에는 새로운 사고 방식, 즉 마이크로서비스의 "사일로"이면서도 "협업이 필요한" 특성을 이해하고 이에 적응할 수 있는 설계가 필요합니다.
전통적인 통합 데이터 웨어하우스 설계는 여기서 벽에 부딪힐 수 있습니다. 이유는 간단합니다. 마이크로서비스의 핵심은 자율성과 독립적 배포입니다. 이는 다음을 의미합니다.
이렇게 흩어져 있고 이질적인 데이터를 질서 있고 신뢰할 수 있는 방식으로 분석하고 통찰력을 얻을 수 있는 장소로 가져오는 다리를 어떻게 구축할 수 있습니까? 핵심은 각 마이크로서비스를 "듣고" "대화"할 수 있는 데이터 웨어하우스를 설계하는 것입니다.
마이크로서비스에 적응하는 데이터 웨어하우스 설계는 단순한 중앙 집중식 웨어하우스라기보다는 잘 설계된 운송 허브에 가깝습니다. 몇 가지 주요 "트래픽 흐름"을 처리해야 합니다.
이는 "이벤트 중심" 흐름입니다. 많은 최신 마이크로서비스는 이벤트 게시를 통해 통신합니다. 주문이 생성되고 사용자 상태가 업데이트되며 이러한 이벤트는 실시간으로 캡처되어 데이터 웨어하우스로 유입될 수 있습니다. 모든 거리에 센서를 설치하는 것과 같습니다(마이크로서비스). 트래픽 흐름(데이터 변경)이 발생하면 해당 정보는 즉시 지휘 센터로 전송됩니다. 이 방법은 지연 시간이 짧고 시스템의 현재 상태를 잘 반영할 수 있습니다.
그다음에는 변경 데이터 캡처(CDC)가 있습니다. 서비스가 이벤트 메커니즘을 사용하지 않는 경우 CDC는 강력한 보완책입니다. 데이터베이스의 변경 로그(binlog)를 지속적으로 모니터링하는 전용 기록 보관소와 같습니다. 데이터가 추가, 삭제 또는 수정되면 조용히 변경 사항을 캡처하여 다운스트림으로 전달합니다. 이렇게 하면 데이터가 동기화되어 소스의 거의 모든 작업을 "복사"할 수 있습니다.
물론 전통적인 일괄 동기화도 있습니다. 덜 긴급하고 특히 많은 양의 데이터가 있는 일부 시나리오의 경우 전체 데이터 스냅샷을 정기적으로(예: 매일 늦은 밤) 동기화하는 것이 여전히 안정적이고 신뢰할 수 있습니다. 정기 화물열차와 같습니다. 실시간은 아니지만 용량이 크고 계획이 명확합니다.
이러한 데이터 스트림을 교묘하게 결합하면 실시간 정확성과 일괄 처리량을 모두 갖춘 데이터 공급 네트워크가 형성됩니다. 이 네트워크의 핵심 목표는 소스에서 웨어하우스까지의 데이터 이동이 안정적이고 일관되며 추적 가능하도록 보장하는 것입니다.
데이터는 여기에 있지만 여러 가지 원시 이벤트와 변경 기록은 여전히 분석가에게 성경일 수 있습니다. 따라서 우리는 이 허브에서 일부 "마무리", 즉 명확하고 일관된 데이터 계층을 구축해야 합니다.
이는 일반적으로 필요할 경우를 대비해 모든 세부 정보가 보존된 원시 데이터가 저장되는 "데이터 레이크" 또는 "소스 레이어"로 시작됩니다. 그런 다음 정리, 상관 관계 및 통합을 통해 점차적으로 이해하기 쉬운 "데이터 웨어하우스 세부 레이어"를 구축한 다음 특정 분석 주제를 제공하는 "집계 레이어" 또는 "데이터 마트"를 구축합니다.
이 프로세스, 특히 중간 세부 레이어 구성은 표준화된 지도를 그리는 것과 약간 비슷합니다. 주문 데이터가 MySQL 또는 PostgreSQL에서 제공되는지, 사용자 초상화가 MongoDB 또는 다른 곳에서 제공되는지에 관계없이 이 수준에서는 모두 통합되고 표준화된 "언어" 및 "좌표"로 변환됩니다. 이렇게 하면 사용자 구매 경로를 분석하든, 실시간 비즈니스 지표를 계산하든 명확하고 신뢰할 수 있는 데이터를 접할 수 있으며 더 이상 데이터 불일치와 모순에 대해 걱정할 필요가 없습니다.
여기서 실용적인 질문이 발생할 수 있습니다. 데이터 전송 중에 오류가 발생하면 어떻게 될까요? 아니면 특정 키 번호가 어떻게 계산되는지 단계별로 추적하고 싶습니다. 그렇게 할 수 있나요? 이는 데이터 품질 모니터링과 데이터 계보 추적이라는 두 가지 중요한 기둥으로 이어집니다.
좋은 설계는 체크포인트와 같은 프로세스에 데이터 품질 검사 규칙을 포함시켜 비정상적이거나 누락된 데이터를 적시에 감지하는 것입니다. 데이터 계보는 데이터가 어떤 서비스에서 왔는지, 어떤 처리를 거쳤는지, 마지막으로 어떤 지표로 어떤 보고서로 바뀌었는지를 기록하는 상세한 가계도와 같습니다. 데이터에 대한 질문이 있는 경우 이 줄을 끝까지 따라가면 근본 원인을 찾을 수 있습니다. 이렇게 하면 신뢰가 구축될 뿐만 아니라 문제 해결도 크게 단순화됩니다.
이것을 보고 '이건 좋은 것 같은데 어떻게 해야 하지?'라고 생각할 수도 있습니다. 보이지 않는 장애물은 무엇입니까?
실제로 이 분야에는 데이터 파이프라인을 구축하고 스트림 및 일괄 처리 작업을 처리하는 데 도움이 될 수 있는 성숙한 오픈 소스 도구와 클라우드 서비스가 이미 많이 있습니다. 선택할 때 현재 기술 스택에 얼마나 잘 맞는지, 팀의 학습 및 유지 관리 비용도 고려해야 합니다. 절대적인 좋고 나쁨은 없으며 단지 그것이 적합한지 여부만 있을 뿐입니다.
더 중요한 것은 이것이 단순히 기술적인 선택 문제가 아니라는 점입니다. 팀이 어떻게 작동하는지에 관한 것입니다. 마이크로서비스용으로 설계된 데이터 웨어하우스는 종종 협업 모델을 장려합니다. 즉, 데이터 제품에 대한 책임은 데이터를 생성하는 비즈니스 팀에 더 가깝고 중앙 데이터 팀은 더 많은 플랫폼, 표준 및 도구 지원을 제공합니다. 이는 데이터 가치 창출을 가속화합니다.
말하자면, 이 모든 것의 궁극적인 목표는 무엇입니까? 단지 분산된 서비스에 잠들어 있는 데이터를 깨워 쉽고 정확하게 질문에 답하고 결정을 내리는 데 사용할 수 있도록 하는 것이 아닐까? 실시간으로 운영 대시보드를 보거나, 권장 사항을 교육하거나, 심층적인 비즈니스 검토를 수행하는 등 적절하게 설계된 데이터 웨어하우스는 가장 견고한 기반입니다.
시스템을 다시 우리에 가두는 것이 아니라, 자유를 얻은 마이크로서비스에 대한 우아한 협업 규칙을 설정하여 데이터의 가치가 원활하게 흘러갈 수 있도록 하는 것입니다. 데이터가 더 이상 부담이 되지 않고 쉽게 사용할 수 있는 리소스가 되면 비즈니스 성장에 대한 이전의 모호했던 질문에 대한 명확한 답을 얻게 될 것입니다.
데이터 중심으로 가는 길,kpower우리는 또한 이러한 관행에 대해 계속해서 생각하고 탐구하고 있습니다. 우리는 좋은 기술 설계가 항상 명확한 비즈니스 목표를 달성하고 데이터를 체계적으로 유지하는 것이 지능적인 의사 결정을 향한 첫 번째 단계라고 믿습니다.
2005년에 설립되었으며,kpower는 중국 광둥성 둥관에 본사를 둔 전문 컴팩트 모션 유닛 제조업체에 전념해 왔습니다. 모듈식 드라이브 기술의 혁신을 활용하여,kpower고성능 모터, 정밀 감속기, 멀티 프로토콜 제어 시스템을 통합하여 효율적이고 맞춤형 스마트 드라이브 시스템 솔루션을 제공합니다. Kpower는 스마트 홈 시스템, 자동 전자 장치, 로봇 공학, 정밀 농업, 드론 및 산업 자동화 등 다양한 분야를 포괄하는 제품을 통해 전 세계 500개 이상의 기업 고객에게 전문 드라이브 시스템 솔루션을 제공해 왔습니다.
업데이트 시간：2026-01-19
