데이터가 "분할"되기 시작하면 어떻게 합니까?

다음 시나리오를 상상해 보십시오. 팀의 여러 마이크로서비스는 잘 훈련된 밴드와 같아 각각 자신의 임무를 수행하고 조화롭게 공존해야 합니다. 하지만 언제부터 헤어지기 시작했는지는 모르겠습니다. 주문 서비스는 주문에 대해서만 이야기하고, 사용자 서비스는 사용자 데이터를 보호하며, 물류 측면은 자체 리그에 있습니다. 단순히 "계정 조정"을 요청하는 것만으로도 비즈니스 전체를 빠르게 파악하는 것은 물론이고 매일 오랜 시간이 걸립니다. 마치 수십 개의 대시보드를 동시에 바라보며 운전하는 듯한 느낌이 들지 않나요?

이는 팀만의 문제가 아닙니다. 마이크로서비스가 더 세밀하게 세분화될수록 데이터가 여러 섬으로 분산되기가 더 쉬워집니다. 어떤 사람들은 정기적으로 수동으로 동기화하고 이른 아침에 알람으로 잠에서 깨도록 선택합니다. 다른 사람들은 모든 데이터를 하나의 데이터베이스에 다시 저장하려고 시도하므로 시스템이 번거롭고 느려집니다.

그래서 질문이 생깁니다. 이렇게 "분리된" 데이터가 어떻게 그들의 독립적인 삶에 영향을 주지 않고 다시 가족이 될 수 있을까요?

다른 사고방식: 창고를 거실로 바꾸는 것

전통적인 데이터 웨어하우스는 아카이브 룸과 같습니다. 데이터는 들어가자마자 깔끔하게 보관되지만 흘러가지 않는다. 마이크로서비스 아키텍처에서 우리에게 필요한 것은 "공용 거실"입니다. 각 서비스는 여전히 자체 공간에 있지만 공유해야 하는 정보는 모든 사람이 보고 사용할 수 있도록 언제든지 거실로 가져올 수 있습니다.

이는 간단해 보이지만 이를 수행하는 데에는 몇 가지 장애물이 있습니다. 데이터를 수집하는 방법. 각 서비스는 서로 다른 데이터베이스를 사용할 수 있으며 변경 사항은 서로 다른 시간에 발생할 수 있습니다. 그림kpower이러한 프로젝트를 처리할 때 변경 데이터 캡처(CDC)와 같은 방법이 자주 사용됩니다. 각 데이터 조립 라인에 센서를 설치하는 것과 약간 비슷합니다. 새로운 "제품"이 생산 라인에서 나오면 자동으로 표시되고 포장되어 거실로 보내집니다. 이는 정기적으로 문을 두드리며 “새 데이터가 있습니까?”라고 묻는 것보다 훨씬 효율적이고 자연스럽습니다.

다음은 저장 방법입니다. 거실의 배치는 매우 중요합니다. 어수선하게 배치하거나 모든 사람이 똑바로 앉도록 제한해서는 안됩니다. 일반적인 접근 방식은 계층적 설계입니다. 원본 데이터가 들어온 후 먼저 "버퍼"에 배치되고 그대로 유지됩니다. 그런 다음 약간의 청소 및 변환 후에는 테마가 명확하고 찾기 쉬운 "중간 레이어"를 형성합니다. 특정 분석 또는 보고 요구 사항에 따라 "애플리케이션 계층"으로 결합됩니다. 재료를 창고에 넣어 반제품으로 가공한 뒤 레시피에 따라 다양한 요리로 조리하는 것과 같습니다.

그것을 사용하는 방법. 좋은 데이터 거실에는 문이 여러 개 있어야 합니다. 일부는 보고서를 자체적으로 실행할 수 있는 BI 도구로 이어집니다. 일부는 언제든지 긴급 상황에 대응할 수 있는 임시 쿼리를 지원합니다. 더 중요한 것은 API를 통해 데이터 흐름을 필요한 마이크로서비스로 역전시켜 데이터가 엔드포인트뿐만 아니라 실제로 순환할 수 있다는 것입니다.

왜 시도해 볼 가치가 있나요?

이렇게 하면 보고서를 더 빨리 작성하는 것 이상의 이점이 있습니다. 팀의 부담을 덜어줍니다. 일시적인 데이터 액세스 요구 사항으로 인해 개발이 중단될 필요가 없으며, 운영 및 유지 관리 시 일괄 작업으로 인해 전체 데이터베이스가 중단되는 것을 걱정할 필요가 없습니다.

더 중요한 것은 속도입니다. 업체에서 "지난주 프로모션 실적이 어땠나요?"라고 묻는 경우 더 이상 여러 시스템의 데이터를 하나로 모을 필요가 없습니다. 대답은 아마도 이미 거기에 있을 것이다. 이러한 실시간 특성은 빠른 결정이 필요할 때 경쟁력이 됩니다.

또 다른 숨겨진 이점이 있습니다. 바로 탄력성입니다. 데이터 웨어하우스는 비즈니스 데이터베이스와 독립적이며 이는 추가적인 안정적인 데이터 백업 관점과 동일합니다. 마이크로서비스가 일시적으로 실패하더라도 전반적인 비즈니스 상황에 대한 분석은 즉시 중단되지 않습니다.

아이디어에서 현실화까지의 주요 단계는 무엇입니까?

이 도로를 탐색할 가치가 있다고 생각되면 시작할 때 다음 방향을 고려해 보세요.

어디서부터 시작해야 할까요? 한 입에 뚱뚱해질 것이라고 기대하지 마십시오. 데이터 가치가 높고 주문이나 사용자 분석과 같은 파일럿으로서 가장 명백한 문제점이 있는 비즈니스 도메인을 선택하십시오. 작고 구체적인 프로젝트로 전체 프로세스를 검증하세요.

기술을 선택할 때 무엇을 찾아야 합니까? 많은 도구가 있지만 핵심은 자신의 리듬에 맞추는 것입니다. 기존 데이터베이스 및 메시지 대기열과의 통합이 쉬운지, 커뮤니티가 활성화되어 있는지, 팀에서 학습 비용을 감당할 수 있는지 여부에 따라 다릅니다. 좋다kpower고객을 지원할 때 '사용하기 쉬운지'와 '장기적으로 지속 가능한지'가 똑같이 중요하게 평가되는 경우가 많습니다.

스키마 디자인이 중요합니까? 매우 중요하지만 초기 단계에서 과도하게 엔지니어링하지 마십시오. "데이터 레이크 라이브러리"의 몇 가지 아이디어를 활용하여 버퍼의 원래 유연성을 유지하고 중간 계층과 애플리케이션 계층 간에 특정 계약을 설정할 수 있습니다. 핵심은 진화 능력을 유지하는 것이다.

품질을 관리하는 방법은 무엇입니까? 데이터가 흐르는 파이프라인에 체크포인트를 설정합니다. 예를 들어 매일 동기화되는 데이터의 양을 기록하고, 주요 필드의 null 값 비율을 모니터링하고, 서로 다른 소스의 동일한 지표가 대략적으로 일치하는지 비교합니다. 이러한 간단한 모니터링을 통해 많은 문제를 사전에 감지할 수 있습니다.

스스로에게 물어볼 수도 있습니다. 우리는 팀이 독립적이고 빠르게 가치를 제공할 수 있도록 마이크로서비스를 처음 도입했습니다. 그렇다면 이제 우리는 이러한 서비스를 위해 생성한 데이터를 통해 이들이 독립적이고 빠르게 정보 가치를 창출할 수 있는 '거실'도 구축한 것일까요?

이는 단순한 기술 프로젝트가 아니라 데이터를 다시 함께 작동시키는 방법에 대한 고민입니다. 각 마이크로서비스에서 생성된 작은 흐름이 잔잔한 호수로 원활하게 합쳐질 때, 여러분이 얻는 것은 명확한 반영일 뿐만 아니라 전체 생태계의 더 강한 활력이 될 것입니다.

2005년에 설립되었으며,kpower는 중국 광둥성 둥관에 본사를 둔 전문 컴팩트 모션 유닛 제조업체에 전념해 왔습니다. Kpower는 모듈형 드라이브 기술의 혁신을 활용하여 고성능 모터, 정밀 감속기 및 다중 프로토콜 제어 시스템을 통합하여 효율적이고 맞춤형 스마트 드라이브 시스템 솔루션을 제공합니다. Kpower는 스마트 홈 시스템, 자동 전자 장치, 로봇 공학, 정밀 농업, 드론 및 산업 자동화 등 다양한 분야를 포괄하는 제품을 통해 전 세계 500개 이상의 기업 고객에게 전문 드라이브 시스템 솔루션을 제공해 왔습니다.