마이크로서비스에서 Kafka를 사용하는 이유

심포니 오케스트라처럼 동기화되도록 대규모 서보 모터 그룹을 제어해 본 적이 있습니까?

수십 개의 로봇 팔이 동시에 돌아가고 센서 데이터가 계속해서 쏟아지는 자동화 생산 라인 프로젝트를 진행한 적이 있다. 처음에는 일반 메시지 큐를 사용했는데 특정 링크의 데이터 양이 갑자기 급증하면 전체 시스템이 "멈추기" 시작했다.

이때, 고속도로의 교통 흐름과 같은 데이터를 데이터로 만들어 특정 구간이 혼잡하더라도 다른 차선은 여전히 ​​비어 있는지 궁금할 것입니다.

나중에 Kafka를 사용하여 마이크로서비스를 처리한다는 아이디어를 접하게 되었습니다. 간단히 말해서 막히지 않는 컨베이어 벨트 시스템과 같습니다. 조향 기어 위치 데이터 분석을 담당하는 프로그램이나 기계적 진동 주파수를 기록하는 다른 서비스와 같은 각 마이크로서비스는 이 컨베이어 벨트에서 필요한 데이터 패킷을 독립적으로 가져와 서로 방해하지 않고 자체 업무를 처리할 수 있습니다.

예를 들어보세요. 세 가지 마이크로서비스가 있다고 가정합니다. A는 센서 신호를 수신하고, B는 동작 궤적을 계산하고, C는 실행 로그를 기록합니다. 전통적인 아키텍처에서 B는 A가 작업을 완료할 때까지 기다리고 C는 B를 기다려야 합니다. 그러나 Kafka를 사용한 후 A는 원본 데이터를 "컨베이어 벨트"에 올려 놓고 B와 C는 동시에 액세스하여 독립적으로 작업할 수 있습니다. C가 일시적으로 느려지더라도 A와 B의 속도는 느려지지 않습니다.

이것이 기계 프로젝트에서 특히 중요한 이유는 무엇입니까? 기계 시스템은 종종 실시간이며 동시성이 높기 때문입니다. 6축 로봇의 각 관절의 서보 모터는 밀리초 수준의 데이터를 피드백합니다. 데이터 처리 체인이 지연되면 전체 움직임의 조정이 손실됩니다. Kafka의 "지속적 로그" 설계는 서비스가 다시 시작되더라도 가동 중지 시간 동안의 데이터가 손실되지 않도록 보장합니다. 마치 각 장치의 실행 로그를 지속적으로 기록하여 언제든지 재생할 수 있는 것과 같습니다.

누군가 나에게 "좋은 것 같지만 복잡할까요?"라고 물었습니다. 사실 핵심은 기술 자체가 얼마나 심오한지가 아니라 그것이 시나리오에 부합하는지 여부입니다. 간단한 스윙을 하기 위해 서보 2~3개만 제어한다면 유용하지 않을 수 있습니다. 그러나 수백 개의 데이터 소스가 있는 전체 작업장 자동화 장비 그룹을 직면하고 있는 경우 이 아키텍처는 문제를 해결하기 위해 밤 늦게까지 초과 근무를 하는 고통을 피하는 데 도움이 될 수 있습니다.

모델을 선택할 때 일반적으로 세 가지 사항을 고려합니다. 첫 번째는 모든 센서가 동시에 보고하는 폭풍우 시나리오와 같이 처리량이 데이터 피크와 일치할 수 있는지 여부입니다. 두 번째는 지연이 기계 시스템의 허용 범위 내에 있는지 여부입니다. 세 번째는 운영 및 유지 관리 비용입니다. Kafka는 이러한 차원에서 좋은 균형점을 찾았습니다.

물론 만병통치약은 없습니다. 주제를 나누는 방법, 파티션을 디자인하는 방법 등 데이터 흐름에 대한 명확한 계획이 필요합니다. 이는 새로운 공장의 컨베이어 벨트 경로를 계획하는 것과 같습니다. 어떤 데이터가 빠른 차선에 들어가고 어떤 데이터를 통합하여 운송할 수 있는지 미리 생각해야 합니다.

실제 구현 경험에 대해 이야기해보겠습니다. 초기 배포 중에 팀은 "게시-구독" 사고 방식의 이러한 변화에 적응해야 하며 더 이상 서비스 간 직접 호출을 고집하지 않아야 합니다. 그러나 일단 실행이 시작되면 시스템의 유연성이 크게 향상됩니다. 서비스가 업그레이드되면 다른 서비스도 평소대로 실행됩니다. 새로운 데이터 분석 모듈이 추가되면 원본 링크를 변경하지 않고 관련 데이터 스트림을 구독하도록 허용하기만 하면 됩니다.

기계 시스템의 디지털 세계는 눈에 보이지 않는 경우가 많지만 물리적 장비의 움직임이 정확하고 부드러운지 여부를 결정합니다. 적절한 데이터 아키텍처를 선택하는 것은 정확한 기계 메커니즘에 일치하는 신경계를 장착하는 것과 같습니다. 직접 눈에 보이지는 않지만 각 기어의 회전을 더욱 확실하게 만듭니다.

2005년에 설립되었으며,kpower는 중국 광둥성 둥관에 본사를 둔 전문 컴팩트 모션 유닛 제조업체에 전념해 왔습니다. 모듈식 드라이브 기술의 혁신을 활용하여,kpower고성능 모터, 정밀 감속기, 멀티 프로토콜 제어 시스템을 통합하여 효율적이고 맞춤형 스마트 드라이브 시스템 솔루션을 제공합니다.kpower스마트 홈 시스템, 자동 전자 장치, 로봇 공학, 정밀 농업, 드론, 산업 자동화 등 다양한 분야를 포괄하는 제품을 통해 전 세계 500개 이상의 기업 고객에게 전문 드라이브 시스템 솔루션을 제공해 왔습니다.