마이크로서비스 간 Kafka 통신

그날 밤, 조립 라인 경보가 다시 울렸습니다.

당신은 작업장에 서서 로봇 팔의 조화되지 않은 딸깍거리는 소리를 듣고 있습니다. 여러 서보 장치의 데이터는 끈이 끊어진 연과 같습니다. 명령이 전송되었지만 특정 관절이 반 비트 느립니다. 온도는 비정상이 아니며 하중도 정상이지만 전체 이동 궤적이 약간 벗어나 부품 배치를 재작업해야 하는 상황이 발생합니다.

반복해서 확인한 결과 모터 자체에 문제가 있는 것이 아니라 여러 제어 모듈 간의 통신에 문제가 있다는 사실을 발견했습니다. 몇 밀리초 동안 데이터가 손실되어 동작을 연결할 수 없었습니다.

"마이크로서비스 간의 신뢰할 수 없는 통신"으로 인해 발생하는 이와 같은 제어 편차는 실제로 기계 및 자동화 시스템에서 매우 일반적입니다. 특히 여러 서보 장치, 센서 및 PLC가 함께 작동해야 하는 경우 데이터 흐름이 지연되거나 손실되거나 순서가 어긋나면 전체 시스템에서 눈에 보이거나 보이지 않는 지터가 발생할 수 있습니다.

이때 실시간 데이터를 컨베이어 벨트의 부품처럼 차례대로 안정적으로 전송하여 누구도 중간에 뒤처지는 일이 없도록 보다 강력한 통신 아키텍처가 필요할 수 있습니다.

그리고 Kafka가 도움을 줄 수 있습니다.

이는 마술이 아니라 단지 설계 아이디어일 뿐입니다. 데이터를 연속적인 흐름으로 수집, 배포 및 보관하면 각 마이크로서비스가 서로를 차단하지 않고 요청 시 데이터에 액세스할 수 있습니다. 고속의 질서정연한 컨베이어 벨트라고 생각하면 됩니다. 모든 서보 모터 위치 데이터, 토크 피드백, 온도 정보가 하나씩 "데이터 패키지"에 저장됩니다. 이 데이터가 필요한 모든 모듈은 다른 모듈의 판독에 영향을 주지 않고 언제든지 컨베이어 벨트에서 필요한 패키지를 가져올 수 있습니다.

이렇게 하면 서비스가 일시적으로 사용 중이거나 다시 시작되더라도 데이터 흐름이 중단되지 않고 픽업될 때까지 컨베이어 벨트에서 조용히 기다립니다.

이점은 무엇입니까? 분명합니다.

예를 들어, 시스템을 보다 유연하게 확장할 수 있습니다. 기존 통신을 재배선하거나 중단하지 않고 모니터링 장치를 추가하고 동일한 데이터 스트림에서 정보 읽기를 시작하기만 하면 됩니다. 또는 특정 제어 모듈에 기록 데이터가 필요한 경우 전체 시스템을 중지할 필요 없이 이전 데이터 패킷을 직접 추적할 수 있습니다.

물론 구현에는 몇 가지 설계 고려 사항이 필요합니다. 예를 들어, 데이터 주제 분할을 계획해야 합니다. 각 모터는 별도의 주제여야 합니까, 아니면 데이터 유형별로 나누어야 합니까? 데이터 보존 정책은 실제 시나리오의 실시간 요구 사항에 따라 설정되어야 합니다. 주요 관제 서비스는 최신 데이터를 먼저 가져오고, 분석 서비스는 기존 데이터를 천천히 소화할 수 있도록 소비자 그룹 구성도 있습니다.

다소 추상적으로 들리지만 실제 상황에 적용해보면 이해하기 쉬울 것입니다.

조립 라인이 있고 정밀한 이동을 완료하려면 6개의 서보 축이 함께 작동해야 한다고 가정해 보겠습니다. 기존의 지점 간 통신을 사용하는 경우 주 제어 PLC와 특정 드라이버 사이에 네트워크 지터가 발생하면 전체 동작 체인의 균형이 깨질 수 있습니다. Kafka를 데이터 센터로 사용하고 각 축이 자체 상태 데이터를 실시간으로 게시하는 경우 주 제어 PLC는 이러한 데이터 스트림을 구독하여 실시간으로 다음 명령을 계산하기만 하면 됩니다. 한 축의 데이터가 몇 밀리초 늦어도 다른 축은 정체되지 않습니다. 최신 기존 데이터에 따라 계속해서 미세 조정한 다음 지연된 데이터가 도착하면 신속하게 통합하여 전체 작업의 일관성이 유지됩니다.

어떤 사람들은 이것이 시스템의 복잡성을 증가시킬 것인가라고 묻기도 합니다.

예, 처음에는 데이터 흐름 및 배포 아키텍처를 설계하는 데 더 많은 시간을 투자해야 합니다. 그러나 장기적으로는 통신의 신뢰성을 "네트워크의 일시적인 상태에 의존"에서 "지속적인 데이터 흐름에 의존"으로 변경하여 산발적인 오류의 위험을 줄입니다. 작업자가 손으로 부품을 운반하는 대신 컨베이어 벨트를 사용하는 것과 같습니다. 처음에는 트랙을 깔아야 하지만 일단 작동하면 누군가 손이 미끄러져 생산을 중단하기가 쉽지 않습니다.

사용을 시작하는 방법은 무엇입니까?

표준적인 대답은 없지만 일반적으로 하위 시스템에서 시험해 볼 수 있습니다. 예를 들어 먼저 온도 모니터링 및 서보 상태 보고가 Kafka 스트림을 통과하도록 하고, 핵심 제어 명령은 계속 원래 실시간 채널을 통과하도록 유지합니다. 데이터 흐름 및 모니터링 도구의 특성에 익숙해지면 적당한 실시간 요구 사항에 따라 더 많은 데이터 모듈을 점진적으로 마이그레이션할 수 있습니다. 핵심은 데이터 흐름에 '차단' 또는 '패킷 누출'이 있는지 명확하게 확인할 수 있도록 충분한 로그와 모니터링을 예약하는 것입니다.

이에 대해 말하자면, IT 아키텍처 작업과 더 비슷하게 들리는데, 기계 제어와 무슨 관련이 있을까?라고 생각할 수도 있습니다.

실제로 그 관계는 점점 더 가까워지고 있다. 오늘날의 서보 시스템은 더 이상 단순한 "명령-실행" 주기가 아닙니다. 더 많은 실시간 피드백, 환경 데이터, 예측 유지 관리 지표를 통합해야 합니다. 이러한 데이터가 기존 통신 방식을 통해 하나씩 동기화되면 효율성과 안정성에 병목 현상이 발생합니다. Kafka와 같은 스트리밍 데이터 플랫폼은 데이터를 흩어진 물방울이 아닌 연속적인 물의 흐름으로 처리한다는 아이디어를 제공합니다. 시스템의 각 부분은 필요에 따라 액세스할 수 있으므로 분리할 수 있을 뿐만 아니라 전체 동기화를 유지할 수도 있습니다.

물론 이 모든 것은 안정적이고 신뢰할 수 있는 하드웨어 기반과 분리될 수 없습니다. 서보 모터와 드라이브의 성능은 여전히 ​​이 모든 것을 위한 전제 조건입니다. 원활하게 작동하는 컨베이어 벨트처럼 그 부품 자체가 정확하고 튼튼해야 합니다.

따라서 다중 장치 협업 시 데이터 지연 및 손실로 인해 어려움을 겪는다면 단순히 하드웨어나 네트워크를 보는 관점을 넘어 데이터 흐름 자체에 대해 보다 강력한 "전송 시스템"을 설계해야 하는지 생각해 보는 것이 좋을 것입니다.

결국 로봇을 부드럽게 움직이게 하는 것은 모터가 얼마나 빠르게 회전하는지 뿐만 아니라, 데이터가 얼마나 꾸준히 실행되는지도 중요합니다.

kpower서보 드라이브 및 자동화에 중점을 두고 하드웨어부터 데이터 흐름까지 보다 안정적인 모션 제어 기반을 구축합니다.

2005년에 설립되었으며,kpower는 중국 광둥성 둥관에 본사를 둔 전문 컴팩트 모션 유닛 제조업체에 전념해 왔습니다. 모듈식 드라이브 기술의 혁신을 활용하여,kpower고성능 모터, 정밀 감속기, 멀티 프로토콜 제어 시스템을 통합하여 효율적이고 맞춤형 스마트 드라이브 시스템 솔루션을 제공합니다. Kpower는 스마트 홈 시스템, 자동 전자 장치, 로봇 공학, 정밀 농업, 드론 및 산업 자동화 등 다양한 분야를 포괄하는 제품을 통해 전 세계 500개 이상의 기업 고객에게 전문 드라이브 시스템 솔루션을 제공해 왔습니다.