1. 카프카 개요

카프카를 사용하기 전

• source application 개수와 target application 개수가 많아진다.

  • 데이터 전송 라인이 많아진다.

  → 배포와 장애에 대응하기 어렵다.

  → 데이터 전송 시에 프로토콜 포맷의 파편화가 심해진다.

  • 파편화란? 프로토콜 포맷의 **파편화(fragmentation)**는 네트워크 통신이나 시스템 간의 데이터 교환에서 통신 프로토콜이나 데이터 포맷이 일관되지 않게 사용하는 현상
  • 데이터 포맷 내부에 변경 사항이 있을 때 유지보수가 어려워질 수도 있다.

  

  데이터 전송라인이 하나인 상태

  

  source application and target application이 많아지는 경우.

  

  데이터 전송 라인이 많아지면서 프로토콜 포맷의 파편화가 심해짐.

  

카프카를 사용 후

• 카프카는 데이터의 중추신경계 역할을 하게 되었다.

• 데이터 아키텍처 예시

  

카프카의 특징

• 아파치 카프카는 source application과 target application의 결합도(coupling)을 약하게 하기 위해서 나왔다.

• 카프카는 source application과 target application 사이의 브로커와 같은 역할을 한다.

  

  

  데이터 제공자를 producer, 데이터를 소비자를 consumer, topic은 queue와 비슷하게 받아들인다.

2. 카프카의 토픽이란?

카프카의 topic에 이름을 붙이면 유지보수시 편리하게 관리 할 수 있다.

• 한 토픽의 내부는 여러개의 partition으로 구성할 수 있다.
• partition 내부는 queue 방식(선입선출)으로 동작한다.
• consumer가 데이터를 가져가도 데이터는 삭제되지 않음.(파티션에 그대로 남음)