신입개발자

보호되어 있는 글입니다.

참고 공식 문서 : https://kafka.apache.org/documentation/#upgrade [업그레이드 전 ] kafka 버전(with Kraft) : 3.4 [업그레이드 후] kafka 버전(with Kraft) : 3.5 [카프카 버전 확인] ./kafka-topics.sh --version [예시] [kafka:/home/kafka/kafka/bin] ./kafka-topics.sh --version 3.4.0 (Commit:2e1947d240607d53) [ 백업 ] server.properties 에 작성한 log.dirs와 metadata.log.dir 의 폴더 백업 cp -r kraft-combined-log backup-kraft-combined-log/ cp -r metad..

broker : 토픽의 데이터 저장하고, 프로듀서로부터 메시지 받아 저장하고, 컨슈머에게 메시지 전달하는 역할 controller : 파티션 리더와 복제를 관리하는 역할 ※ controller 를 나중에 추가하면 발생하는 에러 [2023-07-31 09:42:47,913] ERROR [SharedServer id=4] Got exception while starting SharedServer (kafka.server.SharedServer) java.lang.IllegalStateException: Configured voter set: [4, 5, 6, 7, 8] is different from the voter set read from the state file: [4, 5, 6]. Check if ..

[ 노드 하나씩 비활성화하는 경우 ]kraft 폴더 아래에 있는 server.properties를 보면 각 서버별로 node.id를 정했다.node.id=1 은 서버1node.id=2 은 서버2node.id=3 은 서버3acks 옵션OPTION손실율속도DESCRIPTIONacks =  0상상프로듀서는 리더 브로커에게 메시지를 전송한 후 전송 성공 여부를 확인하지 않는다. 이 경우, 프로듀서는 메시지 전송이 성공했는지 여부를 알 수 없다.acks  = 1중중프로듀서는 자신이 보낸 메시지에 대해 카프카의 leader가 메시지를 받았는지 기다린다. follower들은 확인하지 않는다. leader가 확인 응답을 보내고, follower에게 복제가 되기 전에 leader가 fail되면, 해당 메시지는 손실될 수..

What is Consumers read data from a topic (identified by name) Consumers know which broker to read from (Broker Discovery mechanism) In case of broker failures, consumers know how to recover Data is read in order within each paritions If there are too many consumers than paritions then some consumers will be inactive Consumer Poll Behavior while (true) { List batch = consumer.poll(Duration.ofMill..

Kafka Stream 정의 : kafka에 저장된 데이터를 처리하고 분석하기 위해 사용하는 클라이언트 라이브러리. 어떤 Topic으로 들어오는 데이터를 consume하여 kafka streams에서 제공하는 처리 로직을 통해 처리 후 다른 Topic으로 전송하거나 끝내는 동작 수행. 장점 카프카와 완벽 호환 logstash, spark와 같은 오픈소스 툴과 다르게 카프카 버전에 맞춰 호환을 제공한다. 데이터 유실과 중복처리 되지 않고 딱 1번만 처리되는 것을 보장한다. 스케줄링 도구가 필요 없다. spark의 경우 클러스터 관리자, 리소스 관리자, 서버 등 필요하지만 kafka streams는 streams application만 가지고 사용할 수 있다. streams DSL과 processor API..

Kafka Producer 개요 발행/구독 모델에서 발행을 담당 카프카에 이벤트(= 레코드, 메시지)를 게시하는 클라이언트 애플리케이션 카프카 토픽에 대해 메시지를 발행하여 생산하는 주체 이벤트에는 키, 값, 타임스탬프 및 선택적 메타데이터 헤더 (ProducerRecord의 형태로 전달) 키 : kafka 내의 메시지 라우팅 및 파티셔닝에 사용 값 : 메시지의 실제 내용 컨슈머와 완전히 분리 프로듀서는 소비자를 기다릴 필요가 없음 확장성 특징 부하 분산 ○ 프로듀서는 중간 라우팅 계층 없이 파티션의 리더인 브로커에 직접 데이터를 보냄 ○ 모든 카프카 노드는 프로듀서가 요청을 적절하게 지시할 수 있도록, 주어진 시간에 어떤 서버가 활성 상태이고 토픽 파티션의 리더가 어디있는지에 대한 메타 데이터 요청에 ..

Kafka - 개념 및 용어https://victorydntmd.tistory.com/344https://freedeveloper.tistory.com/396?category=909995https://engkimbs.tistory.com/691 아파치 카프카(Apache Kafka) 아키텍처 및 동작 방식| 아파치 카프카(Apache Kafka)란? 아파치 카프카(Apache Kafka)는 분산 스트리밍 플랫폼이며 데이터 파이프 라인을 만들 때 주로 사용되는 오픈소스 솔루션입니다. 카프카는 대용량의 실시간 로그처리engkimbs.tistory.com 설치 가이드https://kafka.apache.org/quickstart - APACHE KAFKA QUICKSTARTNOTE: Your local env..