ㅅㅇ

환경 Windows 11 kafka 2.8.0 https://kafka.apache.org/downloads 1. 설치 및 실행 1. 다운로드 위 사이트에서 2.8.0 버전 다운로드 후 원하는 곳에 압축 풀기 cmd 창 켜기 압축 푼 kafka 디렉토리로 이동 cd C:\backendCLASS\99.devEnv\kafka2.8.0 2. zookeeper 실행 # zookeeper 실행 명령어 bin\windows\zookeeper-server-start.bat config\zookeeper.properties 새로운 cmd 창을 띄운 뒤, zookeeper 정상 실행되었는지 port확인 netstat -na | findstr "2181" 3. kafka 실행 # kafka 실행 명령어 bin\window..

Kafka란? Apache KafKa(아파치 카프카)는 대용량의 이벤트 데이터를 처리하기 위해 링크드인(LinkedIn)에서 개발한 분산 스트리밍 플랫폼이다. 발행-구독 메시지를 분산 커밋 로그로 재해석한 시스템. 대용량의 실시간 로그처리에 특화되어 있는 솔루션으로 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 Fault-Tolerant한 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리해준다. 다수의 기업이 대용량 데이터의 저장 및 처리를 위한 전송 계층으로 Kafka를 사용합니다. 소개된 수많은 개발 프로젝트에서 Kafka는 데이터 스테이징과 관련하여 중요한 역할을 수행해왔습니다. Kafka의 특징 카프카는 파티션이란 개념을 도입하여 여러 개의 파티션을 서버들에 분산시켜 나누어 ..

MQ(Message queue) 란? 크게, Producer, Consumer 로 구성되며, Producer는 메시지를 큐에 전송하고 Consumer가 큐의 메시지를 처리하는 방식이다. MQ는 비동기로 요청을 처리하고 queue에 저장하여 consumer에게 병목을 줄여줄 수 있다. MQ의 종류 RabbitMQ, Kafka, ActiveMQ … 각 시스템 목적에 맞춰 사용하는 게 가장 바람직하다. 쓰이는 이유 일반적으로 Server-Client 구조에서는 사용자가 요청을 하면 Server에서는 Request에 대한 처리를 한 후 Response 한다. 이런 간단한 구조는 MQ와 같은 미들웨어를 사용할 필요가 없다. 서버 간 데이터를 주고받을 때 만약 서버가 죽거나 서버 점검 등으로 다운 타임이 발생하는 ..