Apache Kafka. Ghid de instalare MacOS.

Ghid A-Z pentru dezvoltarea sistemelor distribuite.

Trimiteți-ne un mesaj dacă sunteți interesat de Dezvoltarea software Blockchain și FinTech sau pur și simplu spuneți Bună la Pharos Production Inc .

Sau urmăriți-ne pe Youtube pentru a afla mai multe despre arhitectura software, sisteme distribuite, blockchain, sisteme de încărcare mare, microservicii și modele de proiectare a întreprinderilor.

Canal Youtube Pharos Production

Prefață.

Kafka este utilizat pentru construirea conductelor de date în timp real și a aplicațiilor de streaming. Este orizontal scalabil, tolerant la defecțiuni, rău rapid și rulează în producție în mii de companii.

În Kafka, comunicarea dintre clienți și servere se realizează cu un protocol TCP simplu, performant, cu limbă agnostică. Acest protocol este versionat și menține compatibilitatea cu o versiune mai veche. Oferim un client Java pentru Kafka, dar clienții sunt disponibili în multe limbi.

Ghid de instalare MacOS.

Ca de obicei, este foarte ușor să instalați Kafka pe MacOS. Instalarea Kafka este formată din trei părți. Primul lucru este să instalați Java 8. Da, Java 8. Kafka funcționează numai cu Java 8. Să folosim Brew pentru a face acest lucru. De asemenea, dacă nu ați instalat încă Cask, ar trebui să faceți acest lucru acum.

brew robinet caskroom / butoi
brew butoi instalează java8

Pasul următor este instalarea ZooKeeper – aplicația de descoperire a serviciilor. Acesta va fi instalat împreună cu Kafka. Este destul de ușor să faceți acest lucru.

brew install kafka

Acum suntem gata să folosim Kafka pe computerul nostru local. Dar vom face încă un lucru – să descărcăm arhiva Kafka. Vom primi fișiere de configurare din acesta. Din linkul de mai jos descărcați cea mai recentă versiune a Kafka. Kafka este creat folosind Scala, deci ar trebui să alegeți versiunea Scala preferată din arhivele Kafka disponibile. Alegerea noastră este Scala 2.12 și Kafka 2.1.0.

Sus & amp; Alergând.

Să începem ZooKeeper și Kafka la nivel local. Pentru configurarea ambelor clustere Kafka și Zoo, vom folosi fișiere de configurare din arhiva descărcată. Deconectați-l pur și simplu făcând dublu clic pe acesta și deschideți directorul nearhivat în terminal. Aici avem mai multe directoare și unul dintre ele este un director de configurare. Conține atât configurații Kafka în server.properties , cât și configurații ZooKeeper în zookeeper.properties .

Înainte de a începe ZooKeeper și brokerul Kafka, să schimbăm puțin configurațiile. La început, să schimbăm directorul de date ZooKeeper. În mod implicit, atât Kafka, cât și Zoo trimit toate datele către / tmp / data. Nu vrem să ne amestecăm cu / tmp în timpul unei dezvoltări, să mutăm toate datele în directorul curent. Creați directorul date și creați directoare zookeeper și kafka în interiorul acestuia.

Acum în config – & gt; zookeeper.properties schimbați calea dataDir pentru date în directorul zookeeper nou creat.

Să facem același lucru pentru brokerii Kafka. Deschideți config – & gt; server.properties și schimbați log.dirs în directorul kafka nou creat. De asemenea, setați numărul implicit de partiții la 3 – num.partitions – această modificare va face ca toate subiectele create automat să conțină 3 partiții în loc de 1.

Să începem mai întâi ZooKeeper.

$ & gt; zookeeper-server-start config / zookeeper.properties

Totul ar trebui să meargă așa cum era de așteptat și veți vedea un mesaj în terminal despre legarea portului 2181.

În al doilea terminal, fila să începem instanța de broker – Kafka în sine. Pentru a face acest lucru, pur și simplu rulați din același director.

kafka-server-start config / server.properties

Acum ar trebui să vedeți că și brokerul funcționează.

De asemenea, fila cu ZooKeeper trebuie să vă arate că a fost stabilită o nouă sesiune.

Să încercăm.

Pentru a încerca Kafka proaspăt instalat, să creăm un subiect nou. Rulați într-o filă separată a terminalului

kafka-topics –zookeeper 127.0.0.1:2181 –topic demo_topic –create –partitions 3 –replication-factor 1

Aici creăm un subiect nou – demo_topic – care include 3 partiții și nu este replicat (deocamdată avem doar 1 nod). De asemenea, comanda notifică ZooKeeper despre un subiect nou creat, ZooKeeper se află pe localhost: 2181.

Într-o filă separată, să creăm un producător pentru subiectul actual

kafka-console-producer –broker-list 127.0.0.1:9092 –topic demo_topic –producer-property acks = all

Aici specificăm adresele IP ale brokerilor – avem o singură ascultare pe localhost: 9092, subiectul și proprietatea selectate, care va aștepta confirmările din toate replicile (doar 1 în cazul nostru).

De asemenea, să creăm câteva mesaje fără chei.

Acum, să verificăm demo_topic și să începem un consumator.

kafka-topics –zookeeper 127.0.0.1:2181 –topic demo_topic –describe

kafka-console-consumer –bootstrap-server 127.0.0.1:9092 –topic demo_topic – de la început

Imediat primim două mesaje anterioare – acest lucru se întâmplă din cauza semnalizatorului –de la început.

Acum încercați să trimiteți mesaje noi de la producător, consumatorul le va primi imediat (înseamnă imediat 10 ms și mai mult).

Pentru a afla mai multe despre Kafka și cum să utilizați Kafka cu Java, faceți clic pe linkurile de mai jos

Kafka Utilizarea Java. Partea 1.

Kafka Utilizarea Java. Partea 2.

Vă mulțumim că ați citit!