Czy Airflow i Nifi wykonują tę samą pracę w przepływie pracy? Jakie są pro/con dla każdego? Potrzebuję przeczytać niektóre pliki json, dodać do nich więcej niestandardowych metadanych i umieścić je w kolejce Kafki, aby je przetworzyć. Udało mi się to zrobić w Nifi. Nadal pracuję nad przepływem powietrza. Próbuję wybrać najlepszy silnik workflow do mojego projektu. Dziękujemy!Airbnb Airflow vs Apache Nifi
Na dobry przegląd Airflow i Apache NiFi kasie to reddit postu: https://www.reddit.com/r/bigdata/comments/51mgk6/comparing_airbnb_airflow_and_apache_nifi/
dla konkretnego użytkowej przypadku przyjmowaniem plików JSON, ich wzbogacenia i routing im Kafki wierzę NiFi jest odpowiednim narzędziem dla praca. Kilka procesorów można potencjalnie korzystających, jak również dokumentacji dla każdego, są poniżej:
JoltTransformJSON: https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.JoltTransformJSON/index.html
PublishKafka (lub PublishKafka_0_10 w zależności od wersji): https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.kafka.pubsub.PublishKafka/index.html