Czy można się dowiedzieć, jaki zakres zewnętrznych adresów IP używają pracownicy DataFlow korzystający z GCP? Celem jest skonfigurowanie pewnego rodzaju filtrowania IP w usłudze zewnętrznej, aby tylko nasze zadania DataFlow działające na GCP mogły uzyskać dostęp do usługi.Adresy IP pracowników Google Cloud Platform DataFlow:
Najlepszym rozwiązaniem byłoby uaktualnienie, aby można było używać SSL lub innych mechanizmów silnego uwierzytelniania.
Możesz użyć opcji --network= do kontrolowania sieci GCE, do której są przypisane maszyny robocze. Spójrz na numer GCE docs on networking, aby dowiedzieć się, jak skonfigurować VPN (jak sugeruje komentarz Elmara). Możesz także spojrzeć na konfigurowanie pojedynczego komputera w sieci za pomocą statycznego, zewnętrznego adresu IP i używanie go jako serwera proxy dla innych maszyn wirtualnych w sieci.
Nie jest to wzorzec użycia, który przetestowaliśmy, więc mogą występować problemy z opóźnieniem lub przepustowością ruchu przez serwer proxy/VPN. Najprawdopodobniej będziesz musiał uważać, aby wysyłać ruch za pośrednictwem tego serwera proxy, aby nie przypadkowo przejąć ruch wykorzystywany przez każdego pracownika do komunikacji z usługą Dataflow.
Czy masz więcej informacji o tym, co próbujesz zrobić? Filtry oparte na adresie IP nie są wystarczające do zapewnienia bezpieczeństwa/uwierzytelnienia dla usługi. –
Pewnie. Mamy więc produkcyjny klaster Kafka działający poza GCP. Chcielibyśmy przetworzyć dane za pomocą DataFlow (używając niestandardowego źródła, które opracowaliśmy). Chcielibyśmy jednak zmniejszyć narażenie naszego klastra Kafka. Używamy Kafki 0.8.x, więc nie mamy SSL, ani uwierzytelnienia wypalonego w protokole. – Thomas
Nie sądzę, żebyś wiedział to z góry, ponieważ przepływ może dynamicznie skalować się i nie może korzystać z puli predefiniowanych statycznych adresów IP. Cały zakres IP GCE jest zbyt duży, aby był przydatny. Mój pomysł byłby VPN? Jeśli naprawdę chcesz iść z adresami IP, jedyny sposób, jaki mogę wymyślić to skrypt, który monitoruje adresy IP przepływów danych i "w locie" rekonfiguruje twoją zaporę ogniową. –