Czajnik Pentaho: konieczne jest dynamiczne tworzenie zadań ETL na podstawie danych wprowadzonych przez użytkownika

Question

W mojej aplikacji użytkownik może określić format swojego pliku. Na podstawie danych wprowadzonych przez użytkownika dynamicznie tworzymy pakiet SSIS.

http://lakshmik.blogspot.com/2005/05...eate-ssis.html

Dynamicznie utworzony pakiet SSIS jest używany do plików użytkownika przetwórczego.

Chcemy ocenić Pentaho-Kettle dla tego wymogu. Czy to możliwe przy użyciu Kettle do dynamicznego tworzenia zadań ETL na podstawie danych wejściowych użytkownika?

Jeśli nie Pentaho, czy istnieje narzędzie Java ETL, które pozwala na dynamiczne tworzenie zadań ETL?

Answer 1

Nie wiem o innych, ale w Kettle jest to tradycyjnie trudne, ale ludzie robili to na różne sposoby.

Najlepszym rozwiązaniem jest (nowy) krok wstrzykiwania, który pozwala wykonywać naprawdę sprytne czynności za pomocą metadanych - ale działa tylko w kilku podstawowych krokach. Myślę, że będzie to robić co chcesz, o tym przeczytać w Matt kółkach (PDI Stwórcy i Boga) blog tutaj:

http://www.ibridge.be/?s=inject&submit=Go

Jeśli tego nie robi praca; wtedy twoimi innymi opcjami są przejście do ogólnej nazwy pola trasy (nieprzyjemnej) lub dynamiczne generowanie transformacji. To jest łatwiejsze niż się wydaje - ale będziesz musiał znacznie bardziej zaangażować się w stronę Java niż zwykle dla narzędzia ETL.

Answer 2

Jest to możliwe i niezbyt trudne.

Możesz użyć Czajnika API do dynamicznego tworzenia transformacji, które mogą robić wszystko, co Kettle robi. Projektant GUI używa interfejsu API do tworzenia transformacji, więc wszystko, co możesz zrobić za pomocą interfejsu GUI, możesz wykonać za pośrednictwem interfejsu API.

Jeśli zajrzysz do drzewa źródłowego "test", znajdziesz wiele przykładów dynamicznego tworzenia transformacji.