W jaki sposób należy przeprowadzić automatyczne testowanie skryptów ETL SQL i SPROC?

Question

Mamy wiele pakietów DTSX, które wydzielają dane transformacji i ładowania z szeregu starszych baz danych -> SQL Server 2k8 R2. (Przez ODBC)

większości naszych procesów ETL skryptów T-SQL

Dane spuścizna jest źle zorganizowany bałagan & najczęściej szczypnięci & zmiany możemy wprowadzić do naszych skryptów ETL mają do czynienia z tym źle sformułowany dane.

Chcielibyśmy wprowadzić jakiś proces automatyzujący testowanie tych SPROCS/Scripts, które wykonują te transformacje.

Co mamy wymyślić siebie jest:

• Napij znanego źródła danych wejściowych (obsługiwana w lokalnej bazie danych) wszechobecnej
• uruchomić DTSX Pakiety do generowania wyjścia
• Have niektóre z oczekiwanych wstępnie utworzonych danych wyjściowych w innym miejscu w SQL Server.
• Napisz własne skrypty weryfikacyjne, aby porównać oczekiwane z rzeczywistymi.

Zastanawiam się, czy istnieją inne aplikacje procesów/systemów/db-testing, które powinniśmy wziąć pod uwagę.

Answer 1

Spójrz na tSQLt - the Database Unit Testing Framework for SQL Server. To sprawia, że ​​pisanie solidnych testów jest dość łatwe.

To (jeszcze) nie pozwala na testowanie skryptów, ale można je zawijać do procedur składowanych.

Answer 2

Wcześniejsze bazy danych są zawsze trudne.

Radzę zapoznać się z tym stanowiskiem: http://quality-gates.com/?p=1284, gdzie omówię podstawowe testy, które należy wykonać, aby zweryfikować proces ETL na różnych warstwach: Operacyjnym, Datawarehouse i innych.

W naszych projektach wykorzystujemy bramy jakości. Ponieważ nie jest częścią ETL, sprawia, że ​​walidacja jest czysta i obiektywna. wydaje mi się to, czego szukasz.