Usuwanie duplikatów w przepływie danych SSIS

Question

Pracuję nad zadaniem przepływu danych SSIS.

Tabela źródłowa pochodzi ze starej bazy danych, która jest denormalizowana.

Tabela docelowa jest znormalizowana.

SSIS nie działa, ponieważ transmisja danych nie jest możliwa z powodu duplikatów (duplikaty w kolumnie klucza podstawowego).

Byłoby dobrze, gdyby SSIS mógł sprawdzić miejsce docelowe pod kątem dostępności bieżącego rekordu (przez sprawdzenie klucza), a jeśli istnieje, może zignorować jego naciśnięcie. Następnie może kontynuować z następnym rekordem.

Czy istnieje sposób radzenia sobie z tym scenariuszem?

Answer 1

Zakładając, że tabela docelowa jest podzbiorem tabeli źródłowej, powinieneś móc użyć Sort Transformation, aby pobrać tylko kolumny potrzebne do tabeli docelowej, a następnie zaznaczyć opcję "Usuń wiersze z duplikatami wartości sortowania", aby zasadniczo daje wyraźną listę rekordów na podstawie wybranych kolumn.

Następnie po prostu przekaż wyniki sortowania do miejsca docelowego i powinieneś być gotowy.