kopiowanie danych z ogromnego stołu produkcyjnego

Question

Firma, dla której pracuję, ma kilka ogromnych tabel dziennika/dziennika, które są zapisywane co 10 sekund przy transakcjach. Chciałbym skopiować wiele danych z tej tabeli i usunąć ją z tej tabeli, ponieważ około 75% starych danych można umieścić w tabeli archiwum lub coś podobnego, ale jeśli zrobię to źle, a tabela zostanie zablokowana to byłaby katastrofa.

W poprzednim pytaniu facet wymyślił coś takiego, chciałbym wiedzieć, że to nie wszystko zepsuje, czy wskazówka nolock wystarczy, aby zachować bezpieczeństwo, a wszystkie pisma działają dobrze? Jeśli nie, co powinienem zrobić?

set identity_insert newtable on 
DECLARE @StartID bigint, @LastID bigint, @EndID bigint 
select @StartID = max(id)+1 
from newtable 

select @LastID = max(ID) 
from oldtable 

while @StartID < @LastID 
begin 
set @EndID = @StartID + 1000000 

insert into newtable (FIELDS,GO,HERE) 
select FIELDS,GO,HERE from oldtable (NOLOCK) 
where id BETWEEN @StartID AND @EndId 

set @StartID = @EndID + 1 
end 
set identity_insert newtable off 
go 

Answer 1

Nadzwyczajna ostrożność podczas generowania listy jest prawdopodobnie za burtą, ale konieczne będzie uruchomienie usuwania partii.

Dla INSERT prawdopodobnie nie potrzebujesz pętli WHILE. Dla DELETE, choć chciałbym użyć czegoś takiego (dostosować wielkość partii do swoich potrzeb):

WHILE 1=1 
BEGIN 
    DELETE TOP (10000) o 
    FROM OldTable o 
    INNER JOIN NewTable N 
     ON o.id = n.id 
    IF @@ROWCOUNT < 10000 BREAK; 
END 

To będzie DELETE rekordy 10k naraz tak długo jak istnieją rekordy do usunięcia.

Answer 2

Jedną z opcji jest, aby podzielić tabelę na godzinę (zakładając, że masz kolumnę w tabeli DATETIME że domyślnie GETDATE() na każdej wkładce). Posiadanie partycji umożliwia wykonywanie czynności konserwacyjnych (upuszczanie, kopiowanie itd.) Na starszych partycjach bez wpływu na bieżące.