Jak mogę niedrogo określić, czy kolumna zawiera tylko NULL rekordy?

Question

Mam dużą tabelę z 500 kolumnami i 100 milionami wierszy. Na podstawie niewielkiej próbki sądzę, że tylko około 50 kolumn zawiera dowolne wartości, a pozostałe 450 zawiera tylko wartości NULL. Chcę wyświetlić kolumny, które nie zawierają danych.

Na moim obecnym sprzęcie, zajęłoby około 24 godzin do kwerendy każdą kolumnę (select count(1) from tab where col_n is not null)

Czy istnieje tańszy sposób określić, że kolumna jest całkowicie pusta/null?

Answer 1

Co o tym:

SELECT 
    SUM(CASE WHEN column_1 IS NOT NULL THEN 1 ELSE 0) column_1_count, 
    SUM(CASE WHEN column_2 IS NOT NULL THEN 1 ELSE 0) column_2_count, 
    ... 
FROM table_name 

?

Możesz łatwo utworzyć to zapytanie, jeśli używasz tabeli INFORMATION_SCHEMA.COLUMNS.

EDIT:

Inny pomysł:

SELECT MAX (column_1), MAX (column_2) ..... Z table_name

Jeżeli wynik zawiera wartość kolumna jest wypełniana. To powinno wymagać jednego skanowania tabeli.

Answer 2

Spróbuj jeden -

DDL:

IF OBJECT_ID ('dbo.test2') IS NOT NULL 
    DROP TABLE dbo.test2 

CREATE TABLE dbo.test2 
(
     ID BIGINT IDENTITY(1,1) PRIMARY KEY 
    , Name VARCHAR(10) NOT NULL 
    , IsCitizen BIT NULL 
    , Age INT NULL 
) 

INSERT INTO dbo.test2 (Name, IsCitizen, Age) 
VALUES 
    ('1', 1, NULL), 
    ('2', 0, NULL), 
    ('3', NULL, NULL) 

Query 1:

DECLARE 
     @TableName SYSNAME 
    , @ObjectID INT 
    , @SQL NVARCHAR(MAX) 

SELECT 
     @TableName = 'dbo.test2' 
    , @ObjectID = OBJECT_ID(@TableName) 

SELECT @SQL = 'SELECT' + CHAR(13) + STUFF((
    SELECT CHAR(13) + ', [' + c.name + '] = ' + 
     CASE WHEN c.is_nullable = 0 
      THEN '0' 
      ELSE 'CASE WHEN ' + totalrows + 
       ' = SUM(CASE WHEN [' + c.name + '] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END' 
     END 
    FROM sys.columns c WITH (NOWAIT) 
    CROSS JOIN (
     SELECT totalrows = CAST(MIN(p.[rows]) AS VARCHAR(50)) 
     FROM sys.partitions p 
     WHERE p.[object_id] = @ObjectID 
      AND p.index_id IN (0, 1) 
    ) r 
    WHERE c.[object_id] = @ObjectID 
    FOR XML PATH(''), TYPE).value('.', 'NVARCHAR(MAX)'), 1, 2, ' ') + CHAR(13) + 'FROM ' + @TableName 

PRINT @SQL 

EXEC sys.sp_executesql @SQL 

Wyjście 1:

SELECT 
    [ID] = 0 
, [Name] = 0 
, [IsCitizen] = CASE WHEN 3 = SUM(CASE WHEN [IsCitizen] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END 
, [Age] = CASE WHEN 3 = SUM(CASE WHEN [Age] IS NULL THEN 1 ELSE 0 END) THEN 1 ELSE 0 END 
FROM dbo.test2 

Query 2:

DECLARE 
     @TableName SYSNAME 
    , @SQL NVARCHAR(MAX) 

SELECT @TableName = 'dbo.test2' 

SELECT @SQL = 'SELECT' + CHAR(13) + STUFF((
    SELECT CHAR(13) + ', [' + c.name + '] = ' + 
     CASE WHEN c.is_nullable = 0 
      THEN '0' 
      ELSE 'CASE WHEN '+ 
       'MAX(CAST([' + c.name + '] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END' 
     END 
    FROM sys.columns c WITH (NOWAIT) 
    WHERE c.[object_id] = OBJECT_ID(@TableName) 
    FOR XML PATH(''), TYPE).value('.', 'NVARCHAR(MAX)'), 1, 2, ' ') + CHAR(13) + 'FROM ' + @TableName 

PRINT @SQL 

EXEC sys.sp_executesql @SQL 

Wyjście 2:

SELECT 
    [ID] = 0 
, [Name] = 0 
, [IsCitizen] = CASE WHEN MAX(CAST([IsCitizen] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END 
, [Age] = CASE WHEN MAX(CAST([Age] AS CHAR(1))) IS NULL THEN 1 ELSE 0 END 
FROM dbo.test2 

Wyniki:

ID   Name  IsCitizen Age 
----------- ----------- ----------- ----------- 
0   0   0   1 

Answer 3

można sprawdzić czy colums idexing woli pomóc osiągnąć jakiś wydajność poprawić

CREATE UNIQUE NONCLUSTERED INDEX IndexName ON dbo.TableName(ColumnName) 
WHERE ColumnName IS NOT NULL; 
GO 

Answer 4

SQL server query to get the list of columns in a table along with Data types, NOT NULL, and PRIMARY KEY constraints

Run SQL w najlepszej odpowiedzi na powyższe pytania i generować nowe zapytanie jak poniżej.

Select ISNULL(column1,1), ISNULL(column2,1), ISNULL(column3,1) from table

Answer 5

500 kolumn ?!
Dobra odpowiedź na twoje pytanie: znormalizuj swój stół.

Oto, co dzieje się na razie:

Nie masz indeksu na tej kolumny tak SQL Server ma zrobić pełne skanowanie naszego wspólnego stołu.
Serwer SQL na pewno przeczyta wszystkie wiersze (co oznacza każdą kolumnę, nawet jeśli interesuje Cię tylko jeden).
A ponieważ twój rząd najprawdopodobniej ponad 8 kb ... http://msdn.microsoft.com/en-us/library/ms186981%28v=sql.105%29.aspx

Poważnie, znormalizować swoją tabelę iw razie potrzeby podzielić ją poziomo (put „motyw zgrupowane” kolumny wewnątrz osobnej tabeli, tylko czytać je, gdy są potrzebne) .

EDIT: Można przepisać zapytanie jak to

select count(col_n) from tab 

a jeśli chcesz, aby wszystkie kolumny naraz (lepiej):

SELECT 
    COUNT(column_1) column_1_count, 
    COUNT(column_2) column_2_count, 
    ... 
FROM table_name 

Answer 6

Ty nie trzeba „count "wszystkie 100M rekordów. Po prostu wycofanie się z zapytania z TOP 1, gdy tylko klikniesz kolumnę z wartością inną niż null, zaoszczędziłoby dużo czasu, dostarczając te same informacje.

Answer 7

Jeśli większość zapisy nie są nieważne może można mieszać niektóre podejścia sugerował (na przykład sprawdzać tylko pola dopuszczające wartość null), z tego:

if exists (select * from table where field is not null) 

powinno to przyspieszyć wyszukiwanie, ponieważ istnieje zatrzymuje przeszukiwanie tak szybko ponieważ warunek jest spełniony, w tym przykładzie pojedynczy rekord niezerowy wystarcza do określenia statusu pola. Jeśli pole ma indeks, powinno to być niemal natychmiastowe.

Zwykle dodawanie pierwszego do tego zapytania nie jest potrzebne, ponieważ optymalizator zapytań wie, że nie trzeba pobierać wszystkich pasujących rekordów.

Answer 8

Można użyć tej procedury przechowywanej do trick Musisz podać nazwę tabeli chcesz zapytać pamiętać, że jeśli będziesz przechodzić do procedury @exec parametr = 1 będzie wykonywał kwerendę wybierającą

SET ANSI_NULLS ON 
GO 
SET QUOTED_IDENTIFIER ON 
GO 
CREATE PROCEDURE [dbo].[SP_SELECT_NON_NULL_COLUMNS] (@tablename varchar (100)=null, @exec int =0) 
AS BEGIN 
SET NOCOUNT ON 
    IF @tablename IS NULL 
      RAISERROR('CANT EXECUTE THE PROC, TABLE NAME IS MISSING',16 ,1) 
         ELSE 
    BEGIN 
      IF OBJECT_ID('tempdb..#table') IS NOT NULL DROP TABLE #table 
      DECLARE @i VARCHAR (max)='' 
      DECLARE @sentence VARCHAR (max)='' 
      DECLARE @SELECT VARCHAR (max) 
      DECLARE @LocalTableName VARCHAR(50) = '['+@tablename+']' 
      CREATE TABLE #table (ColumnName VARCHAR (max)) 
      SELECT @i+= 
      ' IF EXISTS (SELECT TOP 1 '+column_name+' FROM ' +@LocalTableName+' WHERE ' +column_name+ 
       ' '+'IS NOT NULL) INSERT INTO #table VALUES ('''+column_name+''');' 
       FROM INFORMATION_SCHEMA.COLUMNS WHERE table_name=@tablename 
       INSERT INTO #table 
       EXEC (@i) 
       SELECT @sentence = @sentence+' '+columnname+' ,' FROM #table     
     DROP TABLE #table     
       IF @exec=0 
         BEGIN 
          SELECT 'SELECT '+ LTRIM (left (@sentence,NULLIF(LEN (@sentence)-1,-1)))+ 
             +' FROM ' +@LocalTableName 
       END 
       ELSE 
         BEGIN 
          SELECT @SELECT= 'SELECT '+ LTRIM (left (@sentence,NULLIF(LEN (@sentence)-1,-1)))+ 
               +' FROM '+@LocalTableName 
        EXEC (@SELECT) 
       END 
END 
END 

Używaj go tak:

EXEC [dbo].[SP_SELECT_NON_NULL_COLUMNS] 'YourTableName' , 1