Konwertuj ciąg znaków SQL na znacznik czasu

Question

Jestem nowy w Spark SQL i próbuję przekonwertować ciąg znaków na znacznik czasu w ramce danych iskry. Mam ciąg znaków, który wygląda jak '2017-08-01T02:26:59.000Z' w kolumnie o nazwie time_string

mój kod do konwersji ten ciąg do datownika jest

CAST (time_string AS Timestamp) 

Ale to daje mi znacznik czasowy 2017-07-31 19:26:59

Dlaczego Zmiana czas? Czy istnieje sposób, aby to zrobić bez zmiany czasu?

Dzięki za pomoc!

Answer 1

Można użyć unix_timestamp funkcję do konwersji UTC sformatowany datę timestamp

val df2 = Seq(("a3fac", "2017-08-01T02:26:59.000Z")).toDF("id", "eventTime") 

df2.withColumn("eventTime1", unix_timestamp($"eventTime", "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'").cast(TimestampType)) 

wyjściowa:

+-------------+---------------------+ 
|userid  |eventTime   | 
+-------------+---------------------+ 
|a3fac  |2017-08-01 02:26:59.0| 
+-------------+---------------------+ 

nadzieję, że to pomaga!