Klient Hbase RPC Timeout

Question

Używam Hbase 1.0.1/Hadoop 2.5.2. Próbuję uruchomić skanowanie na stole, ale otrzymuję limity czasu RPC.

Zmieniłem timeout HBase RPC do 2 minut, co mogę potwierdzić frm UI ...

<property> 
    <name>hbase.rpc.timeout</name> 
    <value>120000</value> 
    <source>hbase-site.xml</source> 
</property> 

... ale mój klient jest nadal taktowania się po 60s ...

Caused by: java.io.IOException: Call to xxxxxxx/172.16.5.13:16020 failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=2968, waitTime=60001, operationTimeout=60000 expired. 
    at org.apache.hadoop.hbase.ipc.RpcClientImpl.wrapException(RpcClientImpl.java:1235) 
    at org.apache.hadoop.hbase.ipc.RpcClientImpl.call(RpcClientImpl.java:1203) 
    at org.apache.hadoop.hbase.ipc.AbstractRpcClient.callBlockingMethod(AbstractRpcClient.java:216) 
    at org.apache.hadoop.hbase.ipc.AbstractRpcClient$BlockingRpcChannelImplementation.callBlockingMethod(AbstractRpcClient.java:300) 
    at org.apache.hadoop.hbase.protobuf.generated.ClientProtos$ClientService$BlockingStub.scan(ClientProtos.java:31751) 
    at org.apache.hadoop.hbase.client.ScannerCallable.call(ScannerCallable.java:199) 
    at org.apache.hadoop.hbase.client.ScannerCallable.call(ScannerCallable.java:62) 
    at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithRetries(RpcRetryingCaller.java:126) 
    ... 6 more 
Caused by: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=2968, waitTime=60001, operationTimeout=60000 expired. 
    at org.apache.hadoop.hbase.ipc.Call.checkAndSetTimeout(Call.java:70) 
    at org.apache.hadoop.hbase.ipc.RpcClientImpl.call(RpcClientImpl.java:1177) 
    ... 12 more 

Próbowałem zmienić rozmiar bloku pamięci podręcznej, ale nie wydaje się to żadnego znaczenia.

Czy jest jakiś inny czas, którego mi brakuje. Istnieje wiele wierszy w tabeli (miliony), chociaż skanowanie zwraca tylko dziesiątki tysięcy, ale problem wydaje się dotyczyć tylko określonego zestawu regionów.

Answer 1

Spróbuj podczas tworzenia połączenia w stronie klienta zamiast w hbase-site.xml:

conf.set("hbase.rpc.timeout", "1800000") 

Answer 2

To powinno się prace.

hbase org.apache.hadoop.hbase.mapreduce.Export -Dhbase.client.scanner.timeout.period=600000 tbname /path/to/hdfs 

Answer 3

Gdy serwer odbiera żądania skanowania RPC, termin jest obliczana za połowę mniejsza z dwóch wartości: hbase.client.scanner.timeout.period i hbase.rpc.timeout (które domyślnie wynoszą 60000 milisekund lub jedną minutę). Dlatego po ustawieniu 2 min skanowanie zostanie przekroczone w 60 sekund.

Po osiągnięciu limitu czasu serwer zwraca uzyskane do tego momentu wyniki. Ten zestaw wyników może być pusty. Jeśli wzorzec użycia obejmuje skanowanie trwa dłużej niż minutę, możesz zwiększyć te wartości.

Aby upewnić się, że limit czasu nie jest zbyt krótki, można skonfigurować hbase.cells.scanned.per.heartbeat.check do minimalnej liczby komórek, które muszą być skanowane zanim nastąpi sprawdzenie limitu czasu. Domyślna wartość to 10000. Mniejsza wartość powoduje częstsze występowanie przekroczeń limitu czasu.

poniższe linki mogą być pomocne, aby skonfigurować limity czasu dla HBase skanowania:

https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.4.2/bk_installing_manually_book/content/best-practices-timeouts-phoenix.html

https://www.cloudera.com/documentation/enterprise/5-5-x/topics/admin_hbase_scanner_heartbeat.html#concept_xsl_dz1_jt

Answer 4

podstawie pierwszych odpowiedzi. I skonfigurowane właściwości hbase.client.scanner.timeout.period i hbase.rpc.timeout przed otworzyć połączenie z klastrem HBase:

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.hbase.HBaseConfiguration; 

Configuration conf = HBaseConfiguration.create(); 

conf.set("hbase.rpc.timeout", "1800000"); 
conf.set("hbase.client.scanner.timeout.period", "1800000");