5
Mam jeden GPU do dyspozycji do wdrożenia, ale trzeba wdrożyć wiele modeli. Nie chcę przydzielać pełnej pamięci GPU do pierwszego wdrożonego modelu, ponieważ wtedy nie mogę wdrożyć kolejnych modeli. Podczas treningu można to kontrolować za pomocą parametru gpu_memory_fraction. Używam następujące polecenie, aby wdrożyć mój model -Obsługa Tensorflow: Używanie ułamka pamięci GPU dla każdego modelu
tensorflow_model_server --port=9000 --model_name=<name of model> --model_base_path=<path where exported models are stored &> <log file path>
Czy istnieje flag, które można ustawić, aby kontrolować alokację pamięci GPU?
Dzięki
robi [to] (https://stackoverflow.com/questions/34199233/how-to-prevent-tensorflow-from-allocating- the-totality-of-a-gpu-memory? rq = 1) pomóc? – Imran
@Imran Nie, moje zapytanie dotyczy alokacji pamięci w serwowaniu tensorflow. – dragster
Możesz znaleźć otwarty błąd tutaj https://github.com/tensorflow/serving/issues/249. Tldr; wydaje się, że nie ma opcji i prawdopodobnie trzeba będzie ręcznie zmienić opcję i zrekompilować plik binarny, tak jak to opisano w postie, który został połączony. – rajat