Android Asynctask do przetwarzania klatek wideo na żywo

Question

Używam OpenCV, aby spróbować trochę przetwarzać wideo na żywo. Ponieważ przetwarzanie jest dość ciężkie, znacznie opóźnia ramki wyjściowe, przez co strumień na żywo wygląda na wzburzony.

Chciałbym odciążyć niektóre przetwarzanie w AsyncTask. Wypróbowałem to i to sprawia, że ​​wideo jest znacznie płynniejsze. Jednak kończy się uruchamianie dużej ilości zadań na raz, a następnie powoli zaczną powracać z niektórymi wynikami.

Czy istnieje sposób na spowolnienie tego procesu i oczekiwanie na wynik za pomocą instrukcji Synchronizuj lub innej metody?

Na każdej ramie aparatu uruchamiam jedno z tych zadań. DoImgProcessing wykonuje długie przetwarzanie i zwraca wynik ciągu.

private class LongOperation extends AsyncTask<Mat, Void, String> { 

    @Override 
    protected String doInBackground(Mat... params) { 
     Mat inputFrame = params[0]; 
     cropToCenter(inputFrame); 
     return doImgProcessing(inputFrame); 
    }  

    @Override 
    protected void onPostExecute(String result) { 
     Log.d(TAG, "on post execute: "+result); 

    } 

    @Override 
    protected void onPreExecute() { 
     Log.d(TAG, "on pre execute"); 
    } 
} 

public Mat onCameraFrame(Mat inputFrame) { 
    inputFrame.copyTo(mRgba);//this will be used for the live stream 
    LongOperation op = new LongOperation(); 
    op.execute(inputFrame); 
    return mRgba; 
} 

Answer 1

chciałbym zrobić coś takiego:

// Example value for a timeout. 
private static final long TIMEOUT = 1000L; 

private BlockingQueue<Mat> frames = new LinkedBlockingQueue<Mat>(); 

Thread worker = new Thread() { 
    @Override 
    public void run() { 
     while (running) { 
      Mat inputFrame = frames.poll(TIMEOUT, TimeUnit.MILLISECONDS); 
      if (inputFrame == null) { 
       // timeout. Also, with a try {} catch block poll can be interrupted via Thread.interrupt() so not to wait for the timeout. 
       continue; 
      } 
      cropToCenter(inputFrame); 
      String result = doImgProcessing(inputFrame); 
     } 
    } 
}; 
worker.start(); 

public Mat onCameraFrame(Mat inputFrame) { 
    inputFrame.copyTo(mRgba);//this will be used for the live stream 
    frames.put(inputFrame); 
    return mRgba; 
} 

onCameraFrame stawia ramkę na kolejce, sondażach pracownik wątku z kolejki.

To dekorelacja odbioru i leczenia ramki. Możesz monitorować wzrost kolejki za pomocą frames.size().

Jest to typowy przykład producent-konsument.

Answer 2

Jeśli robisz to na każdej ramce, to brzmi jak trzeba wątku zamiast. AsyncTask służy do wykonywania jednorazowych czynności w innym wątku. Tutaj chcesz zrobić to wielokrotnie. Po prostu utwórz wątek, a gdy skończy się ramka, wyślij wiadomość do programu obsługi, aby uruchomić krok postu w wątku interfejsu użytkownika. Może czekać na semafor w górnej części pętli, aby następna ramka była gotowa.