Określanie, które wejścia ważą w algorytmie ewolucyjnym

Question

Kiedyś napisałem sztuczną inteligencję Tetris, która grała całkiem dobrze w Tetris. Algorytm, którego użyłem (described in this paper) jest procesem dwuetapowym.

W pierwszym kroku programista decyduje się na śledzenie wejść, które są "interesujące" dla problemu. W Tetris możemy być zainteresowani śledzeniem liczby luk w rzędzie, ponieważ zminimalizowanie luk może pomóc w łatwiejszym umieszczaniu przyszłych elementów. Inna może być średnia wysokość kolumny, ponieważ może to być zły pomysł, aby podjąć ryzyko, jeśli masz zamiar stracić.

Drugim krokiem jest określenie wag powiązanych z każdym wejściem. Jest to część, w której użyłem algorytmu genetycznego. W tym przypadku wystarczy dowolny algorytm uczenia się, o ile wagi są korygowane w czasie w oparciu o wyniki. Chodzi o to, aby komputer zdecydował, w jaki sposób dane wejściowe odnoszą się do rozwiązania.

Korzystając z tych danych wejściowych i ich wag, możemy określić wartość podejmowanych działań. Na przykład, jeśli umieszczenie prostego kształtu linii do końca w prawej kolumnie wyeliminuje przerwy w 4 różnych rzędach, wówczas to działanie może uzyskać bardzo wysoki wynik, jeśli jego waga jest wysoka. Podobnie, ułożenie go płasko na górze może w rzeczywistości spowodować luki i tak, że akcja uzyska niski wynik.

Zawsze zastanawiałem się, czy istnieje sposób na zastosowanie algorytmu uczenia się do pierwszego kroku, w którym znajdziemy "interesujące" potencjalne dane wejściowe. Wydaje się, że możliwe jest napisanie algorytmu, w którym komputer najpierw dowie się, jakie dane wejściowe mogą być użyteczne, a następnie zastosuje metodę uczenia w celu zważenia tych danych wejściowych. Czy wcześniej coś takiego zrobiono? Czy jest już używany w dowolnych aplikacjach AI?

Answer 1

W sieciach neuronowych można wybrać "interesujące" potencjalne dane wejściowe, znajdując te, które mają najsilniejszą korelację, dodatnią lub ujemną, z klasyfikacjami, których dotyczy szkolenie. Wyobrażam sobie, że możesz robić podobnie w innych kontekstach.

Answer 2

Myślę, że mogę podejść do problemu, który opisujesz, wprowadzając bardziej prymitywne dane do algorytmu uczenia się. Na przykład stan gry tetris może być opisany przez listę zajętych komórek. Ciąg bitów opisujących te informacje będzie odpowiednim wprowadzeniem do tego etapu algorytmu uczenia się. szkolenie w tej kwestii wciąż stanowi wyzwanie; skąd wiesz, czy są to przydatne wyniki. Przypuszczam, że można by przetasować cały algorytm w pojedynczy obszar typu blob, w którym algorytm jest zasilany kolejnymi stanami gry, a wyjście to po prostu rozmieszczenie bloków, z wyższymi algorytmami oceny wybranymi dla przyszłych pokoleń.

Innym wyborem może być użycie dużego korpusu spektakli z innych źródeł; takie jak nagrane odtwory z ludzkich graczy lub ręcznie wykonane ai, i wybierz algorytmy, których wyniki mają silną korelację z pewnym ciekawym faktem lub innym z przyszłej gry, takich jak wynik uzyskany w ciągu 10 kolejnych ruchów.

Answer 3

Tak, jest sposób.

Jeśli wybierzesz M wybranych funkcji, istnieją 2^M podzbiorów, więc jest wiele do obejrzenia. bym, że:

For each subset S 
    run your code to optimize the weights W 
    save S and the corresponding W 

Następnie dla każdej pary S-W, można uruchomić gry g dla każdej pary i zapisać wynik L dla każdej z nich. Teraz masz tabelę tak:

feature1 feature2 feature3 featureM subset_code game_number scoreL 
1   0   1   1   S1   1    10500 
1   0   1   1   S1   2    6230 
... 
0   1   1   0   S2   G + 1   30120 
0   1   1   0   S2   G + 2   25900 

Teraz można uruchomić jakiś składnik algorytmu wyboru (PCA na przykład) i zdecydować, które funkcje są warte wyjaśnić Scorel.

Wskazówka: podczas uruchamiania kodu w celu optymalizacji W, należy wysiać generator liczb losowych, tak aby każdy inny "ewoluujący mózg" był testowany na tej samej sekwencji elementów.

Mam nadzieję, że pomaga w czymś!