Come funzionano i poker bot? Quanto sono evoluti? Il punto dopo la 2016 Annual Computer Poker Competition

Come abbiamo detto di recente, quando vi abbiamo parlato di Tartanian 8, esistono due tipi di poker bot: quelli dannosi, utilizzati sulle poker room online per truffare i giocatori reali, e quelli che hanno puro scopo scientifico, che hanno l’obiettivo di creare un programma capace di vincere contro i migliori giocatori reali, magari che riescano a risolvere il gioco del poker.

C’è un enorme interesse dai ricercatori informatici nel campo dei giochi: ne è un esempio il ricercato successo di AlphaGo, il primo computer finalmente in grado di uscire vincitore da una sfida contro un essere umano (pluricampione) al gioco da tavolo cinese Go, da molti definito il gioco da tavolo più difficile al mondo.

Uno dei limiti più grandi dei computer in materia di giochi è proprio il non essere umani: i bot avranno rapidità e precisione di calcolo infinitamente superiori rispetto a quella di un uomo, ma concetti come meta-game e flow sono praticamente impossibili da replicare, se non cercando di ricreare il funzionamento del cervello umano. Una sfida galvanizzante per tutti i ricercatori, come ha spiegato Nikolai Yakovenko su Pokernews.com dopo aver partecipato alla 2016 Annual Computer Poker Competition. 

Nella conferenza preliminare è stato spiegato il funzionamento dei bot più forti della competizione, che utilizzano un sistema chiamato CFR (counterfactual regret minimization) per cercare un equilibrio di gioco. Questo sistema è stato adottato anche da Claudico, il pc che ha sfidato (e perso) quattro dei giocatori HU più forti al mondo, dalla sua versione baby, Tartanian 8, che ha vinto in questa occasione la competizione “Total Bankroll” e Slumbot, il vincitore della “Instant Runoff Competition”, che si è rivelato di gran lunga superiore al campione dell’altro anno.

Da quando le differenze tra i vari poker-bot si stanno appianando, si suppone che tutte le Intelligenze Artificiali stiano convergendo verso un’unica, imbattibile, soluzione al NLHE Heads-Up, come è stato fatto l’altro anno dall’Università di Alberta, che ha creato un bot capace di risolvere il Limit Hold’Em Heads-Up.

A differenza del LHE però, il NLHE ha un’infinità di variabili in più, non avendo limite al numero di rilanci per ogni street né dell’entità dei raise. I nuovi bot che utilizzano il CFR hanno 11 size diverse da valutare per la prima bet, ma riducono di molto le opzioni quando devono rilanciare, arrivando a una scelta tra all in/fold/call quando si parla di 3-bet o 4-bet, e decide qual è l’opzione migliore andando a confrontare lo spot in questione con tutti quelli simili contenuti nella sua hand history.

Potreste obiettare che questa non è una vera Intelligenza Artificiale, e in un certo senso avreste ragione. Yakovenko però non vuole deludervi, e vi parla della “Deep Neural Network” applicata al suo bot Poker-CNN, classificatosi quinto a pari merito nella competizione.

La rete neurale virtuale è un modello matematico che imita le proprietà dei neuroni viventi, in pratica un tentativo di riproduzione del cervello utilizzando dei calcoli che simulino i comportamenti dei neuroni.

Una delle abilità più incredibili che abbiamo come umani è quella di riuscire ad imparare qualcosa da un caso specifico e poter generalizzare quella conoscenza applicandola in altri casi. Questo è ciò che la Deep Neural Network cerca di riprodurre artificialmente, in questo caso applicata al poker. In pratica, il bot in questione non andrà a rispolverare tutti i files del suo database che riportano lo stesso board sul quale sta giocando, ma avrà già imparato come affrontare situazioni simili, che a livello di “ragionamento” è tutto un altro discorso!

Ad esempio, Poker-CNN si è trovato davanti a questa scelta con 66: dopo un raise e una 3-bet preflop, sulla prima street si va check-check, e al turn opponent checka, Poker-CNN punta 80% pot e oppo va in all in.

Come potete vedere “Value vs. oppon” è molto più basso del valore che avrebbe contro un giocatore random, e questo è dovuto all’action iper aggressiva del suo avversario. “La cosa bella del mio modello è che prevede la strategia migliore -o meglio cerca di prevedere la CFR- direttamente dalle carte e dalle puntate effettuate in quella mano. Nulla altro.” dice Yakovenko.

Attualmente questo sistema, che come avete capito cerca di imitare e vuole perfezionare il ragionamento umano, non è ancora al livello dei bot che utilizzano la più banale CFR, ma considerando che questi ultimi non sono comunque ancora in grado di sconfiggere i migliori giocatori, c’è già chi pensa che la Neural Network sia la direzione da prendere.

Credete che un giorno i PC avranno thinking process più avanzati di quelli umani?