Nezastavili ho ani štyri väznice. Majster útekov z väzenia ušiel aj vďaka polievke, fandila mu celá krajina
Vďaka svojim útekom sa stal ľudovým hrdinom.

Po treťom úteku sa mu podarilo skrývať asi rok. Žil v opustenej bani, živil sa lesnými plodmi a lovil zajace. Raz si ho všimol farmár, ktorý si myslel, že ide o zlodeja. Shiratoriho napadol a strhol sa medzi nimi súboj, počas ktorého farmár zomrel. Po roku skrývania sa opäť dostal pred súd a za zabitie si vypočul ortieľ smrti. Úrady už nechceli riskovať, že by utiekol aj pred popravou. Šesť dozorcov ho strážilo 24 hodín denne.

Zastihla ho reforma
V jedno ráno dozorcovia otvorili jeho celu a Shiratori tam nebol. Každý deň misou z polievky pod svojou posteľou kopal tunel, až sa opäť vyparil. Už po štvrtýkrát. Celý rok sa mu podarilo unikať, až sa v jeden deň ocitol na lavičke s policajným dôstojníkom. Ten ho vôbec nespoznal, no ponúkol mu cigaretu, ktorá bola po vojne nedostatkovým tovarom. Yoshieho tento čin dojal, preto sa mu priznal, kto v skutočnosti je.
Shiratori sa opäť dostal pred súd. V tom čase sa však už uskutočňovala reforma väzenského systému a všetky zmeny hovorili v prospech muža na úteku. Svoje opakované úteky ospravedlnil hrôzostrašnými podmienkami vo väzení. Súd jeho verzii veril a aj smrť farmára prekvalifikoval na sebaobranu.
Trest za úteky si odsedieť musel, po zmenách sa však už nikdy nepokúsil utiecť - strážcovia vo väzení v Tokiu sa totiž k nemu správali dobre. V roku 1961 ho podmienečne prepustili za dobré správanie a na slobode prežil až do svojej smrti v roku 1979. Mal vtedy 72 rokov.