Op 23-jarige leeftijd nam Sarens uit Hombeek (Mechelen) in 1960 deel aan de Olympische Spelen in de gewichtsklasse der middengewichten. Zijn trip naar Rome was van korte duur, want in zijn eerste kamp moest hij al het onderspit delven.

In het Antwerpse Sportpaleis kende Milo Sarens drie jaar later het hoogtepunt uit zijn carrière. Toen mocht de Mechelaar het opnemen tegen niemand minder dan Sugar Ray Robinson, een van de allergrootsten uit de boksgeschiedenis. Pas in de achtste ronde versloeg Robinson Sarens met een knock-out.