Generalmente se deja el hash para soportar navegadores antiguos, específicamente IE9, pero el router se puede configurar para quitar el hash y utilizar el Historial de HTML5 para modificar las URLs.

MyApp.config(['$routeProvider','$locationProvider',
    function($routeProvider,$locationProvider) {

        $locationProvider.html5Mode(true);

        //....
    }
]);

Otra razón por la que personalmente yo lo utilizo en este mismo sitio es porque las URLs públicas no tienen el hash y son procesadas por los views de rails, la verdad es que no quise complicarme verificando si el usuario está logueado para usar  el layout adecuado.

Saludos