Nunca está de mas un toque de paranoia, en especial si te están siguiendo.
Si tenés un servidor Linux expuesto a internet ni hace falta que te diga que el servicio SSH va a ser golpeado incesantemente por bots ejecutando ataques de fuerza bruta por que ya lo habrás notado hace tiempo y la estarás pariendo en carne propia.
Tampoco hace falta que te diga que podés mitigar el 90% de estos ataques automatizados sacando el servicio SSH del puerto 22, implementando fail2ban o autenticación por llaves.
Podrías llevarlo al extremo de lo ridículo inclusive implementando Crypto Port Knoking y asegurarte de enterarte de todo lo que pasa en tu red centralizando los logs en un único servidor syslog, por ejemplo.
Si por otro lado tenés tu PC con Linux o un servidorcito casero que no justifica tamaño gasto de recursos humanos, o tenés un servidor en el que varias personas disponen de credenciales de login, llaves, o permisos en /etc/sudoers para iniciar sesión como root, puede que te interese estar al corriente de quien, cuando y desde donde accedió al mismo como superusuario para saber a quién putear y a quien no cuando las cosas se rompan.