La respuesta que dio Marcus Adams también tiene un atajo de teclado: Ctrl + Alt + End. Tienes que estar en pantalla completa y/o tener la sesión RDP configurada en Aplicar combinaciones de teclas de Windows en el ordenador remoto. Esto efectivamente envía un Ctrl + Alt + Del al ordenador remoto (así que es útil saberlo para otras ocasiones/usos también). Desde allí, como dijo Marcus, puedes llegar a Reiniciar, Apagar, etc. desde el pequeño icono rojo del botón de encendido en la esquina inferior derecha.
Alternativamente, puedes hacer clic una vez en el Escritorio (o en la Barra de Tareas) del ordenador remoto, y luego pulsar Alt + F4 y obtendrás la anticuada ventana emergente con todas las opciones de apagado en el desplegable.
Actualizar: como se indica en los comentarios, Ctrl + Alt + Fin en Windows 10 sólo te da la opción de Desconectar. No puedes Reiniciar o Apagar desde ahí. Tampoco puedo encontrar una opción de seguridad de Windows en el menú de inicio… Pero no te preocupes, como mencioné el Alt + F4 método todavía funciona , y lo uso exclusivamente ahora (me mando a distancia para el trabajo todos los días, y también manejo múltiples máquinas en casa).