В случае, если на сервере не установлены Службы удаленных рабочих столов, сертификат RDP можно изменить следующим образом:

1) Поместить сертификат в хранилище сертификатов локального компьютера в Личное:



2) Открыть сертификат, найти в свойствах его Отпечаток (Thumbprint), скопировать его, например, в Блокнот и удалить пробелы. Должно получиться что-то вроде ‎579a301318c5664f3b2bff0b88bf73d8bd2464dd.

3) Запустить PowerShell с правами администратора и выполнить следующие команды:
Соответственно нужно заменить ОТПЕЧАТОК на полученную последовательность из п.2

Как вариант можно использовать wmic через обычную командную строку:

Полезная ссылка: Configure custom SSL certificate for RDP on Windows Server 2012 in Remote Administration mode