Нажмите F10 и посмотрите какие у вас рендеры выбраны, должно быть так, только версии другие т.к. у вас SP4, нижний должен быть сканлайном по умолчанию.
Судя по окну, дело скорее даже не в самом VRayRT, а просто у вас в папке автозагрузки скриптов, есть какйто скрипт, который имеет строчку include: $startupScrips\\vrayrtutils.ms, он ищет этот файл но его у вас нет, т.к. и РТ не установлен. Вот просто надо найти что это за скрипт и понять зачем он нужен и зачем ему vrayrtutils.ms. На самом деле все просто.
Если в этом ничего не понимаете, то можной пойти брутфорсом, снести все плагины сначала, после снести макс под чистую со всеми папками, все удалить и поставить все с нуля, не ставя бездумно всякую парашу.
