Первое что точно нужно сделать это выставить dinamic memory limit ( объем вашей оперативки минус 1гб) face level coef не отрегулирован (выставляется по vrayLog) я бы все таки перевел в static из auto (бог его знает как там в авто оператива распределяется) ну и большие сцены все таки советую рендерить из под бэкбурнера, а не из под Макса, если совсем все тяжко то еще и построчно. В матах листьев если уж не хочется убирать отражение и прозрачность, то хотя бы уменьшите maxdeth там и там с 5 до 3 например. Если интересно что к чему в деталях то сюда http://www.render.ru/books/show_book.php?book_id=790
Забыл еще сказать что если стоит 32 битная видна то все выше написаное не поможет
