По порядку Проверь пишет ли твой фрапс больше 30 сек, если нет - то ппц, ищи способ удалить данные с компа и ставь норм версию (легче переставить винду)
Далее, фпс ставь столько, сколько у тя будет показывать на экране в редиме записи (красная циферка)
Кнопку записи можно перебить на что угодно, у меня на паузе например. что нада прописать чтобы включалось кнопкой пауза?
А Вегас служит уже для обработки мувиков.