мота, крайне не рекомендую пользоваться кодером, который встроен в сони вегас. он работает через пень колоду, и твои баги одна из множества возможных проблем.
используй лосслесс кодек как тут указано
после чего его можно ужать сторонними кодировщиками (я использую AMVSimple_4.0 с выставленным битрейтом 6000 кб/с, но мне для АМВ большое качество особо не нужно) или залить так на ютуб, он сам ужмет.
правда возможна другая проблема - полученный файл будет просто огромного размера, и если у тебя длинный ролик, он просто не поместится на жесткий диск.
тогда можно использовать эппловские кодеки
правда я ими пользовался только раз, когда мне нужно было выставить фиксированный битрейт, поэтому возможно тебе потребуется попробовать несколько попыток, чтобы подобрать оптимальный вариант.