Представлены результаты теоретического и экспериментального исследования акустооптического генератора, в котором сигнал обратной связи формируется по схеме оптического гетеродинирования. Методом компьютерного моделирования проанализирован процесс установления колебаний в такой системе. Показано, что конкуренция мод, обусловленная нелинейностью акустооптического взаимодействия, может приводить к вырождению спектра генерации и установлению одномодового режима. Исследована зависимость ширины спектральной линии от параметров системы.