Я сейчас вообще NTU модем отключил от Сигмы и включил на нем loop - все тоже самое. Хотя аппаратный loop, который идет в комплекте, работает нормально - без ошибок.
У модемов есть параметры - Transmit clock (ST RISING), Recieve clock (FALLING), Tx/Rx Clks Relation (SYNCHRONIZED). Может они влияют?