У вас включен HDLC режим. Данные будут вычитываться порциями, кажда порция - кадр HDLC. Т.е. читается 4 байта потому, что принят пакет hdlc размером 32 бита.В "телефонном" режиме достаточно установить размер mtu. Например, sconfig ce2 raw mtu=128.