Здраствуйте,
Помогите пожалуйста оценить погрешности квантования коэфициентов и шума округления. Возможно ли получить аналитическую формулу погрешности(если можно пришлите пример), или только экспериментально? И каким образом подобрать нормирующий коэфициент, чтобы не возникали переполнения(пришлите пример)

Неужели никто и никогда этим не занимался?

Аналитические расчеты шумов и погрешностей представлены, например, в книге Голда и Райдера "Цифровая обработка сигналов".
Нормирующий коэффициент следует выбирать исходя из передаточной функции фильтра. Например, для ФНЧ с единичным максимальным усилением он не нужен. Важно лишь, что бы его коэффициенты были по модулю меньше единицы.