а ведь точно -поставил частоту строго равной частоте фрейма и цифры стали правильными.. спасибо, буду пытать дальше

покрутил частоту X502_SetDinFreq.. чем меньше частота, тем ситуация меняется в сторону данных с АЦП. При 500 Гц получаю

12 11 1
12 11 0
12 11 0
12 11 1
ну так далее.. Но данные (якобы) с АЦП все равно неправильные идут, как случайные.
Если убрать разрешение синхронного ввода, то аналоговые данные в порядке.

сейчас приведу все в порядок (это замет немного времени) и сделаю...

разобрался немного и поправил свои ошибки в варианте раздельных потоков: запускаю последовательно два потока:

1. В первом потоке - синхронное чтение данных с АЦП

    qint32 err = X502_StreamsEnable(m_dev, X502_STREAM_ADC);
    if(err < 0)
    {
        qDebug() << QString("error stream enable (%1)").arg(err);
        return;
    }
    err = X502_StreamsStart(m_dev);
    if(err < 0)
    {
        qDebug() << QString("error stream start (%1)").arg(err);
        return;
    }
    m_bRun = true;
    while(m_bRun)
    {
            qint32 rcv_size = X502_Recv(m_dev, (uint32_t*)buffer, count, 2000);
            if(rcv_size <= 0)
            {
                 qDebug() << QString("error received adc data (%1)").arg(rcv_size);
            }
           quint32 adc_size = rcv_size;
           qint32 err = X502_ProcessAdcData(m_dev, (uint32_t*)buffer, adc_data, (uint32_t*)&adc_size,  X502_PROC_FLAGS_VOLT);
           if(err < 0)
           {
              qDebug() << QString("error processing data (%1)").arg(err);
           }
     }
     app->rza->adcReady();
}

2. второй поток - асинхронное чтение/запись цифровых данных

    while(m_bRun)
    {
        out_buff[0] = address;
        if(m_relays != 0)
        {
            out_buff[0] |= m_relays;
            if(m_startRelay)
            {
                m_startRelay = false;
            }
        }
        out_buff[0] |= 0x4000;

        err = X502_AsyncOutDig(m_dev, out_buff[0], 0);
        if(err < 0)
        {
            qDebug() << QString("error write digital data (%1)").arg(err);
        }

        err = X502_AsyncInDig(m_dev, (uint32_t*)inp_buff);
        if(err < 0)
        {
            qDebug() << QString("error read digital data");
        }

        if(m_relays == 0)
        {
            m_inputs[address++] = inp_buff[0];
            if(address == 6) address = 0;
        }
        else
        {
                m_relays = 0;
                m_status[address] = inp_buff[0];
                address = 0;
            }
        }
    }

Сразу после старта поток 1 (чтение АЦП) выдает ошибку:  "error stream enable (-15)" (Истекло время ожидания освобождения мьютекса). Если я запускаю или 1=й поток или 2-й,  то по отдельности все работает.

А на счет картинок (если я правильно понял тут возникло непонимание?) - то на первой - это нормальный результат: амплитуды стабильны, относительные фазы тоже.
А на второй картинке изображены просто мгновенные значения из серии, в течении времени амплитуды нестабильны ( я бы сказал произвольные), относительные фазы тоже не соответствуют входным. Т.е. вектора входных сигналов произвольно болтаются относительно друг-друга.

Пока оставим это и если можно попытаемся разобраться почему поток с синхронным вводом с АЦП не хочет совмещаться с потоком асинхронного ввода с цифровых входов.

вот здесь два снимка экрана: https://cloud.mail.ru/public/GexC/rRb8ANWSN
В обоих случаях на вход АЦП подаю три напряжения и три тока. После приема данных и ДПФ в левой части прорисовываются амплитуды, а в правой - круговые диаграммы амплитуда-фаза. На первом рисунке (2016-10-18 09-27-42) просто сбор данных с АЦП, на втором (2016-10-18 09-29-51) - сбор данных с АЦП и синхронное чтение входного регистра.
В связи с тем что как-то не получается совместить чтение аналоговых и цифровых сигналов не может ли это быть связано с тем, что я использую упрощенную версию Е502 (без микроконтроллера и ЦАП)?

Все это интересно конечно,  но пока я отвлекся на аналоговые входы. 
И я вот что обнаружил. На АЦП подаю три фазы напряжения, сдвинутые на 0, 120 и 240 градусов. Код основного цикла выглядит так:

   while(m_bRun)
    {
        out_buff[0] = address;
        if(m_relays != 0)
        {
            out_buff[0] |= m_relays;
            if(m_startRelay)
            {
                m_startRelay = false;
                counter = 0;
            }
        }
        out_buff[0] |= 0x4000;

        err = X502_AsyncOutDig(m_dev, out_buff[0], 0);

        rcv_size = X502_Recv(m_dev, (uint32_t*)buffer, count, 2000);
        adc_size = rcv_size;
        err = X502_ProcessAdcData(m_dev, (uint32_t*)buffer, adc_data, (uint32_t*)&adc_size, X502_PROC_FLAGS_VOLT);

        err = X502_AsyncInDig(m_dev, (uint32_t*)inp_buff);
        if(m_relays == 0)
        {
            m_inputs[address++] = inp_buff[0];
            if(address == 6) address = 0;
        }        
        else
        {
            counter++;
            if(counter == 2)
            {
                counter  = 0;
                m_relays = 0;
                m_status[address] = inp_buff[0];
                address = 0;
            }
        }
        app->rza->adcReady();
    }

Теперь изменяю амплитуду или относительную фазу любого напряжения... в данных с АЦП ничего не меняется. Перезапускаю программу - все ок, пошли правильные данные.
Убираю из цикла асинхронный обмен с цифровыми портами:

   while(m_bRun)
    {
        rcv_size = X502_Recv(m_dev, (uint32_t*)buffer, count, 2000);
        adc_size = rcv_size;
        err = X502_ProcessAdcData(m_dev, (uint32_t*)buffer, adc_data, (uint32_t*)&adc_size, X502_PROC_FLAGS_VOLT);
        app->rza->adcReady();
    }

Все встает на свои места, изменения входных напряжений сразу видны в данных с АЦП.
Я опять что не так делаю или такая смесь синхронного и асинхронного вызова недопустима?

да, примерно так.. только есть еще один вариант - в адрес может асинхронно по времени добавляться 4 бит, а в  а старшие биты -  некоторая управляющая информация для внешнего оборудования.. Тогда при чтении должен читаться регистр состояний. Т.е. все несколько сложнее простого перебора чтения внешних данных по адресам от 0 до 5.

Эльбрус у нас конечно есть и планируются еще приобретения, есть удаленный доступ к машине с Эльбрусом. так что тут все ок. Avahi  - это да, это нам не нужно.

Новая прошивка проработала день без проблем, посмотрим что будет утром.

Все установил как описано и запустил тестирование.. теперь это надолго  . в РОСЕ6 не смог установить lboot - почему-то не находит библиотеку libmodbus.so.5: в пакетах ее почему-то нет, ручками поставил ее из github и собрал - не помогло..
пришлось все проделать в Mint- все встало легко и быстро.
Вообще (просто для информации) хочу сказать - мы благодарны вам за оперативную поддержку и рассчитываем на ваши девайсы, в разработке у нас терминалы защиты, где основным элементов внешнего интерфейса ставим Е502. Причем в качестве рабочих станций используем как машинки Интел/АМД так и Эльбрус.. Это кстати возможно отдельная будет тема - перенос пакетов e502/x502  на Эльбрус.

вот, все интереснее и интереснее.. Посмотрел на datasheet микроконтроллера, там USB 2.0, а я оказывается вчера подключил в USB-3.0 и все, ошибки похоже исчезли. Сейчас еще подожду (на 2 кГц) немного и верну подключение на USB 2.0..