Представьте что вам понадобилось взять только различные значения из переменной, данные в которую может вносить пользователь в визуальной части.
Пользователь вводит значения: "1 1 1 1 2 2 2...", а как нам из этого списка оставить только уникальные записи?
Это может пригодится например при построении ODAG приложений, или для визуального анализа введенных данных или для других случаев
Иногда в разработке приходится быстро проверять некоторые гипотезы на больших объемах данных, давайте объем данных представим в виде 100 000 000 строк в 1 QVD-файле.
Как долго будет грузиться такой объём данных? В зависимости от количества полей, условий загрузки, расчётов каких либо - долго, может даже минуты.
Предлагаю несколько вариантов загрузки данных, которые можно использовать исходя из ваших текущих задач, поехали!
Эту статью я писал в начале 2019 года, сейчас пришло время её оптимизировать и адаптировать под проект, подробности внутри.
Ссылку на оригинал оставлю в конце статьи