Фаствидео СДК для обработки изображений на NVIDIA GPU

Компанией Фаствидео разработана высокопроизводительная библиотека для обработки изображений и видео на видеокартах NVIDIA. В основу этой библиотеки положен функционал приложений для обработки данных от видеокамер. Таким образом, туда включены все основные стадии обработки "сырых данных", начиная от получения кадра с камеры и до сохранения финальной обработанной картинки. Вся схема обработки изображений реализована полностью в памяти видеокарты, что позволяет получить очень высокую скорость обработки (обычно намного быстрее, чем реальное время для приложений с видеокамерами). Эта библиотека применяется и в других задачах, не связанных с камерами: работа с архивами изображений и видео, обработка изображений для веба в реальном времени, цифровое кино, видео стены, задачи перекодирования видео, разнообразные приложения на базе FFmpeg, а также для 3D, VR, AI.

Ценности Фаствидео СДК для бизнеса

Высокая производительность
Низкая латентность
Высокое качество изображений
Уменьшение стоимости владения для конечных приложений
Совместимость с другими СДК, в том числе на CPU и GPU
Простота использования, техподдержка, обновления
Возможрость работы со всем спектром видеокарт от NVIDIA

Возможности библиотеки Фаствидео СДК для обработки изображений и видео

Получение данных от камер, фреймграбберов, с дисков HDD/SSD/RAM или из памяти GPU (форматы PGM, BMP, PPM, JPG, YCbCr, RAW, DNG, массив байт, текстуры OpenGL или PBO)
Линеаризация сырых данных
Вычитание темнового кадра
Выравнивание яркости по полю (подавление виньетирования)
Динамическое подавление битых пикселов в сырых данных
Биннинг (только для монохромных данных)
Баланс белого
Экспокоррекция
Наложение кривых на сырые данные (мастер-кривая и RGB)
Шумодавы для сырых данных: на базе вейвлетов и медианный фильтр
Алгоритмы демозаики: L7, DFPD, MG
Шумодав для цветоразностных компонент
Цветокоррекция с помощью матричного профиля
Цветовые преобразования: RGB->YCbCr, YCbCr->RGB, RGB->HSV, HSV->RGB
Одномерные луты (композитные или для каждого канала) 8/10/12/14/16-бит для тон-маппинга в RGB или HSV
3D луты для RGB и HSV
Гистограммы для RGB
RGB парад (вейвформ монитор)
Кроп
Поворот на 90/180/270 градусов, отражения вверх/вниз и вправо/влево
Ресайз (уменьшение или увеличение размера кадра)
Ремап: поворот на произвольный угол, аффинные преобразования, перспектива, проекции, произвольный маппинг
Дефринж (подавление хроматических аберраций)
Преобразования в Rec.601 (SD), Rec.709 (HD), Rec.2020 (4K)
Гамма (композитная или поканальная)
Повышение контраста с помощью фильтра Аншарп Маск
Вывод на экран в реальном времени через OpenGL
Кодек JPEG (8/12 бит на канал)
Кодек для сырых данных от байеровской матрицы (с потерями и без, 8/12 бит на канал)
JPEG2000 кодер и декодер (8-16 бит на канал, тайлы, режимы пачки и многопоточности)
Модуль для диагностики ошибок (Trace)
Мультиплексор
Поддержка стримов CUDA для улучшения производительности
Возможность работы с NVIDIA Jetson NANO, TX2, TX2i, NX / AGX Xavier, Orin
Поддержка режима CUDA MPS в ОС Линукс
Фильтры и кодеки FFmpeg на NVIDIA GPU для быстрой обработки видео

Дополнительные возможности Фаствидео СДК

Модуль быстрой распаковки разных RAW форматов
Разбиение изображений на тайлы
Пирамиды изображений
Расщепление изображений на отдельные каналы (плоскости)
Автоматический Баланс белого
Преобразование из RGB в градации серого
Дискретное косинусное преобразование
Дискретное вейвлет-преобразование: CDF 5/3, 9/7, Haar, UHaar, UCDF
Модуль измерения времени работы для каждой функции из Фаствидео СДК
Кодирование и декодирование данных в формате BMD RAW 3:1, 4:1, 5:1
Получение данных от грабберов HD-SDI: Blackmagic, Bluefish, Deltacast, Imperx
Поддержка систем многокамерной съёмки для задач реального времени
Кодек H.264 (NVENC/NVDEC)
Кодек H.265 (NVENC/NVDEC)
Обработка BMD RAW, BRAW, DNG, CinemaDNG, PGM изображений на видеокартах NVIDIA
Обработка сырого видео в формате MLV (Magic Lantern Video) на видеокартах NVIDIA
Кодирование обработанных серий в Apple ProRes

Мы разрабатываем программное обеспечение и алгоритмы обработки изображений, которые оптимизированы для работы с новейшими видеокартами NVIDIA. Параллельные вычисления на видеокартах NVIDIA являются ключевым моментом для получения изображений высокого качества и для максимально быстрого решения поставленных задач.

Бенчмарки Фаствидео СДК для изображений 2K и 4K

*OS Windows-10 (64-бит), CUDA-10. Бенчмарки приведены для результатов вычислений на видеокарте без учёта загрузки/выгрузки данных, для обработки одиночных изображений. Кодирование JPEG с коэффициентом сжатия ~10:1 (24-бит, качество jpeg 90%), прореживание 4:2:0. Алгоритм дебайера DFPD. Алгоритм ресайза - Ланцош (уменьшение в 2 раза). Шумоподавление на базе вейвлетов, билатерального алгоритма и NLM.

Совместимость

OS Windows-10/11, Linux Ubuntu, Linux4Tegra (L4T)
CUDA-12.3, MSVS 2022, тестовые приложения на C++ с исходниками, мануал
Возможность работы с видеокартами NVIDIA: Pascal, Volta, Turing, Ampere, Ada
Поддержка NVIDIA Jetson Nano, TX2, TX2i (CUDA-10.2)
Поддержка NVIDIA Jetson NX/AGX Xavier, Orin (CUDA-11.4)
Интеграция Motion JPEG с FFmpeg (ридер/райтер), FFmpeg по лицензии LGPLv2.1

Тестовые приложения Фаствидео СДК с исходными кодами

Кодек JPEG
Дебайер
Дебайер + JPEG
Кодек для сырых данных от байеровской матрицы (Raw Bayer Codec)
Шумодав
Ресайзер
Кодек J2K
Конвертер SDI
JPEG Resize (Jpeg2Jpeg app): jpeg decoding, crop, resize, sharp, jpeg encoding
Тестовое приложение для работы с камерами на CUDA: полученые сырых данных и распаковка, вычитание темнового кадра, подавление виньетирования, баланс белого, экспокоррекция, дебайер, шумодав для люмы и хромы, цветокоррекция, тон-маппинг (кривые и уровни), поворот, кроп, ресайз, ремап, подавление дисторсии, шарп, вывод через OpenGL, сжатие JPEG или JPEG2000, запись в AVI (MJPEG) или в MXF (JPEG2000)
Плеер AVI (MJPEG) через GLFW
Тестовое приложение для CUDA Streams
Фильтр Remap для FFmpeg

Опенсорсные проекты Фаствидео

Конвертер PGM2DNG - преобразование изображений PGM в формат DNG
GPU Camera Sample - проект по быстрой обработке данных от видеокамер машинного зрения на видеокартах NVIDIA в реальном времени

Скачать демо-приложения для видеокарт NVIDIA

Заказная разработка программного обеспечения для видеокарт NVIDIA

Мы предлагаем нашим заказчикам услуги по интеграции Фаствидео СДК с приложениями по обработке изображений и видео. Мы также выполняем заказные разработки по спецификации заказчика. Если Вы не нашли в этом документе информацию о нужных Вам алгоритмах обработки, напишите нам, позвоните или пришлите техническое задание - всё обсудим.

Лицензирование Фаствидео СДК

Мы лицензируем Фаствидео СДК и отдельные программные модули для Windows, Linux и L4T разработчикам программного обеспечения, технологическим компаниям, производителям камер и их дилерам, интернет провайдерам, социальным сетям и порталам, системным интеграторам, стартапам и пр. Здесь можно посмотреть примеры приложений, в которых уже используется Фаствидео СДК. Демо версию Фаствидео СДК, мануал, подробности лицензирования и оценку стоимости проекта можно получить по запросу.

Текущие проекты по разработке

Кодек J2K для FFmpeg: перекодирование J2K в H.264 или H.265
Менеджер памяти для видеокарт NVIDIA
Быстрое преобразование DNG, CR2, CR3, NEF, ARW в JPEG на видеокартах NVIDIA
Подавление дисторсии (высокое качество и огромная производительность)
Глобальный и локальный тонмаппинг
Подавление муара
Быстрая сшивка изображений для микроскопии
Обработка изображений для 24-битных сенсоров
Кодек JPEG XS на видеокарте
Обработка изображений от MIPI SCI-2 камер