Fastvideo

Программное обеспечение FastVCR для камер машинного зрения Hikrobot

Обновлено:

FastVCR для камер Hikrobot: захват и полная GPU-обработка потока в реальном времени — RAW → обработка → сжатие → запись, с управлением сенсором. Готовое приложение под камеры Hikrobot, без сборки конвейера вручную.

FastVCR — программное обеспечение для камер машинного зрения Hikrobot с полным конвейером обработки изображений на видеокарте NVIDIA в реальном времени. Программа принимает «сырые» кадры с камеры по интерфейсу USB3 или GigE, выполняет на GPU весь конвейер ISP — от распаковки и линеаризации до демозаики, шумоподавления, тон-маппинга и кодирования — и выдаёт результат на монитор, в файлы JPEG или видео (MP4) на SSD, либо в RTSP-поток с минимальной задержкой. Наибольшая пропускная способность достигается с камерами 10-GigE.

Камера Hikrobot есть — а софт под неё? Штатные утилиты дают захват, но не быстрый конвейер обработки на GPU. FastVCR закрывает весь путь от сырого кадра до сжатого результата в реальном времени на видеокарте NVIDIA — готовым приложением, настроенным под сенсоры Hikrobot.

Мы сами написали эти алгоритмы

Кодеки и ISP-модули Fastvideo — это не обёртки над чужим кодом. Алгоритмы демозаики, шумоподавления, тон-маппинга и кодеков JPEG/JPEG2000 мы спроектировали — а многие и придумали — сами и сами реализовали на CUDA, на базе экспертизы в обработке изображений, которую нарабатываем с 2009 года. Поэтому вы получаете цельное, настроенное решение, а не набор GPU-примитивов; и если вашей задаче нужно что-то специфическое, мы можем изменить сам алгоритм, а не просто вызвать его.

HikRobot - глобальный поставщик продуктов и решений, специализирующийся на машинном зрении и мобильных роботах. Продукты машинного зрения широко используются в таких отраслях промышленной автоматизации как бытовая электроника, полупроводники и логистика, в качестве составной части таких приложений, как управление позиционированием, измерения и контроль качества. Они помогают пользователям значительно повысить производительность, точность и стабильность.

FastVCR Hikrobot

Вы можете протестировать любую камеру Hikrobot с помощью оригинального программного обеспечения MVS, но оно не предназначено для приложений с высокой частотой кадров. Чтобы преодолеть это ограничение, мы разработали программное обеспечение на базе графического процессора для работы с камерами Hikrobot, обеспечивающее максимальную производительность и высокое качество изображения в режиме реального времени. Вы можете скачать демонстрационное программное обеспечение (версия для Windows) по этой ссылке и протестировать его на доступных кадрах RAW/PGM с камер Hikrobot (8/10/12-разрядных монохромных raw или bayer).

Для чего нужен быстрый софт для камер Hikrobot?

Если мы посмотрим на технические характеристики последней серии сенсоров SONY Pregius 4-го поколения, то увидим, что большинство из них имеют версию "high speed", что означает, что у этих матриц не только высокое разрешение, но и высокая частота кадров. Камеры Hikrobot с этими сенсорами оснащены высокоскоростными интерфейсами USB3 или GigE, поэтому они могут передавать полученные кадры с очень высокой пропускной способностью.

Это относится не только к сенсорам SONY, аналогичная ситуация наблюдается и с сенсорами Gpixel, On-Semi и AMS (CMOSIS). Современные камеры машинного зрения обеспечивают высокое разрешение и высокую частоту кадров, поэтому непросто делать обработку в реальном времени с высоким качеством и без потерь кадров, это довольно сложная задача. Но это именно то, что мы делаем с помощью программного обеспечения FastVCR, работающего на графическом процессоре NVIDIA. Параллельная реализация алгоритмов обработки изображений значительно повышает скорость, что очень критично для приложений с камерами.

Камеры машинного зрения могут обеспечивать высокое качество изображения в режиме реального времени, поэтому кроме промышленных приложений они также используются и в приложениях для потоковой передачи данных, цифрового кино, 3D, дополненной реальности и виртуальной реальности VR.

Возможности программы FastVCR для управления камерами Hikrobot

Возможности FastVCR для обработки исходных данных от камер Hikrobot на видеокартах NVIDIA

Варианты вывода данных для программы FastVCR

Как FastVCR справляется с высокоскоростными камерами Hikrobot (USB3 и GigE)?

Это программное обеспечение было разработано с использованием графического процессора для обработки изображений, чтобы оно могло работать в высокопроизводительных приложениях для камер. Это именно то, что Hikrobot предлагает для своих продуктов с интерфейсами USB3 и GigE. Программное обеспечение может работать с многокамерными системами, обрабатывая RAW кадры со всех камер в режиме реального времени без потери кадров. Наибольшая пропускная способность достигается с камерами 10-GigE, где интерфейс позволяет передавать самые большие потоки данных. В целом, производительность зависит от сложности конвейера обработки изображений и используемого аппаратного обеспечения (CPU/GPU/SSD и т.д.). Вы можете загрузить демонстрационное программное обеспечение по ссылке ниже, чтобы протестировать свою камеру Hikrobot и оценить качество изображения, задержку и производительность.

Это программное обеспечение может работать в режиме эмулятора камеры, чтобы проверить производительность обработки изображений на графическом процессоре без подключения камеры к ПК. Пользователь может загрузить произвольное изображение RAW в формате RAW/PGM/TIFF для работы. Это очень полезно для проверки измерений времени, которые доступны для каждого модуля обработки изображений на графическом процессоре.

Дополнительные модули обработки на видеокарте NVIDIA

CLI приложение FastVCR (приложение для командной строки)

Во многих случаях приходится запускать программное обеспечение удалённо без какого-либо графического интерфейса, и это может происходить в разных ситуациях. Так часто бывает в приложениях для беспилотных летательных аппаратов или в любых других задачах с удаленным управлением камерой. Это также относится к любой длительной записи и потоковой передаче видео без прямого участия пользователя.

Чтобы соответствовать этим требованиям, мы разработали CLI приложение, которое обладает всеми вышеперечисленными функциями программного обеспечения FastVCR и может работать без графического интерфейса пользователя. Это приложение позволяет удалённо контролировать камеру, а также параметры обработки и сохранения кадров/видео.

Зачем может понадобиться программное обеспечение FastVCR вместо MVS?

Здесь мы расскажем о наиболее важных функциях, которые необходимы для работы с камерами.


1. Быстрая обработка RAW кадров на GPU
Производительность программного обеспечения FastVCR ограничена используемым графическим процессором и сложностью схемы процессинга кадров.
FastVCR может обрабатывать изображения с точностью 16/32 бит на видеокарте.

2. Быстрое кодирование изображений и видео
FastVCR может кодировать кадры RGB в формат MJPEG практически с любой частотой кадров в секунду и разрешением, которое может превышать максимальную пропускную способность H.264/H.265 с точки зрения частоты кадров и разрешения изображения. Мы используем кодек MJPEG на графическом процессоре для достижения высокой частоты кадров. При этом кодирование в H.264/H.265 тоже возможно.

3. Тестирование
FastVCR может работать не только с камерами, но и с отдельными кадрами в форматах RAW/PGM/TIFF, загруженных с SSD. Это очень полезно для тестирования, особенно в случае, когда у заказчика ещё нет камеры Hikrobot. Программа FastVCR может также работать с папками, содержащими такие кадры, т.е. это по сути режим эмуляции камеры с последовательным процессингом RAW кадров.

4. Подавление шума
В программе FastVCR есть следующие шумодавы на видеокарте: билатеральный и NLM, которые работают как с монохромными данными, так и с цветными.

5. Низкая латентность
Благодаря быстрой обработке RAW кадров на видеокарте, можно добиться низкой латентности при условии быстрой передачи обработанных данных через RTSP.
В программное обеспечение включен модуль G2G (glass-to-glass) для измерения и тестирования латентности для полного цикла.

6. Приложение CLI (без графического интерфейса)
В комплект поставки входят программы с графическим интерфейсом и без, а также RTSP сервер и плеер.
Приложение CLI очень полезно в случаях для удалённого управления системой.

7. Гистограмма, парад и вектороскоп в режиме реального времени.

8. Полная статистика работы камеры в реальном времени.

CUDA image processing SDK

Все указанные выше модули обработки изображений реализованы на базе нашего Fastvideo SDK для обработки изображений на видеокартах NVIDIA. Наши заказчики могут использовать эти функции в своих приложениях для быстрой обработки изображений. Здесь можно посмотреть на бенчмарки для Fastvideo SDK.

Помимо программного обеспечения FastVCR, мы предлагаем индивидуальную разработку программного обеспечения для создания решений на базе камер Hikrobot в соответствии с требованиями заказчика. Мы можем реализовать режимы работы, зависящие от конкретного приложения, для решения необходимой задачи. Пожалуйста, заполните контактную форму ниже информацией о вашем проекте и отправьте ее нам.

Применения FastVCR с камерами Hikrobot

Смежные продукты и решения Фаствидео

Загрузить FastVCR

Сначала — на ваших данных, бесплатно

До любых обязательств пришлите нам несколько своих снимков или опишите задачу. Мы прогоним их через софт, покажем результат и разберём его вместе на созвоне. Если решаете двигаться дальше — заказ простой: коммерческое предложение, ваш заказ (договор/PO), наш счёт; условия лицензии уже входят в софт.

Как мы работаем →

Фёдор Серженко, Fastvideo

Об авторе

Фёдор Серженко, к.ф.-м.н. — основатель и генеральный директор Fastvideo. Окончил МФТИ, кандидатскую защитил в 1993 году. С 2009 года руководит разработкой GPU-кодеков и ISP-модулей Fastvideo, включая Fastvideo SDK. LinkedIn.

Почему результатам можно верить

Fastvideo разрабатывает софт для видеокарт NVIDIA с 2009 года. Наши кодеки соответствуют стандартам, которые реализуют — JPEG (ITU-T T.81 / ISO IEC 10918) и JPEG2000 (ITU-T T.800 / ISO IEC 15444), — а часть инструментов открыта на GitHub, так что заявленное можно проверить в коде. Все опубликованные цифры воспроизводимы: см. методику тестирования и измерьте на своём GPU.

Форма для отправки запроса

Эта форма сохраняет ваше имя и адрес электронной почты.
Лицензирование | Блог | Контакты
Копирайт © ООО Фаствидео, 2009–2026. Все права защищены.