Настало время подробно рассказать, как работает наша реализация алгоритма распознавания номеров: что оказалось удачным решением, что работало весьма скверно. И просто отчитаться перед Хабра-пользователями - ведь вы с помощью Android приложения Recognitor помогли нам набрать приличного размера базу снимков номеров, снятых совершенно непредвзято, без объяснения как снимать, а как нет. А база снимков при разработке алгоритмов распознавания самое важное!

Что получилось с Android приложением Recognitor

Было очень приятно, что пользователи Хабра взялись качать приложение, пробовать его и отправлять нам номера.

Скачиваний программы и оценки

С момента выкладывания приложения на сервер пришло 3800 снимков номеров от мобильного приложения.
А еще больше нас порадовала ссылка http://212.116.121.70:10000/uploadimage - нам за 2 дня отправили около 8 тысяч полноразмерных снимков автомобильных номеров (преимущественно вологодских)! Сервер почти лежал.

Теперь у нас на руках база в 12 000 снимков фотографий - впереди гигантская работа по отладке алгоритмов. Все самое интересное только начинается!

Напомню, что в приложении Android предварительно выделялся номер. В этой статье я не буду подробно останавливаться на этом этапе. В нашем случае - каскадный детектор Хаара . Этот детектор не всегда срабатывает, если номер в кадре сильно повернут. Анализ того, как работает нами обученный каскадный детектор, когда не работает, оставлю на следующие статьи. Это ведь действительно очень интересно. Кажется, что это черный ящик - вот обучили детектор и больше ничего не сделать. На самом деле это не так.

Но все-таки каскадный детектор - неплохой вариант в случае ограниченных вычислительных ресурсов. Если автомобильный номер грязный или рамка плохо видна, то Хаар тоже неплохо себя проявляет относительно других методов.

Распознавание номера

Здесь рассказ про распознавание текста в картинках такого вида:

Общие подходы про распознавании были описаны в первой статье .

Изначально мы ставили перед собой задачу распознавания грязных, частично стертых и здорово искаженных перспективой номеров.
Во-первых, это интересно, а во-вторых, казалось, что тогда чистые будут срабатывать вообще в 100% случаях. Обычно, конечно, так и происходит. Но тут не сложилось. Оказалось, что если по грязным номерам вероятность успеха была 88%, то по чистым, например, 90%. Хотя на деле вероятность распознавания от фотографии на мобильном приложении до успешного ответа, конечно, оказалось еще хуже указанной цифры. Чуть меньше 50% от приходящих изображений (чтобы люди не пытались фотографировать). Т.е. в среднем дважды нужно было сфотографировать номер, чтобы распознать его успешно. Хотя во многом такой низкий процент связан с тем, что многие пытались снимать номера с экрана монитора, а не в реальной обстановке.

Весь алгоритм строился для грязных номеров. Но вот оказалось, что сейчас летом в Москве 9 из 10 номеров идеально чистые. А значит лучше изменить стратегию и сделать два раздельных алгоритма. Если удалось быстро и надежно распознать чистый номер, то этот результат и отправим пользователю, а если не удалось, то тратим еще немного времени процессора и запускаем второй алгоритм для грязных номеров.

Простой алгоритм распознавания номеров, который стоило бы реализовать сразу

Как же распознать хороший и чистый номер? Это совсем не сложно.

Предъявим следующие требования к такому алгоритму:

1) некоторая устойчивость к поворотам (± 10 градусов)
2) устойчивость к незначительному изменению масштаба (20%)
3) отрезание каких-либо границ номера границей кадра или просто плохо выраженные границы не должны рушить все (это принципиально важно, т.к. в случае грязных номеров приходится опираться на границу номера; если номер чистый, то ничего лучше цифр/букв не характеризует номер).

Итак, в чистых и хорошо читаемых номерах все цифры и буквы отделимы друг от друга, а значит можно бинаризовать изображение и морфологическими методами либо выделить связанные области, либо воспользоваться известными функциями выделения контуров.

Бинаризуем кадр

Здесь стоит еще пройтись фильтром средних частот и нормализовать изображение.


На изображении приведен изначально малоконтрастный кадр для наглядности.

Затем бинаризовать по фиксированному порогу (можно порог фиксировать, т. к. изображение было нормализовано).

Гипотезы по повороту кадра

Предположим несколько возможных углов поворотов изображения. Например, +10, 0, -10 градусов:

В дальнейшем метод будет иметь небольшую устойчивость к углу поворота цифр и букв, поэтому выбран такой достаточно большой шаг по углу - 10 градусов.
С каждым кадром в дальнейшем будем работать независимо. Какая гипотеза по повороту даст лучший результат, та и победит.

А затем собрать все связанные области. Тут использовалась стандартная функция findContours из OpenCV. Если связанная область (контур) имеет высоту в пикселях от H1 до H2 а ширина и высота связана отношением от K1 до K2, то оставляем в кадре и отмечаем, что в этой области может быть знак. Почти наверняка на этом этапе останутся лишь цифры и буквы, остальной мусор из кадра уйдет. Возьмем ограничивающие контуры прямоугольники, приведем их к одному масштабу и дальше поработаем с каждой буквой/цифрой отдельно.

Вот какие ограничивающие прямоугольники контуров удовлетворили нашим требованиям:

Буквы/цифры

Качество снимка хорошее, все буквы и цифры отлично разделимы, иначе мы до этого шага не дошли бы.
Масштабируем все знаки к одному размеру, например, 20х30 пикселей. Вот они:

Кстати, OpenCV при выполнении Resize (при приведении к размеру 20х30) бинаризованное изображение превратит в градиентаное, за счет интерполяции. Придется повторить бинаризацию.

И теперь самый простой способ сравнить с известными изображениями знаков - использовать XOR (нормализованная дистанция Хэмминга). Например так:

Distance = 1.0 - |Sample XOR Image|/|Sample|

Если дистанция больше пороговой, то считаем, что мы нашли знак, меньше - выкидываем.

Буква-цифра-цифра-цифра-буква-буква

Да, мы ищем автомобильные знаки РФ именно в таком формате. Тут нужно учесть, что цифра 0 и буква «о» вообще не отличимы друг от друга, цифра 8 и буква «в». Выстроим все знаки слева направо и будем брать по 6 знаков.
Критерий раз - буква-цифра-цифра-цифра-буква-буква (не забываем про 0/о, 8/в)
Критерий два - отклонение нижней границы 6 знаков от линии

Суммарные очки за гипотезу - сумма дистанций Хэмминга всех 6 знаков. Чем больше, тем лучше.

Итак, если суммарные очки меньше порога, то считаем, что мы нашли 6 знаков номера (без региона). Если больше порога, то идем к алгоритму устойчивому к грязным номерам.

Тут еще стоит рассмотреть отдельно буквы «Н» и «М». Для этого нужно сделать отдельный классификатор, например, по гистограмме градиентов.

Регион

Следующие два или три знака над линей, проведенной по низу 6 уже найденных знаков, - регион. Если третья цифра существует, и ее похожесть больше пороговой, то регион состоит из трех цифр. Иначе из двух.

Однако, распознавание региона часто происходит не так гладко, как хотелось бы. Цифры в регионы меньше, могут удачно не разделиться. Поэтому регион лучше узнавать способом более устойчивым к грязи/шума/перекрытию, описанным далее.

Какие-то детали описания алгоритма не слишком подробно раскрыты. Отчасти из-за того, что сейчас сделан лишь макет этого алгоритма и предстоит еще протестировать и отладить его на тех тысячах изображений. Если номер хороший и чистый, то нужно за десятки миллисекунд распознать номер или ответить «не удалось» и перейти к более серьезному алгоритму.

Алгоритм устойчивый к грязным номерам

Понятно, что алгоритм, описанный выше совсем не работает, если знаки на номере слипаются из-за плохого качества изображения (грязи, плохого разрешения, неудачной тени или угла съемки).

Вот примеры номеров, когда первый алгоритм не смог ничего сделать:

Но придется опираться на границы автомобильного номера, а потом уже внутри строго определенной области искать знаки с точно известной ориентацией и масштабом. И главное - никакой бинаризации!

Ищем нижнюю границу номера

Самый простой и самый надежный этап в этом алгоритме. Перебираем несколько гипотез по углу поворота и строим для каждой гипотезы по повороту гистограмму яркости пикселей вдоль горизонтальных линий для нижней половины изображения:

Выберем максимум градиента и так определим угол наклона и по какому уровню отрезать номер снизу. Не забудем улучшить контраст и получим вот такое изображение:

Вообще стоит использовать не только гистограмму яркости, но также и гистограмму дисперсии, гистограмму градиентов, чтобы увеличить надежность обрезки номера.

Ищем верхнюю границу номера

Тут уже не так очевидно, оказалось, если снимают с рук задний автомобильный номер, то верхняя граница может быть сильно изогнута и частично прикрывать знаки или в тени, как в данном случае:


Резкого перехода яркости в верхней части номера нет, а максимальный градиент и вовсе разрежет номер посередине.

Мы вышли из ситуации не очень тривиально: обучили на каждую цифру и каждую букву каскадный детектор Хаара, нашли все знаки на изображении, так определили верхнюю линию где резать:

Казалось бы, что тут и стоит остановиться - мы же нашли уже цифры и буквы! Но на деле, конечно, детектор Хаара может ошибаться, а у нас тут 7-8 знаков. Хороший пример цифры 4. Если верхняя граница номера сливается с цифрой 4, то совсем не сложно увидеть цифру 7. Что кстати и произошло в данном примере. Но с другой стороны, несмотря на ошибку в детектировании, верхняя граница найденных прямоугольников действительно совпадает с верхней границей автомобильного номера.

Найти боковые границы номера

Тоже ничего хитрого - абсолютно также, как и нижнюю. Единственное отличие, что часто яркость градиента первого или последнего знака в номере может превышать яркость градиента вертикальной границы номера, поэтому выбирается не максимум, а первый градиент, превышающий порог. Аналогично с нижней границей необходимо перебрать несколько гипотез по наклону, т. к. из-за перспективы перпендикулярность вертикальной и горизонтальной границы совсем не гарантирована.

Итак, вот хорошо обрезанный номер:

да! особенно приятно вставить кадр с отвратительным номером, который был успешно распознан.

Печалит лишь одно - к этому этапу от 5% до 15% номеров могут отрезаться неправильно. Например, так:

(кстати это кто-то нам отправил желтый номер такси, насколько я понял - формат не штатный)

Все это нужно было, чтобы все это делалось лишь для оптимизации вычислений, т. к. перебрать все возможные положение, масштабы и наклоны знаков при их поиске - очень затратно вычислительно.

Разделить строку на знаки

К сожалению, из-за перспективы и не стандартной ширины всех знаком, приходится как-то выделять символы в уже обрезанном номере. Тут снова выручит гистограмма по яркости, но уже вдоль оси X:

Единственное, что в дальнейшем стоит исследовать две гипотезы: символы начинаются сразу или один максимум гистограммы стоит пропустить. Это связано с тем, что на некоторых номерах отверстие под винт или головка винта автомобильного номера могут различаться, как отдельный знак, а могут быть и вовсе незаметны.

Распознавание символов

Изображение до сих пор не бинаризовано, будем использовать всю информацию, что есть.

Здесь печатные символы, значит подойдет взвешенная ковариация для сравнения изображений с примером:

Образцы для сравнения и веса при ковариации:

Конечно, нельзя просто сравнить область, выделенную с помощью горизонтальной гистограммы, с образцами. Приходится делать несколько гипотез по смещению и по масштабу.
Количество гипотез по положению по оси X = 4
Количество гипотез по положению по оси Y = 4
Количество гипотез по масштабу = 3

Таким образом, для каждой области при сравнении с одним знаком необходимо рассчитать 4х4х3 ковариации.

Первым делом найдем 3 большие цифры. Это 3 х 10 х 4 х 4 х 3 = 1440 сравнений.

Затем слева одну букву и справа еще две. Букв для сравнения 12. Тогда количество сравнений 3x12x4x4x3 = 1728

Когда у нас есть 6 символов, то все справа от них - регион.

В регионе могут быть 2 цифры или 3 цифры - это нужно учесть. Разбивать регион гистограммным способом уже бессмысленно из-за того, что качество изображения может быть слишком низкое. Поэтому просто поочередно находим цифры слева направо. Начинаем с левого верхнего угла, необходимо несколько гипотез по оси X, оси Y и масштабу. Находим наилучшее совпадение. Смещаемся на заданную величину вправо, снова ищем. Третий символ будем искать слева от первого и справа от второго, если мера похожести третьего символа больше пороговой, то нам повезло - номер региона состоит из трех цифр.

Выводы

Практика применения алгоритма (второго описанного в статье) в очередной раз подтвердила прописную истину при решении задач распознавания: нужна действительно презентативная база при создании алгоритмов. Мы нацеливались на грязные и потертые номера, т.к. тестовая база снималась зимой. И действительно часто довольно плохие номера удавалось узнавать, но чистых номеров в обучающей выборке почти не было.

Вскрылась и другая сторона медали: мало что так раздражает пользователя, как ситуация, когда автоматическая система не решает совсем примитивную задачу. «Ну что тут может не читаться?!» А то, что автоматическая система не смогла узнать грязный или потертый номера, - это ожидаемо.

Откровенно говоря, это наш первый опыт разработки системы распознавания для массового потребителя. И о таких «мелочах», как о пользователях, стоит учиться думать. Сейчас к нам присоединился специалист, разработавший аналогичную «Recognitor» программу под iOs. В UI у пользователя появилась возможность увидеть, что сейчас отправляется на сервер, выбрать какой из выделенных Хааром номеров нужный, есть возможность выделить необходимую область в уже «застывшем» кадре. И пользоваться этим уже удобнее. Автоматическое распознавание становится не дурацкой функцией, без которой нельзя ничего сделать, а просто помощником.

Продумывать систему, в которой автоматическое распознавание изображения будет гармонично и удобно пользователю, - оказалось задачей ничуть не проще, чем создавать эти алгоритмы распознавания.

И, конечно, надеюсь, что статья будет полезна.

Технологии программного распознавания номеров автомобилей и лиц людей, становятся все более востребованы. Например, автоматическое распознавание номеров автомашин может использоваться как компонент системы контроля доступа, для организации биллинговых систем платных парковок, автоматизации пропуска автомобилей или для сбора статистической информации (повторные визиты в ТРЦ или на мойку, например). Все это по силам современному интеллектуальному ПО. Что же нужно для реализации подобной системы? В принципе, не так и много - видеокамеры, удовлетворяющие определенным требованиям и соответствующий интеллектуальный программный модуль. Например, ПО или более бюджетный

В этой статье мы расскажем, как правильно выбрать цифровую видеокамеру, способную формировать качественное видеоизображение, приемлемое для задач программного распознавания номеров автомобилей

Разрешение

Еще несколько лет назад размер номерного знака на экране измерялся в % от ширины кадра. Все телекамеры были аналоговыми и их реазрешение было величиной постоянной. Теперь, когда матрицы могут иметь разрешение от 0.5 до 12Мп, относительные величин не применяются и требуемая ширина номерного знака измеряется в пикселях.

Как правило, в спецификации на ПО распознавания номеров указываются требования к ширине номерного знака на экране, достаточной для уверенного их распознавания. Так, например, программный модуль АвтоТрассир требует ширины в 120 пикселей, а НомерОК - 80 пикселей. Отличия в требованиях объясняются как нюансами работы алгоритмов распознавания, так и допустимым уровнем достоверности, принятым разработчиком. Из личного опыта можно отметить, что АвтоТрассир более требователен и «капризен» в части выбора оборудования, объектива, правильности установки камеры. Но, будучи доведенным до ума, показывает стабильно достоверные результаты и мало зависит от погодных условий.

Для большей надежности можно порекомендовать ориентироваться на значение ширины номерного знака в 150 пикс. А если вспомнить, что ширина номерного знака по ГОСТу составляет пол метра (520мм если быть точным), то мы приходим к требуемому разрешению в 300 точек на метр.

Линейное разрешение пикселей на метр зависит от угла обзора и разрешения матрицы камеры. Рассчитать его можно по формуле:

R lin - линейное разрешение, пикселей на метр

R h - горизонтальное разрешение камеры (например, R h =1080)

𝛼 - угол обзора камеры

L - расстояние от камеры до объекта

Также вы можете воспользоваться нашим онлайн-калькулятором на странице Интересующего вас товара, на вкладке «Что увижу».

Ниже приведено (для примера) несколько вариантов камер IP видеонаблюдения с указанием максимальной дистанции, с которой возможно распознавание номерных знаков (ширина номерного знака 150 пикс). Обратите внимание, для камер с вариофокальным объективом в расчете использовалось максимальное значение фокусного расстояния

	Фокусное расстояние	Разрешение по горизонтали	Max. расстояние, м	Max. ширина обзора, м
		1920 пикселей
		1280 пикселей
		2688 пикселей
		2048 пикселей
		2048 пикселей

Важно понимать, что камеры с более высоким разрешением могут вести наблюдение за более широкими зонами, поэтому их на один и тот же участок требуется меньше. При этом линейное разрешение остается в пределах требований по идентификации. Данный факт делает экономически обоснованным использование камер высокого разрешения во многих ситуациях.

Светочувствительность и скорость затвора

Для уверенного распознавания автомобильных регистрационных знаков камера должна обладать хорошей светочувствительностью и возможностью ручной установки скорости затвора (shutter speed или просто выдержки). Это требование крайне важно при построении систем распознавания номеров автомобилей, движущихся на высокой скорости. Для машин, движущихся со скоростью до 30км/ч (а именно такие проекты мы, как правило, и реализуем для наших заказчиков: коттеджных поселков, жилых комплексов, парковок ТЦ, различных закрытых территорий) это требование менее важно, но недооценивать его нельзя, ведь для достижения высокого качества распознавания камера должна снять не менее десяти кадров с читаемым номером.
Поэтому, например, для распознавания номера а/м, двигающегося со скоростью 30км/ч при угле установки камеры до 10 градусов относительно оси движения, скорость затвора должна быть порядка 1/200 секунды. Для многих недорогих камер такая выдержка даже днем при пасмурной погоде может оказаться недостаточной, и картинка окажется темной и/или зашумленной. Поэтому стоит обращать пристальное внимание на размер матрицы и ее качество. В идеале использовать специализированную черно-белую камеру с CCD матрицей. Однако цена их весьма высока а разрешение обычно не более 1Мп, что накладывает серьезные ограничения на их применимость.
В общем случае не следует гнаться за высоким разрешением, если на то нет объективных причин. Относительно недорогие камеры ультра-высокого разрешения (4Мп, 5Мп и выше) построены на матрицах 1/3, 1/2.8 и, реже 1/2.5 дюйма. Такой же размер матрицы имеют и камеры с разрешением 1.3 и 2Мп. Как следствие, размер каждого светочувствительного элемента в камере 1.3Мп ощутимо больше чем в камере 5Мп, а чем больше размер - тем больше света может собрать каждый светочувствительный элемент. Именно поэтому рекомендуемые нами для задач распознавания номеров IP камеры редко имеют разрешение больше 2Мп.

Широкий динамический диапазон (WDR), компенсация фоновой засветки

Динамический диапазон камеры определяет соотношение между максимальной и минимальной интенсивностью света, которые может нормально фиксировать ее сенсор. Иными словами, это способность камеры передать без искажений и потерь одновременно и ярко освещенные и темные участки изображения. Данный параметр очень важен при автоматическом распознавании номеров, т.к. помогает бороться с засветкой камеры светом фар. Однако даже самые продвинутые камеры с WDR в 140dB не всегда в состоянии справиться с высококонтрастным освещением. В этом случае устанавливается дополнительное освещение видимого света или работающее в ИК диапазоне, подсвечивающее зону, в которой происходит распознавание номера.

Глубина резкости

Глубиной резкости, или, полностью, глубиной резкости изображаемого пространства (ГРИП) называется диапазон расстояний на в котором предметы воспринимаются как резкие.

Этот параметр определяется фокусным расстоянием, диафрагмой и расстоянием до объекта. Чем больше глубина резкости - тем больше зона фокусировки и тем больше возможностей «поймать» достаточное количество четких кадров движущегося автомобиля.

Пожалуй, максимальное влияние на глубину резкости оказывает диафрагма объектива. Чем меньше отверстие диафрагмы - тем больше глубина резкости, чем больше - тем ГРИП меньше. Все рекомендуемые нами камеры для распознавания номеров умеют подстраиваться под изменение условий освещения за счет автоматического изменения диафрагмы. Настройку фокуса таких камер рекомендуется производить при максимально открытой диафрагме, когда глубина резкости минимальна.

Чем больше дистанция от камеры до объекта, тем глубина резкости больше, поэтому не стоит стремиться размещать камеру максимально близко к зоне распознавания. С другой стороны - чем фокусное расстояние больше, тем глубина резкости меньше. По нашей практике, оптимальное расстояние от камеры до ам - в пределах от 6 до 10 метров. Хотя не является невозможным и распознавания с расстояния и 100 метров.

Искажение

Многие объективы немного искажают изображение. Наиболее часто встречается так называемое «бочкообразное» искажение картинки. Это связано с увеличением, которое больше в центре и меньше по краям, что приводит к изменению размеров объекта. Так, если один и тот же объект попадет в центр изображения и на его край - его размеры на краю будут казаться меньше. Это может повлиять на возможность идентификации.

Чем короче фокусное расстояние - тем сильнее может быть заметно искажение. Поэтому камеры с широкоугольными объективами (менее 4мм) для идентификации применять нежелательно.

Шумы и цветопередача

Чем меньше шумов и чем точнее цветопередача - тем лучше для идентификации. Поэтому рекомендуется обратить внимание на такие параметры как минимальная освещенность камеры, а также наличие функций шумоподавления.
Подавление шумов особенно актуально при недостаточной освещенности, когда датчики камеры сильно «шумят», что осложняет идентификацию. Следует понимать, что во многих случаях шумоподавление и прочие электронные «примочки» не могут справиться, и нужно обеспечить достаточный уровень освещения на объекте.

Сжатие видео

Современные IP-камеры передают сжатый видеосигнал, причем, если движения в кадре нет или оно минимально - трафик будет небольшим. Если же движение в кадре интенсивное - трафик будет расти. Поэтому, в случае выставления в настройках камеры постоянного битрейта, картинка будет пригодной для идентификации при отсутствии движения, но непригодной - при интенсивном движении в кадре.
Для идентификации рекомендуется выставлять переменный битрейт с самым высоким уровнем качества. В этом случае будет обеспечиваться нужное качество изображения.

Матрица: 1/2.8” Progressive Scan CMOS Аппаратный WDR 140dB Объектив: 2.8-12 мм Особенности: камера внутренняя, для установки на улице необходим термокожух. Объектив в комплект не входит и приобретается отдельно
Макс. разрешение: 1,3мп, 1280 x 960 пикс Аппаратный WDR Объектив: 2.8-12 мм
Уличная 2 MP сетевая камера AXIS P1365-E c WDR и Lightfinder Матрица: 1/2.8” Progressive Scan CMOS Макс. разрешение: 2мп, 1920 x 1080 пикс Аппаратный WDR Технология Lightfinder Объектив: 2,8-8 мм @F1.3 Особенности: Высокая чувствительность, автофокус
Dahua IPC-HF8301E Utlra WDR 120Дб, Ultra 3DNR Матрица: 1/3" Progressive Scan CMOS Макс. разрешение: 3мп, 2048x1536 пикс Аппаратный WDR Объектив: 2.8-12 мм Особенности: камера внутренняя, для установки на улице необходим термокожух. Объектив в комплект не входит и приобретается отдельно
Матрица: 1/3” Progressive Scan CMOS Макс. разрешение: 1,3мп, 1280х960 пикс Объектив: 2,8 - 8 мм (F1.2) Особенности: Высокая чувствительность, автофокус

1.1 Камеры

DS-2CD4A25FWD-IZ(H)(S) Lightfighter bullet и

DS-2CD4A26FWD-IZ(H)(S) Darkfighter bullet

Уличная цилиндрическая камера с ИК подсветкой

1. Работает при очень низкой освещенности,
2. отличная работа компенсации встречного света,
3. цилиндрический, всепогодный, прочный корпус,
4. лицензия распознавания номеров,
5. ч/б список фильтров,
6. тревожный выход

1. Darkfighter Ultra-low light технология Высокое разрешение 1920x1080
2. До 60кадров/сек при Full HD1080p разрешении 120dB WDR
3. 2.8~12mm моторизированный VF объектив с интеллектуальным автофокусом
4. Умный кодек H.264+ компактного сжатия ИК-подсветка 50м.
5. IP67 защита
6. Питание +-12В DC и PoE
7. Встроенное хранилище, поддержка до 128GB
8. Поддержка ANPR, B/W List Filtering

Опции:

Встроенный обогреватель (-H)

Аудио/тревожные входы/выходы (-S)

Камеры, пригодные для распознавания автомобильных номеров изначально поставляются с прошивкой для подсчёта проходящих,

поэтому по желанию заказчика их перепрошивают для данной функции.

Перепрошивка не убирает функцию подсчёта полностью и позволяет к ней вернуться при желании, выбрав Событие SMART, как показано на рисунке ниже.

1.2 Решение

Решения Hikvision по распознаванию номеров автомобилей, обеспечиваемые самой камерой, можно разделить на:

1). Классическое распознавание номера и выдача списка распознанных прямо с камеры

1. Действия при соответствии номера записанному в камеру списку (допуск на территорию, включение сирены, отсылка сообщения)

При появлении номера из списка выполняется замыкание сухого контакта камеры, что является сигналом для блока управления шлагбаумом.

2. Требование к камере и месту установки

2.1. Номерной знак должен быть читаемым и хорошо освещенным.

2.2. Номерной знак должен быть не меньше 150 пикселей по ширине.

2.3. Допустимый наклон - не более 5° (по часовой и против часовой стрелки).

2.4. Вертикальный угол – не более 30°.

Исходная формула – �=ℎ∗√3 .

2.5. Горизонтальный угол – не более 30°.

2.6. При необходимости распознавания номерных знаков с двух полос, как правило, камеру рекомендуется располагать на перекладине.

2.7. Необходимо выбирать правильное расстояние от камеры до места распознавания

2.8. При распознавании номерных знаков в ночное время, необходимо наличие ИК-подсветки.

2.9. Скорость затвора должна быть достаточно большой, что бы сократить засветку фарами в ночное время. Как правило, речь идет о 1⁄1000.

2.10. Глубина фокуса – это очень важный параметр. Если вы используете камеру с CS-креплением объектива, используйте фиксированный объектив. Фиксированные объективы лучше для распознавания из-за большей глубины фокуса.

2.11. При выборе места монтажа, помните, что прямые солнечные лучи могут исказить картинку.

2.12. При монтаже камеры на обочине дороги, проверьте, как опора реагирует на проезд тяжелых автомобилей или колонн автотранспорта. Если опора будет иметь ощутимые колебания, это скажется на эффективности работы системы.

2.14. В редких случаях может возникнуть ситуация ложных обнаружений.
Чтобы свести это к минимуму, необходимо следующее:

1. корректно выбирайте зону распознавания.
2. пробуйте изменить угол обзора или место установки камеры.
3. регулируйте настройки минимального и максимального размера номерного знака в настройках.

3. Обнаружение автомобиля

Интелектуальная IP камера обнаруживает автомобиль посредством определения и распознавания номера, выдавая на регистратор, в iVMS-5200 или другому потребителю следующие данные:

1. Время проезда (часы и минуты)
2. Направление проезда («въезд» и «выезд при выборе зоны проезда)
3. Номерной знак (букы и цифры)
4. Страна регистрации (название)
5. Скриншот с номером (маленькая картинка)
6. Полноэкранный скриншот
7. Видеоролик момента определения (+/- 1-5с)
8. Автораспознавние чёрного/белого списков (выдача соответствующего alarm)
9. Срабатывание реле тревожного выхода (на самой камере, в регистраторе настраивается отдельно)

Управлением же информацией, полученной от камеры, занимаются же соответствующие потребители:

Настроить передачу информации и собственно само распознавание автомобильных номеров на камере можно на следующих потребителях:

а) Настройка распознавания на локальном NVR

Если же NVR подключен к iVMS-4200, то настройку регистратора и камеры можно осуществить с него:

б) Распознавание в iVMS -4200

А таже в iVMS-4200 можно выполнять всё управление процессом распознавания, но самостоятельно без NVR, он является лишь оболочкой, способной только использовать обычные функции видеонаблюдения с этих камер.

в) Настройка распознавания на iVMS -5200 P

В iVMS-5200 Pro имеется развитая аналитика, использующая распознавание номеров в различных видах деятельности общества и бизнеса.

Настройка распознавания на камере

На самой камере через web-inteface можно настраивать для любого потребителя, донастраиая уже на нём, но для подключения исполнительного механизма настройка делается только на камере.

Как раз здесь мы будем рассматривать функцию обнаружния автомобиля для открытия шлагбаума.

4. Настройка камеры

4.1. Для обработки события распознавания номера, как, например, открытия шлагбаума, в первую очередь необходимо настроить «Выход тревоги», по замыканию сухого контакта которого и сработает механизм.

Без этого электрической реакции на настраиваемое далее распознавание не произойдёт.

Однако, если не планируется использование механизации, то это делать не нужно.

4.2. Как правило, открывать шлагбаум предполагается не всем приезжающим, а только «своим», или в крайнем случае не пускать только определённых. Поэтому необходимо ввести загодя «белый» и «чёрный» список номеров, для чего нужно получить его бланк от самой камеры, нажав кнопку «экспорт».

Хочу обратить внимание на название используемого в документе шрифта, которого, конечно нет в Вашей системе, но именно он необходим для правильного восприятия камерой ваших предустановок:

Заполнив файл со списком номеров, необходимо выделить заполненные ячейки строки заголовка, убедившись, что шрифт назван по-китайски, а затем воспользоваться кнопкой Excel копирования формата по образцу

Затем нужно применить данный формат ко всем внесённым Вами ячейкам, выделяя их, чтобы все они были написаны шрифтом с китайским названием.

4.3. После импорта подготовленного Excel-файла в камере заполнятся данные «белого» и «чёрного» списков:

Примечание: К сожалению, со списками пока несколько печально:

И вот, только после всего ранее сделанного, можно приступить к настройке распознавания номеров и включению реакции триггера на номера из «белого» списка

4.4. Установите количество полос распознавания и настройте зону, а затем выберите регион.

Поддерживаемые страны в варианте «ЕС и СНГ»:

Чехия, Германия, Испания, Франция, Италия, Нидерланды, Польша, Словакия, Беларусь, Молдова, Украина, Россия, Бельгия, Болгария, Дания, Финляндия, Великобритания, Греция, Хорватия, Венгрия, Израиль, Люксембург, Македония, Норвегия, Португалия, Румыния, Сербия, Азербайджан, Грузия, Казах стан, Литва, Туркменистан, Узбекистан, Латвия, Эстония, Австрия, Албания, Босния и Герцеговина, Республика Ирландия, Республика Исландия, Ватикан, Республика Мальта, Швеция, Швейцария, Кипр, Турция, Словения.

4.5. Выберите режим «Вход/выход».

4.6. Проверьте и пересохраните расписание.

4.7. Выключите «Все», выбрав «Белый список», и включите срабатывание тревожного выхода.

4.8. Включите распознавание и сохраните настройки.

5. Распознавание номеров

1. Процесс распознавания можно видеть в специальной настроечной закладке.

1. Однако результаты определения и распознавания можно будет увидеть в архиве только регистратора.
2. На собственную карту памяти камера сможет писать только постоянно и по событиям:

Скриншоты определения автомобильных номеров также можно отправлять на FTP-сервер, если поставить галочку в разделе Метод связи закладки Поиск конфигурации меню Дорожное движение.

6. Заключение

Не расстраивайтесь! На NVR, iVMS-4200 & 5200 всех выше названных проблем нет! Там всё правильно работает и имеет большую функциональность!

Компания Hikvision пару месяцев назад официально представила прошивку для камер 4-ой серии с возможностью распознавания автомобильных номеров. Данную прошивку можно скачать с официального сайта Hikvision в России , прошивка абсолютно бесплатная и подходит даже к камерам, купленным более 2-х лет назад, единственным минусом на данный момент можно назвать отключение при этом всех смарт функций, кроме распознавания номеров (это обусловлено высокой нагрузкой на процессор камеры). На данный момент, любой владелец камер Hikvision 4-ой серии может протестировать возможность данной прошивки на своих камерах. Встроенная в камеру платформа обнаруживает и распознает автомобильные номера, и отправляет полученную информацию на или для управления доступом.

Для правильного выполнения функции распознавания автомобильных номеров в камере Hikvision 4-ой серии нужно соблюсти ряд параметров:

• для распознавания критичен угол горизонтали, и он должен быть в пределах 0-7 градусов;
  
• номер должен занимать не менее 130 пикселей на изображении;
• прошивка камеры специализированная 5.3.0_150719. Пока только на английском языке

Что мы получаем через браузе:

В приватных целях удалили картинку номерного знака и один знак из распознанного номера.

Как видно, камера распознает номерной знак, указывает время, регион и фотографии самого номера, если номер по каким-то причинам не распознан, делается скриншот, и его можно распознать в ручном режиме. Для сохранения данных, при потере связи, имеется буфер в камере на 1000 номеров.

Что мы получаем через Smart NVR (в нашем случае, с прошивкой V3.4.0):

Мы получаем набор фотографий с указанием даты, номера камеры и распознанного номера автомобиля. Регистратор собирает и хранит данную информацию. Возможен поиск как по времени, так и по номеру, можно по любой цифре и букве, за любой период времени Всю необходимую информацию можно выгрузить в XLS файле.

А также, можно загрузить обратно файл с указанием номеров из черного и белого списка, и, тем самым, автоматизировать открытие исполнительного механизма.

Последним вариантом получения информации является . На сегодняшний день, именно эта система полным образом поддерживает весь функционал по распознаванию номеров и других интеллектуальных функций камер. В iVMS-5200Pro в интерфейсе «Распознавание номерных знаков» в режиме реального времени справа от видеоряда Smart камеры отображаются 8 последних номерных знаков с указанием времени.

В приватных целях удалили один знак из распознанного номера.

При этом, нажимая на номерной знак, появляется подробная картинка:
Поиск информации: все номера и изображения автомобилей попадают в Базу Данных, где их легко искать по параметрам (можно по любой цифре и букве номера, за любой период ). Для этого открываем интерфейс Запроса Номера и указываем интересующую нас информацию.

Мы тестировали данную систему на 2-х камерах + DS-7616NI-E2 с прошивкой V3.4.0 и программным обеспечением iVMS-5200Pro от Hikvision (не так давно в обновленной версии IVMS-4200 2.3.1.3 данный модуль тоже появился и был протестирован). Процент распознанных номерных знаков составил ~70% , но, в нашем случае, это было обусловлено невозможностью поставить камеру идеально и соблюсти все параметры по углу горизонта к номеру автомобиля.

Из опыта наших коллег из Санкт-Петербурга: «По информации от производителя, процент распознанных номерных знаков составляет 85% на скорости 65 км\ч. На практике — по набережной машины едут иногда 100+, но номера распознаются корректно. Что касается распознавания номера в темное время суток — по информации от производителя, и, исходя из здравого смысла, необходимо ставить ИК прожектор с длиной волны 850 нм. В нашем случае, камера установлена высоко, и прожектор не подходит».

В описанном выше использовали «связку»:

2) Объектив Tamron 5-50

3) Термокожух Hikvision 1313HZ-S

В целом, система работает достойно, распознавание номерного знака происходит непосредственно на камере, нагрузка на ПК клиента минимальная (даже если все камеры будут работать с распознаванием), система может считывать информацию одновременно с 4-х полос.

Экономическая часть данного решения: камеры Hikvision 4-ой серии стоят от 19990 руб. за отдельно нужен термокожух и хороший объектив), и 39990 руб. за если сюда добавить 16-канальный регистратор это дополнительно 16990 руб. Стоимость системы распознавания номеров с одной камерой (вариант за 39990 руб.) на базе видеорегистратора обойдется в 57000 рублей. При использовании 2-3 камер, цена решения за канал будет снижаться и фактически равнятся стоимости самой камеры.

Офицальный дилер Hikvision (Хиквижен) на Урале (С) 2017

Существует множество систем автоматизации въезда автомобилей на территорию охраняемого объекта. Начиная от банального охранника в будке с кнопкой и заканчивая электронным пропуском или радио брелоком.

Электронная система распознавания автомобильных номеров стоит в этом списке особняком и до недавнего времени особой популярностью не пользовалась.

Причин этому несколько.

Во-первых, высокая стоимость оборудования и сложность настройки. Во-вторых, активное неприятие новшества, включая акты неприкрытого саботажа, самими охранниками, работа которых теперь жестко контролируется, исключая возможность дополнительного заработка.

Однако, есть существенные преимущества, которые предоставляет система распознавания номеров автомобилей:

• значительное повышение уровня безопасности и контроля автомобильного транспорта на объекте;
• исключается возможность для третьих лиц проникнуть на охраняемую территорию используя поддельные или похищенные магнитные пропуска или электронные брелоки. (автомобиль тоже можно угнать, но это намного сложнее);
• автоматическое ведение отчетности о транспортных средствах с возможностью формирования многочисленных отчетов;
• возможности удаленного доступа позволяют руководству организации контролировать работу служащих;
• систему распознавания автомобильных номеров можно легко интегрировать в общую СКУД организации.

Возможность въехать на территорию охраняемого объекта, приклеив на номер автомобиля распечатанные на принтере цифры, полностью исключена. Практически все системы автоматического распознания автомобильных номеров контролируют коэффициент светоотражения, которым не обладает бумага. Переклеенный номер просто не будет считываться.

Область применения систем автоматизированного распознавания автомобильных номеров довольно разнообразна. Прежде всего, распознавание номера автомобиля будет полезно на станциях технического обслуживания, АЗС, автомойках, складах, предприятиях, паркингах.

Функции, которые может выполнять такая система автоматического распознавания автомобильных номеров довольно разнообразны:

• контроль въезда и выезда на контролируемую территорию;
• ограничение выезда с территории предприятия, к примеру, автостанции, клиента, не совершившего оплату;
• осуществление контроля загрузки сервисной зоны.

В сочетании с системами контроля доступа идентификация автомобильных номеров дает дополнительные преимущества. Прежде всего, это полный контроль нахождения автомобильного транспорта в погрузочной зоне предприятия. Это дает возможность отследить ввоз сырья или вывоз готовой продукции, проверить эффективность погрузочно-разгрузочных работ и предотвратить хищения.

При этом, проверкой номера автомобиля не только на въезде, но и на выезде исключается возможность вывоза груза по поддельным или ошибочным сопроводительным документам.

Но больше всего преимуществ получает владелец паркинга или автостоянки. Система автоматического распознавания номеров позволит проконтролировать заполняемость территории в реальном времени, что даст возможность принять меры по повышению эффективности.

Совмещение распознавания номеров автомобилей с системой оплат полностью исключит возможность злоупотребления или хищения со стороны наемных работников. А так же полностью исключит возможность ошибок в подсчете времени нахождения транспортного средства на территории автостоянки и даст железное доказательство в спорах с недобросовестными клиентами.

ТЕХНИЧЕСКИЕ ХАРАКТЕРИСТИКИ И СОСТАВ ОБОРУДОВАНИЯ

В состав системы для автоматического распознавания номеров, в зависимости от производителя и модели, могут входить несколько устройств и программный комплекс с модулями, выполняющими различные функции аналитики или обслуживающими нетипичные приспособления. К примеру, автомобильные весы, радар для определения скорости и т.п.

Требования к компьютеру на котором будет установлена программа.

Минимальные требования для разных программ могут существенно отличаться в зависимости от функциональной нагрузки, но в большинстве случаев необходим:

• процессор, не менее 3 GHz;
• видеокарта: Intel, ATI с OpenGL или nVidia не менее 512 MВ;
• оперативная память, не мене 4 GB;
• HDD диск объемом не менее 4 GB.

Видеорегистратор с функцией RTSP.

Это потоковый протокол, который дает возможность не только просмотра и записи информации, но и использования видео в режиме реального времени. Примером таких регистраторов может служить модель HIKVISION DS-7204HVI-SV.

Камера видеонаблюдения с функцией RTSP.

Такие устройства для распознания номера автомобиля должны иметь разрешение не менее 550 ТВЛ, что обеспечивается матрицей 1/3" 760H. Фокусное расстояние 9-22 мм, что даст возможность идентификации на значительном расстоянии и при довольно высокой скорости, например, Atis AW-CAR40VF или AW-CAR180VF.

Светочувствительность камеры должна быть максимально высокой от 0,001 Люкс, кроме того, устройство необходимо оборудовать ИК подсветкой дающей возможность качественной съемки с расстояния не менее 15-20 м. Обязательно наличие функций:

• ручной установки выдержки;
• автоматического баланса белого;
• компенсации встречной засветки;
• расширенного динамического диапазона.

Данные камеры будут использоваться исключительно на улице, поэтому обязательно иметь класс защиты корпуса IP 66 с встроенными термоэлементами, позволяющими устройству функционировать при низких температурах не менее -30°С.

Рекомендуется использовать черно-белые камеры, так как они обладают большей чувствительностью и разрешающей способностью, чем цветные. Кроме того, большинство алгоритмов распознания номеров автомобилей преобразуют получаемое от камеры цветное изображение в черно-белое.

Исполнительные устройства и модули управления.

К примеру, модуль «BARBOS» подключаемый к ПК через USB соединение. Данный модуль имеет 4 пятиамперных реле, через которые можно управлять шлагбаумом, воротами, калиткой, освещением, GSM оповещением, различными системами индикации, выведенными в диспетчерскую и т.п.

КАМЕРЫ ДЛЯ РАСПОЗНАВАНИЯ АВТОМОБИЛЬНЫХ НОМЕРОВ

Основным параметром, на который следует обратить внимание, при выборе места установи камеры видеонаблюдения для распознавания автомобильных номеров, является ручная установка выдержи. Существует линейная зависимость между скоростью автомобиля и рекомендуемой выдержкой (временем экспозиции кадра - shutter).

Чем выше скорость автомобиля, тем меньше должно быть время экспозиции, иначе произойдет смазывание кадра - motion blur. Однако максимально допустимая выдержка зависит не только от времени экспозиции, но и от угла установки камеры. Угол установки камеры - это угол между направлением движения автомобиля и оптической осью видеокамеры.

Большинство видеокамер средней ценовой категории способны передать пригодное к распознанию изображение автомобильного номера шириной 80 пикселей при вертикальном угле установки до +30° и горизонтальных углах отклонения +/- 30°. Хорошим показателем считается, если система распознала автомобильный номер при его отклонении от горизонтали (неровности дороги) +/- 10°.

График зависимости времени выдержки от угла установки камеры и скорости движения автомобиля приведен на рисунке.

Программное обеспечение.

ПО – является ключевым элементом системы распознавания автомобильных номеров. Существует множество фирм разработчиков, предлагающих свой продукт потребителю.

Наиболее распространенная бюджетная разработка «НомерОК» .

Она распознает Российские, Украинские, Белорусские и Молдавские номера, фиксирует дату и время въезда выезда автотранспорта и время нахождения на территории объекта. Имеет возможность построения простых отчетов и может интегрироваться в 1С. Программа совместима с большинством видеокамер и видеорегистраторов имеющих функцию RTSP.

Второй по значимости является система распознания автомобильных номеров «Автомаршал» .

Она имеет 2 алгоритма распознания один для скорости до 30 км/час, второй – до 150 км/час. Имеет специально адаптированные модули «Парковка», «Автомойка», «СКУД Gate». Широкие возможности построения аналитических отчетов, управления через WEB клиент и функцию рассылки SMS уведомлений.

Более широкими дополнительными возможностями обладает система идентификация номеров автомобилей «Трафик контроль» научно-производственного объединения «Дискрет».

Эта программа может подключаться к автомобильным весам и привязывать к номеру значения брутто и нетто, а так же формировать сводки, балансы и другие отчетные документы. «Трафик контроль» ведет фотоархив моментов проезда техники через пропускной пункт и имеет широкие возможности аналитического поиска, по номеру автомобиля или камеры, времени и дате.

Система «Авто номер» от компании «ЭЛВИС Нео Тек».

В состав входят модули «Авто-контроль», «Senesys-Avto» и «Авто Номер». Программа имеет значительные возможности интеграции с другими системами видеонаблюдения и СКУД, а так же гибкий генератор отчетов, хорошие возможности ведения архива и поиска по нему.

Несомненно, профессиональные системы распознания автомобильных номеров довольно дорогостоящее удовольствие. А использование адаптированной обычной системы видеонаблюдения и демоверсий специализированного программного обеспечения не столь эффективно, как хотелось бы.

Но применение такого рода видеоаналитики способно вывести бизнес связанный с автомобильным транспортом на качественно новый уровень, как с точки зрения контроля, так и в бизнес анализе.

* * *

© 2014-2020 г.г. Все права защищены.
Материалы сайта имеют ознакомительный характер и не могут использоваться в качестве руководящих и нормативных документов.