تشخیص رفتار مشکوک در ویدئوی نظارتی، بسیار دشوارتر از تشخیص یک شیء در تصویر ثابت است؛ چون رفتار در طول زمان معنا پیدا میکند. یک فرد ایستاده عادی است، اما همان فرد اگر مدت طولانی دور یک خودرو پرسه بزند میتواند نشانهٔ هشدار باشد. مدل باید بُعد زمان را در کنار بُعد مکان درک کند.
معماری ما دو مرحله دارد. نخست با یک آشکارساز شیء، افراد در هر فریم پیدا و با یک الگوریتم ردیابی در طول فریمها دنبال میشوند تا مسیر حرکت هر فرد به دست آید. سپس ویژگیهای این مسیر — سرعت، جهت، مدت توقف و الگوی جابهجایی — به یک شبکهٔ تحلیل دنبالهای داده میشود که رفتار را دستهبندی میکند.
چالش بزرگ، کمبود دادهٔ رفتار غیرعادی است؛ بهطور طبیعی نمونههای رفتار عادی فراوان و نمونههای مشکوک نادرند. ما بهجای دستهبندی صرف، از رویکرد تشخیص ناهنجاری استفاده میکنیم؛ مدل الگوی رفتار نرمال را یاد میگیرد و هر چیزی که بهاندازهٔ کافی از آن فاصله بگیرد را بهعنوان مشکوک علامت میزند.
در استقرار واقعی، نرخ هشدار کاذب تعیینکنندهٔ پذیرش سامانه است. اگر اپراتور با دهها هشدار بیمورد روبهرو شود، بهزودی همه را نادیده میگیرد. ما آستانهٔ هشدار را قابل تنظیم میکنیم، رویدادها را با درجهٔ اطمینان رتبهبندی میکنیم و سامانه را بهعنوان دستیار اپراتور انسانی میبینیم، نه جایگزین قضاوت او.