Loại thị giác máy mới để mở khóa một khía cạnh hiệu suất mới

Kể từ khi ra đời cách đây 150 năm, tất cả các công cụ video thông thường đều thể hiện chuyển động bằng cách chụp một số khung hình tĩnh mỗi giây. Được hiển thị nhanh chóng, những hình ảnh như vậy tạo ra ảo giác về chuyển động liên tục. Từ cuốn sách lật đến máy quay phim, ảo ảnh trở nên thuyết phục hơn nhưng cấu trúc cơ bản của nó không bao giờ thay đổi.

Đối với máy tính, biểu diễn chuyển động này ít được sử dụng. Máy ảnh bị mù giữa mỗi khung hình, mất thông tin về các đối tượng chuyển động. Ngay cả khi máy ảnh đang ghi, mỗi hình ảnh ‘snapshot’ của nó không chứa thông tin về chuyển động của các thành phần trong cảnh. Tệ hơn nữa, trong mỗi hình ảnh, các đối tượng nền không liên quan giống nhau được ghi lại nhiều lần ,  tạo ra quá nhiều dữ liệu vô ích.

Sự tiến hóa đã phát triển một giải pháp tao nhã để tầm nhìn tự nhiên không bao giờ gặp phải những vấn đề này. Nó không mất khung hình. Các tế bào trong mắt của bạn báo cáo lại cho não khi chúng phát hiện ra một sự thay đổi trong cảnh – một sự kiện. Nếu không có gì thay đổi, ô không báo cáo bất cứ điều gì. Một vật thể càng di chuyển, mắt và não của bạn càng lấy mẫu vật đó nhiều hơn. Quá trình này cho phép tầm nhìn của con người thu thập tất cả thông tin cần thiết mà không lãng phí thời gian và năng lượng để xử lý lại hình ảnh của các phần không thay đổi của cảnh.

Bằng cách chỉ ghi lại những gì thay đổi, mắt và não bộ có thể thu thập thông tin hữu ích từ những thứ thay đổi với tốc độ lên đến 1000 lần một giây mà không cần sử dụng một lượng lớn năng lực não bộ.  Đây là tầm nhìn dựa trên sự kiện, theo đó các thụ thể độc lập thu thập tất cả thông tin cần thiết và không có gì khác.

Loại thị giác máy mới để mở khóa một khía cạnh hiệu suất mới

Loại thị giác máy mới dự kiến ​​sẽ mở ra một khía cạnh hiệu suất mới về tốc độ, độ chính xác và độ bền để đếm tốc độ cực cao, Đo độ rung, giám sát động học, v.v.

Hệ thống tầm nhìn dựa trên sự kiện Nhận thức sức sống của cảnh trong khi nhìn ra thứ không liên quan

PROPHESEE tạo ra cả cảm biến thần kinh và thuật toán lấy cảm hứng từ sinh học có chức năng giống như mắt và não. Cách tiếp cận toàn diện này thể hiện sự thay đổi cơ bản trong thị giác máy tính – chuyển từ các cảm biến dựa trên khung hình sang các hệ thống thị giác dựa trên sự kiện.

Mỗi pixel chỉ báo cáo khi nó cảm nhận được chuyển động. Trong khi ở cảm biến dựa trên khung hình, tất cả các pixel đều ghi lại cùng một lúc, thì ở cảm biến dựa trên sự kiện, mỗi pixel hoàn toàn độc lập.

Tạo ra dữ liệu ít hơn tới 1000 lần so với cảm biến thông thường trong khi vẫn đạt được độ phân giải thời gian tương đương cao hơn >10 000 khung hình/giây. Các ứng dụng công nghiệp bao gồm giám sát quy trình, kiểm tra, nhận dạng đối tượng, phát hiện và theo dõi, điều khiển chuyển động tốc độ cao, phân tích rung động và người máy.

Cảm biến Metavision là cảm biến dựa trên sự kiện 640 x 480 VGA thế hệ thứ ba. Prophesee gần đây cũng đã hợp tác với Sony Semiconductor Solutions để tích hợp các ưu điểm của Prophesee với cảm biến hình ảnh dựa trên sự kiện HD xếp chồng thế hệ mới được đồng phát triển với Sony. Prophesee đã phát hành hai bộ công cụ đánh giá dành riêng cho kiến ​​trúc cung cấp cho các nhà phát triển quyền truy cập sớm vào cảm biến, có độ phân giải pixel 4,86µm và độ phân giải 1.280 x 720 pixel. Các cảm biến phát hiện không đồng bộ các thay đổi về độ chói cho từng pixel và xuất dữ liệu đã thay đổi. Điều này được kết hợp với thông tin về vị trí pixel (tọa độ xy) và thời gian, do đó cho phép xuất dữ liệu tốc độ cao, độ trễ thấp. Cảm biến của nó thu thập dữ liệu ít hơn tới 1.000 lần so với cảm biến thông thường, đồng thời đạt được độ phân giải thời gian tương đương cao hơn là 10.000 khung hình/giây.

Tiên tri được vinh danh là người chiến thắng Giải thưởng TẦM NHÌN danh giá, được công bố tại triển lãm TẦM NHÌN gần đây; giải thưởng công nhận sự đổi mới trong thị giác máy. Các giám khảo đã khen ngợi Tiên tri vì đã đạt được những bước tiến lớn với cảm biến dựa trên sự kiện, giúp nâng cao khả năng thị giác của máy so với các phương pháp dựa trên khung hình truyền thống. Martin Wäny của ban giám khảo đã gọi tầm nhìn dựa trên sự kiện là một “mô hình mới” trong công nghệ hình ảnh, một mô hình đã được nghiên cứu trong 20 năm nhưng hiện đang trở thành hiện thực nhờ những nỗ lực của Prophesee.

Để biết thêm thông tin: www.prophesee.ai