Điều khiển cửa thông minh sử dụng nhận dạng khuôn mặt

Nội dung text: Điều khiển cửa thông minh sử dụng nhận dạng khuôn mặt

1. KHOA H ỌC CÔNG NGHỆ P-ISSN 1859-3585 E-ISSN 2615-9619 ĐIỀU KHIỂN CỬA THÔNG MINH SỬ DỤNG NHẬN DẠNG KHUÔN MẶT INTELLIGENT DOOR CONTROL USING FACE RECOGNITION Đoàn Thị Hương Giang1,* TÓM TẮT 1. GIỚI THIỆU Tự động hóa và trí tuệ nhân tạo ngày càng phát triển trên toàn thế giới. Ứng Ngày nay, bài toán nhận dạng khuôn mặt tập trung sự dụng các thành tựu của khoa học công nghệ diễn ra trong mọi lĩnh vực của đời sống quan tâm của nhiều nhà khoa học [6-11] bởi đây là một hàng ngày nhằm đem lại sự tiện lợi, an toàn, bảo mật và riêng tư. Cửa tự động sử trong những thông tin đặc thù và riêng biệt của con người dụng các kỹ thuật của tự động hóa để có thể giúp con người tác động điều khiển các và có thể khai thác vào nhiều ứng dụng khác nhau như thành phần cơ khí của cửa một cách dễ dàng thông qua các thiết bị như động cơ, tương tác người máy (Human Machine-Interaction: HCI) [6], khóa điện từ, cảm biến, bo mạch điện tử, mà không cần phải dùng lực của con định danh [7], định danh lại [8], điều khiển và tự động hóa người để mở cửa. Tuy nhiên, vấn đề bảo mật của cửa tự động thường thực hiện [9], bảo mật [10], giám sát [11] . Tuy nhiên, bài toán này thông qua hệ thống phím để nhập mã hoặc sử dụng thẻ từ. Đây là một trong những cũng còn đang phải đối mặt với một số thách thức khi triển cách thức rất dễ bị đánh cắp thông tin. Ngày nay, cùng với sự phát triển của thị giác khai hệ thống thực, tính bảo mật hệ thống, độ chính xác máy tính và trí tuệ nhân tạo thì một phương thức mới nhằm giúp thông minh hóa tùy ứng dụng, Bài toán nhận dạng khuôn mặt có thể chia thiết bị điều khiển giúp bảo mật cửa thông qua thông tin hình ảnh của khuôn mặt. thành các bước như: Phát hiện khuôn mặt, biểu diễn khuôn Trong bài báo này, tác giả đề xuất một hệ thống điều khiển cửa thông minh sử dụng và nhận dạng. Ở bước đầu tiên là phát hiện khuôn mặt đã nhận dạng khuôn mặt hoàn thiện có thời gian đáp ứng nhanh và độ chính xác ổn có nhiều phương pháp được đề xuất như Haarlike Cascade định. Ngoài ra, bài báo cũng đề xuất cách thức chống giả mạo thông qua một cơ chế [12], Dlib [1] hay phương pháp sử dụng các mạng học sâu tương tác người dùng trên thông tin hình ảnh khuôn mặt cũng như kết hợp với bảo YoloV3 [4], MTCNN [17, 18]. Trong bài báo [6], các tác giả đã mật theo tầng để tăng tính an toàn khi sử dụng thông tin hình ảnh. có thử nghiệm định tính trên ba phương pháp trên. Tuy Từ khóa: Cửa tự động, học sâu, học máy, phát hiện khuôn mặt, nhận dạng nhiên, các tác giả mới chỉ thử nghiệm trên bộ cơ sở dữ liệu khuôn mặt, tương tác người - máy, cửa thông minh. (CSDL) tự thu thập mà chưa đánh giá trên một bộ CSDL của ABSTRACT cộng đồng dùng chung. Do đó, trong nghiên cứu này Automation and Artificial Intelligence have grown over the world. The nhóm tác giả sử dụng thêm YoloV4 [5] và không những chỉ achievements of science and technology has applied in all fields of our daily life in đánh giá các phương pháp này trên bộ CSDL tự thu thập order to bring convenience, safety, security and privacy. Automatic door uses the mà còn đánh giá trên bộ CSDL khác nữa để có cái nhìn tổng techniques of automation to help end-users automatically control the mechanical quan hơn. Trong khâu biểu diễn khuôn mặt, tác giả sẽ sử components of the door through devices such as motors, electromagnetic locks, dụng các giải pháp biểu diễn điểm đặc trưng có đề xuất kết sensors, and electronic circuits, without using human force to open doors. hợp giải pháp chống giả mạo dựa trên một số khung hình However, the traditional automatic door is securitized through the key system to liên tiếp nhau. Khâu nhận dạng khuôn mặt tác giả sẽ sử enter codes or use special magnetic cards. This is one of the most vulnerable ways dụng bộ phân lớp SVM [3] để nhận dạng và đánh giá sự to get information stolen. Nowadays, the development of Computer Vision and hiệu quả của phương pháp biểu diễn. Tuy nhiên, với Artificial Intelligence that brings a new advantage method to control devices, phương pháp sử dụng bộ phân lớp trong điều khiển học sẽ secure the door through image information of human face. In this paper, we gặp phải một số vấn đề về bảo mật, do với mỗi khuôn mặt propose an intelligent door that could be controlled by facial recognition system đưa vào mô hình đã huấn luyện, bộ phân lớp luôn phân with real-time, robust system and stable accuracy. In addition, this paper also chúng vào một trong số các mô hình lớp đã được huấn proposes how to prevent tampering through a user interaction mechanism based luyện trước đó. Hoặc nếu để không bị nhận nhầm thì phải on facial image information as well as combining with security cascade to increase đảm bảo luôn có một lớp chứa rất nhiều mẫu không đúng. safety using face cues. Điều đó là rất khó khăn đối với các bài toán thực tế. Do đó, Keywords: Automatic door, deep learning, machine learning, face detection, trong nghiên cứu này, tác giả sau khi đã đánh giá hiệu quả face recognition, human-machine interaction, intelligent door. của đặc trưng biểu diễn sẽ xem xét đánh giá lại về sự sai khác của mẫu với mô hình kết hợp với thang đo RMSE[15]. 1 Khoa Điều khiển và Tự động hóa, Trường Đại học Điện lực Mô hình hệ thống sau đó sẽ được triển khai và đánh giá hệ *Email: giangdth@epu.edu.vn thống điều khiển thực tế cả về độ chính xác và thời gian Ngày nhận bài: 30/8/2021 đáp ứng hệ thống. Ngày nhận bài sửa sau phản biện: 30/9/2021 Phần tiếp theo của bài báo gồm các phần sau đây: Phần Ngày chấp nhận đăng: 25/10/2021 2 mô tả chi tiết giải pháp đề xuất. Kết quả thử nghiệm được 28 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 57 - Số 5 (10/2021) Website:
2. P-ISSN 1859-3585 E-ISSN 2615-9619 SCIENCE - TECHNOLOGY trình bày trong phần 3. Phần 4 là mục cuối cùng sẽ trình cửa. Sơ đồ đi dây và đấu nối phần cứng của mạch điều bày kết luận và hướng phát triển trong thời gian tiếp theo khiển được minh họa như trong hình 3. 2. GIẢI PHÁP ĐỀ XUẤT Hệ thống cửa thông minh đề xuất gồm ba phần chính: (1) Thiết kế phần cứng bộ điều khiển cửa. Trong đó, phần cứng sử dụng vi điều khiển Adruino là bo mạch trung tâm chi tiết được trình bày trong mục 2.1; (2) Phần mềm điều khiển cửa; (3) Phần mềm nhận dạng thông tin hình ảnh khuôn mặt qua camera RGB thường và sử dụng máy tính PC cá nhân được trình bày trong mục 2.3. Trong đó, phần mềm nhận dạng khuôn mặt được mô tả như trong hình 1 với hai bước chính là: Thu thập cơ sở dữ liệu và huấn luyện hệ thống. Sau đó, khâu phát hiện và nhận dạng khuôn mặt có tích hợp chức năng chống giả mạo được thực hiện trực tuyến. Các nội dung được trình bày chi tiết trong các mục tiếp theo của bài báo. Hình 3. Sơ đồ ghép nối phần cứng mạch điều khiển 1. Arduino Uno R3; 2. Arduino Mega2560; 3. Arduino Nano; 4. Cảm biến HC- SR04; 5. Module RFID; 6. LCD và I2C; 7. Động cơ servo; 8. Cảm biến hồng ngoại MH-IR01; 9. Ma trận phím 4x4 Hình 1. Sơ đồ khối hệ thống nhận dạng khuôn mặt 2.2. Xây dựng hệ thống điều khiển ở chế độ bảo mật cao 2.1. Ghép nối phần cứng Hình 2. Cấu trúc ghép nối hệ thống Cấu trúc phần cứng của hệ thống cửa được mô tả như trong hình 2. Trong đó, cửa là loại mở cánh, có một khóa chốt điện từ loại LY- 01 giúp khóa cửa, cảm biến tiệm cận tác động theo mức để xác định trạng thái hiện tại của cửa đã đóng hay đang mở cửa, động cơ mở cửa sử dụng là loại động cơ servo cho phép điều chỉnh chính xác vị trí góc mong muốn dùng để mở hoặc đóng cửa sau khi chốt đã được mở khóa. Cảm biến hồng ngoại để xác định có người ở cửa hay không. Mạch đọc thẻ từ và hệ thống phím là hai phương thức có thể hoạt động độc lập hoặc tham gia vào làm một khâu trong chế độ đa thể thức. Đèn chiếu sáng nhằm hỗ trợ cho hệ thống camera có được hình ảnh rõ nét nhất. Mạch điều khiển nhóm tác giả sử dụng là Arduino mega 2560 [13] để nhận lệnh điều khiển từ Internet và máy tính thông qua kết nối với mạch Arduiro Ethernet Shield W5100 [14] - mạch giúp kết nối mạng với máy tính. Trong Hình 4. Lưu đồ thuật toán các chế độ điều khiển của cửa thông minh đó, mạch Arduino mega 2560 sẽ có tác dụng điều khiển ra Hệ thống cửa được tác giả thiết kế với bốn chế độ. các cơ cấu chấp hành của động cơ chốt cửa và động cơ mở Trong đó có ba chế độ điều khiển đơn phương thức (chế độ Website: Vol. 57 - No. 5 (Oct 2021) ● Journal of SCIENCE & TECHNOLOGY 29
3. KHOA H ỌC CÔNG NGHỆ P-ISSN 1859-3585 E-ISSN 2615-9619 1,2,3) gồm: mật mã thông qua hệ thống khóa số, thẻ từ và để loại bớt thông tin dư thừa gây nhiễu và làm giảm độ webserver. Đây là những giải pháp thực hiện nhằm nội địa chính xác cũng như làm tăng thời gian của quá trình nhận hóa sản phẩm cửa thông minh. Tuy nhiên, trong nghiên dạng khuôn mặt. Trong khuôn khổ của nghiên cứu này, tác cứu này tác giả sẽ nghiên cứu và đề xuất giải pháp kết hợp giả sử dụng phương pháp phát hiện khuôn mặt bằng Dlib. đa thể thức (chế độ 4) nhằm kết hợp cả ba loại phương Đây là phương pháp được đề xuất bởi các tác giả trong bài thức đều khiển ở trên với thông tin nhận dạng khuôn mặt. báo [1] và cung cấp mã nguồn cũng như mô hình đã huấn Đây là giải pháp có khả năng bảo mật cao hơn hẳn các chế luyện dưới định dạng file.xml cho cộng đồng nghiên cứu độ sử dụng các phương thức khác do mỗi người sẽ có một tại [2]. Dlib là một phương pháp giúp phát hiện khuôn mặt đặc điểm khuôn mặt hoàn toàn khác nhau. Tuy nhiên, ngay chính xác hơn Haar like Cascade và thời gian đáp ứng khá cả với thông tin khuôn mặt thì vẫn có thể bị giả mạo khi kẻ nhanh. Chi tiết đánh giá độ chính xác và thời gian đáp ứng gian chỉ cần một tấm ảnh của gia chủ. Do đó, tác giả đề của mô hình khi triển khai hệ thống được thể hiện chi tiết xuất giải pháp nhận dạng khuôn mặt có sử dụng chống giả trong mục 3. Với mỗi khung hình khi thu thập từ camera mạo trên thông tin hình ảnh. Giải pháp kết hợp đa thể thức (I), sau khi qua Dlib sẽ lấy được các thông tin của vùng được xem là chế độ mật cao sử dụng giải pháp nối tầng cả chữ nhật bao quanh khuôn mặt như công thức (1) sau đây: bốn loại phương thức. Quá trình hoạt động của các chế độ RECface( x , y , w, h ) F Dlib ( I RGB ) (1) trên được thể hiện như lưu đồ thuật toán ở hình 4. Trong đó, x và y là tọa độ theo trục x (trục ngang ảnh) Chế độ 4 là giải pháp điều khiển cửa đảm bảo tính bảo và y (trục dọc ảnh) của đỉnh trên cùng bên trái của vùng mật cao nhất trong bốn chế độ. Trong đó, chế độ này được khuôn mặt phát hiện được, w là độ rộng của vùng khuôn bảo mật thông qua nối tầng liên tiếp nhiều phương thức. mặt, h là chiều cao của vùng khuôn mặt. Sau đó, vùng Cửa được mở qua ba bước liên tiếp gồm: Kiểm tra thông tin khuôn mặt được cắt dựa trên các tham số trên của ảnh màu khuôn mặt có chống giả mạo; Kiểm tra thông tin thẻ; Kiểm (RGB) như công thức (2) sau đây: tra mã khóa số và Điều khiển qua mạng LAN. Bước đầu tiên của hệ thống là thu nhận hình ảnh khuôn mặt của đối Iface F Cropt(,) I RGB REC face (2) tượng bằng camera giám sát được lắp đặt tại cửa mỗi căn 2.3.2. Biểu diễn khuôn mặt hộ. Hệ thống tiến hành phân tích tại khối xử lý trung tâm Hình ảnh khuôn mặt (I ) sau khi đã được phát hiện và vừa để nhận dạng và đồng thời có kiểm tra giả mạo thông cắt loại bỏ thông tin dư thừa như trình bày trong mục trước tin khuôn mặt. Sau đó, tín hiệu đúng sẽ được truyền tín sẽ được trích chọn đặc trưng để nhận dạng. Mặc dù hiện hiệu xuống Arduino thông qua mạng LAN. Bước tiếp theo, nay có nhiều giải pháp trích chọn đặc trưng đã được đề hệ thống sẽ yêu cầu quẹt thẻ từ thông qua module RFID xuất như [1, 6]. Tuy nhiên, trong khuôn khổ của nghiên cứu RC522 và nhập mật khẩu ở bàn phím thông qua chuỗi mã này, với Dlib [1, 2], ngoài việc có thể phát hiện chính xác hóa đã được thiết lập trước đó bởi người sử dụng. Với vùng khuôn mặt trên ảnh thì phương pháp này còn giúp trường hợp nhập mật khẩu thành công, hệ thống điều phát hiện ra 68 điểm đặc trưng trên khuôn mặt (Pi(i = 0 ÷ khiển Arduino đưa tín hiệu mở rơ le cấp nguồn cho khóa 67)) với thời gian đáp ứng nhanh và chính xác. Trong đó, điện từ thực hiện mở chốt cửa. Sau thời gian đặt trước, để các điểm bao quanh hàm là từ P đến P ; lông mày trái từ đảm bảo chốt điện từ đã được mở thì động cơ mở cửa sẽ điểm P đến P ; lông mày phải từ điểm P đến P ; mũi từ hoạt động. Ngược lại, khi nhập mật khẩu hoặc giải mã thẻ điểm P đến P ; mắt trái từ điểm P đến P ; mắt phải từ từ thất bại nhiều hơn số lần hệ thống yêu cầu thì hệ thống điểm P đến P và miệng từ điểm P đến P . Trong sẽ gửi tin nhắn và gọi điện cảnh báo về số điện thoại đã khuôn khổ nghiên cứu này, tác giả đề xuất giải pháp biểu được lưu trước đó trên hệ thống. Trong trường hợp nhận diễn khuôn mặt sử dụng các điểm đặc trưng như biểu diễn diện khuôn mặt không thành công tại bước thứ nhất, hệ trong hình 5. thống hủy bỏ lệnh nhập mật khẩu hay giải mã thẻ từ RFID RC 522. Trong nghiên cứu này, hệ thống điều khiển cửa được trang bị thêm nút bấm ưu tiên giúp cho việc mở cửa thuận tiện hơn trong những trường hợp đặc biệt khi chủ nhà không yêu cầu tiến hành kiểm tra bảo mật. Việc đánh giá hoạt động của quá trình bảo mật này sẽ được tác giả thực hiện thử nghiệm trong mục 2.3 sau đây. Ở bước đầu tiên của chế độ bảo mật cao được thực hiện sử dụng kết quả của quá trình nhận dạng khuôn mặt. Chi tiết của hệ thống nhận dạng khuôn mặt được trình bày trong mục 2.3 sau đây. 2.3. Nhận dạng khuôn mặt 2.3.1. Phát hiện khuôn mặt Do ảnh thu thập thường không chỉ chứa mỗi khuôn mặt và có thể có thêm thông tin về cả người hoặc nền. Do đó, Hình 5. Biểu diễn đề xuất các đoạn thẳng và góc trên khuôn mặt 30 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 57 - Số 5 (10/2021) Website:
4. P-ISSN 1859-3585 E-ISSN 2615-9619 SCIENCE - TECHNOLOGY Mỗi đoạn thẳng màu xanh trên hình vẽ được định nghĩa 2.3.2 sẽ được sử dụng để so khớp hay để đánh giá sự sai như sau: khác nhau giữa ảnh mới được đưa vào và ảnh sử dụng làm tập mẫu. Tác giả sử dụng thang đo RMSE để tính toán sự sai d = (x − x ) + (y − y )(i = [0 ÷ 66]) (3) khác giữa các véc tơ đặc trưng của dữ liệu với véc tơ đặc Trong đó: x, y là tọa độ của điểm 0. x, y là tọa trưng của tập mẫu. Cụ thể, nếu có véc tơ đặc trưng của tập độ của các điểm lần lượt từ điểm 1 đến điểm 67. Véc tơ đặc mẫu là = [ (, ) (, )] và véc tơ đặc trưng trưng biểu diễn cho khuôn mặt sử dụng các đoạn thẳng nối của tập thử nghiệm là ∗ = (, ) (, ). bởi các điểm tiêu biểu trên mỗi khuôn mặt được biểu diễn Khoảng cách RMSE được tính theo công thức (10): như công thức (4): F = [d; d; . . ; d] (4) ∑ (,)(,) RMSE(T, T∗) = (10) Ngoài ra, trên khuôn mặt có các thông tin của một số điểm là cố định và khác biệt giữa người này với người kia. 2.3.4. Chống giả mạo khuôn mặt Tác giả nhận thấy các góc như biểu diễn bởi các cặp đoạn thẳng màu cam trong hình 5 ít thay đổi trong ngữ cảnh bài toán điều khiển cửa mà tác giả đề xuất. Do đó, các góc được tính toán và sử dụng để biểu diễn thông tin của khuôn mặt như trong công thức (5): ⃗ ⃗ ∗ cos(θ) = ⃗ ⃗ (5) ∗ Véc tơ đặc trưng cho góc được biểu diễn bởi công thức Hình 6. Quá trình chống giả mạo sử dụng thông tin hình ảnh (6): F = [cosθ, cosθ, , cosθ] (6) Để các tọa độ là bất biến với các vị trí xa hay gần của đối tượng và với camera, trong bài báo này chúng tôi sử dụng tỉ lệ của các đoạn thẳng so với tọa độ điểm đầu tiên như biểu diễn trong công thức (7): r= (7) Trong đó: d là khoảng cách từ điểm 0 đến điểm 1; d là khoảng cách từ điểm 0 đến điểm i, i = [1 ÷ 67]. Véc tơ đặc Hình 7. Các điểm đặc trưng trên khuôn mặt và 6 điểm đặc trưng trên mắt trưng biểu diễn cho tỉ lệ đoạn thẳng được biểu diễn như Hình 6 thể hiện quá trình chống giả mạo với các câu công thức (8): truy vấn được gia chủ cài đặt. Nếu với mỗi câu truy vấn mà F = [r; r; . . ; r] (8) biểu cảm khuôn mặt khớp nhau thì việc so khớp được trả Véc tơ đặc trưng tổng hợp biểu diễn cho khuôn mặt sử về kết quả đúng và thực hiện gửi lệnh điều khiển từ máy dụng kết hợp đặc trưng cạnh và đặc trưng góc được biểu tính xuống thiết bị điều khiển. Quá trình kiểm tra mã truy diễn bởi công thức (9): vấn được thực hiện thông qua khả năng chớp mắt của người. Trong đó, mỗi mắt được biểu thị bằng sáu tọa độ p, F = F ; ‖F‖ (9) p, p, p, p, p được minh họa trong hình 7. Công thức 2.3.3. Nhận dạng phản ánh mối quan hệ giữa các điểm trên mắt được gọi là tỷ lệ khung hình của mắt (EAR) như biểu diễn trong công - Sử dụng bộ phân lớp SVM: Trong bài báo này, các véc thức (11): tơ đặc trưng trong các công thức (4), (6) và (7) sẽ lần được coi || || || || là đầu vào cho bộ phân lớp SVM [3] để nhận dạng. Đầu ra = (11) ∗|| || của bộ phân lớp sẽ là mã của người được được gán nhãn Trong đó, , , , , , là các vị trí mốc mắt trên trước đó. Với việc sử dụng bộ phân lớp SVM đạt độ chính xác tốt và được thể hiện trong rất nhiều nghiên cứu về phân loại khuôn mặt 2D. Tử số của phương trình này được tính bằng , , , đối tượng. Tuy nhiên, phương pháp này gặp phải vấn đề về khoảng cách giữa các mốc mắt dọc ( ), trong khi phân lớp nhầm vào lớp có mẫu gần đúng nhất, tức là khuôn đó mẫu số được tính bằng khoảng cách giữa các mốc mắt ngang ( , ). Tác giả nhận thấy, cần nhân đôi mẫu số bởi vì mặt gần đúng nhất trong tập dữ liệu huấn luyện. Do đó, chỉ có một tập hợp các điểm nằm ngang nhưng có hai tập trong khuôn khổ bài báo này, tác giả sẽ kết hợp đầu ra của hợp các điểm thẳng đứng. Tỷ lệ khung hình của mắt gần như SVM với độ đo khoảng cách RMSE để loại trừ các lỗi nhận nhầm gần đúng của phương pháp SVM. không đổi khi mắt đang mở, nhưng sẽ nhanh chóng giảm xuống 0 khi diễn ra quá trình chớp mắt. Từ đó, ta dựa vào tỷ - Sử dụng độ đo khoảng cách RMSE: Các véc tơ đặc lệ khoảng cách để xác định xem một người có đang trưng của khuôn mặt như đã trình bày trong mục 2.3.1 và chớp mắt hay không. Qua đó, kiểm chứng được đối tượng có Website: Vol. 57 - No. 5 (Oct 2021) ● Journal of SCIENCE & TECHNOLOGY 31
5. KHOA H ỌC CÔNG NGHỆ P-ISSN 1859-3585 E-ISSN 2615-9619 phải là người thật hay không. Bằng cách khi phát hiện đối CSDL EPUFace và 71ms cho bộ CSDL NLPRFace. Để triển tượng sẽ bắt đầu kiểm tra nháy máy. Nếu nháy mắt ba lần khai ứng dụng thực thế thì yếu tố thời gian là một trong trong thời gian quy định thì đó là người thật. Ngược lại, kết những thông số đáng qua tâm. Do đó, trong nghiên cứu luận đó là ảnh tĩnh được đưa vào nhận dạng. này, tác giả sẽ sử dụng phương pháp Dlib để triển khai ứng 3. KẾT QUẢ THỬ NGHIỆM dụng thực tế. Trong mục này, tác giả sẽ trình bày một số kết quả thử Bảng 1. Thời gian phát hiện khuôn mặt nghiệm của giải pháp đề xuất. Các thử nghiệm được thực Dlib [2] YoloV3 [4] YoloV4 [5] hiện trên máy tính PC Core i5 3.l GHz CPU, 4GB. Ngôn ngữ EPUFace 0,066ms 0,7ms 2,9ms lập trình để thực hiện quá trình thu thập, nhận dạng khuôn NLPRFace 0,071ms 0,67ms 3,1ms mặt và kết nối mạng là Python. Ngôn ngữ lập trình để viết 3.2. Kết quả nhận dạng khuôn mặt chương trình cho Adruino là C++. Các thử nghiệm trên khuôn mặt được thực hiện gồm hai pha gồm: pha trực Trong bảng 2, tác giả sử dụng kết quả phát hiện khuôn tuyến và pha không trực tuyến. Ở pha không trực tuyến tác mặt sử dụng phương pháp Dlib [2]. Kết quả nhận dạng giả sử dụng CSDL tự thu thập EPUFace[6] và cơ sở dữ liệu khuôn mặt sử dụng bộ phân lớp SVM [3] trên bộ CSDL của cộng đồng dùng chung NLPRFace[16]. Ở pha trực EPUFace [6, 19] và NLPRFace [16] được thể hiện trong bảng tuyến tác giả sử dụng hình ảnh khuôn mặt sinh viên của 2, tác giả đã tiến hành thử nghiệm với bốn hàm nhân và trường Đại học Điện lực và thử nghiệm bằng camera của đưa ra kết quả với từng hàm nhân tương ứng. Trong đó, máy tính xách tay. nhận dạng khuôn mặt đạt kết quả cao nhất là 97,14% (tương đương với phương pháp tác giả đã đề xuất trong Các thử nghiệm được tiến hành trong nghiên cứu này [6]) và 99,72% cho hai bộ CSDL tương ứng. Ngoài ra, kết của gồm: (1) Đánh giá quá trình phát hiện khuôn mặt trên các còn cho thấy hàm nhân là RBF đạt kết quả cao hơn so với giải pháp khác nhau; (2) Đánh giá kết quả nhận dạng ba hàm nhân còn lại Linear, Sigmoid và Poly với kết quả chỉ khuôn mặt; (3) Đánh giá độ chính xác và thời gian đáp ứng đạt 92,13%, 15,75%, 90,94% cho bộ CSDL EPUFace và toàn hệ thống; (4) Đánh giá hiệu quả của hệ thống chống 96,67%, 13,45% và 86,56% đối với bộ CSDL NLPRFace. Kết giả mạo khuôn mặt. quả này thêm một lần nữa khẳng định phương pháp biểu 3.1. Kết quả phát hiện khuôn mặt diễn khuôn mặt đề xuất hiệu quả đối bộ phân lớp RBF SVM. Bảng 2. Kết quả nhận dạng khuôn mặt sử dụng SVM EPUFace NLPRFace Hàm nhân SVM Độ Thời gian Độ Thời gian chính đáp ứng chính đáp ứng xác (%) (ms) xác (%) (ms) Linear 92,13 71 96,67 69 Sigmoid 15,75 66 13,45 64 Rbf 97,14 71 99,72 70 Poly 90,94 67 86,56 66 Trong bảng 3, tác giả thực hiện đánh giá khi sử dụng thang đo RMSE để nhận dạng khuôn mặt kết hợp với phương Hình 8. Kết quả phát hiện khuôn mặt pháp SVM. Trong đó, chỉ có những kết quả đã phân lớp đúng Hình 8 là kết quả độ chính xác của quá trình phát hiện trên SVM mới được đưa vào để kiểm tra trên thang đo RMSE khuôn mặt và bảng 1 thể hiện thời gian tương ứng để nhận để loại trừ các trường hợp nhận nhầm. Kết quả cho thấy độ dạng. Đánh giá được thực hiện trên hai bộ CSDL. Ba chính xác của hai bộ CSDL đạt kết quả thấp hơn không đáng phương pháp được triển khai nhận dạng gồm Dlib[2], kể khi so sánh với kết quả sử dụng bộ phân lớp RBF SVM như YoloV3 [4] và YoloV4 [5]. Hai tham số được sử dụng gồm độ ở bảng 2 (phương pháp tốt nhất được khảo sát đối với bộ chính xác phát hiện và thời gian đáp ứng của quá trình phân lớp SVM). Thời gian đáp ứng lâu hơn rất nhiều so với sử phát hiện. Thử nghiệm được thực hiện trên hai bộ CSDL dụng SVM do quá trình so khớp mẫu được thực hiện trên gồm: (1) bộ CSDL EPUFace [6, 19] gồm 10 người, mỗi người toàn bộ tập mẫu. Tuy nhiên, khi tác giả thực hiện so khớp ở 200 ảnh với độ phân giải 640x480 điểm ảnh; (2) Bộ CSDL khâu trực tuyến sẽ được cải tiến như trình bày ở phần cuối NLPRFace [16] gồm 450 ảnh của 27 đối tượng với độ phân mục 3.2. Trong đó, thời gian nhận dạng của hàm nhân RBF giải 896x592 điểm ảnh. Kết quả trên cho thấy rằng, phương đạt được ngang bằng với hàm nhân Linear với 71ms đối với pháp Dlib có kết quả nhận dạng thấp hơn (đạt 96,68% và CSDL EPUFace và NLPRFace lần lượt là 69ms và 70ms. Tuy 98,87% trên hai bộ CSDL), so với hai phương pháp sử dụng nhiên, khi sử dụng thang đo RMSE, tác giả khảo sát và lấy độ mạng học sâu còn lại thì phương pháp YoloV3 [4] đạt kết đo khoảng cách để đảm bảo sự tương đồng là 0,08 với cả hai quả cao nhất lên tới 99,95% và 99,58%. Tuy nhiên, thời gian tập dữ liệu. Kết quả phân loại đúng đạt 96,75% trên bộ CSDL đáp ứng của phương pháp Dlib lại thấp nhất và thấp hơn EPUFace và lên tới 98,34% trên bộ CSDL NLPRFace. Mặc dù rất nhiều so với hai phiên bản của Yolo với chỉ 66ms cho bộ CSDL NLPRFace có nhiều lớp hơn nhưng kết quả nhận dạng 32 Tạp chí KHOA HỌC VÀ CÔNG NGHỆ ● Tập 57 - Số 5 (10/2021) Website:
6. P-ISSN 1859-3585 E-ISSN 2615-9619 SCIENCE - TECHNOLOGY lại cao hơn bộ CSDL EPUFace do độ phức tạp của các mẫu thử nghiệm trên hệ thống thực tế và tăng số lượng thử trong bộ CSDL. Trong đó, bộ CSDL NLPRFace chỉ thu thập các nghiệm người dùng. khuôn mặt đơn giản, góc chính diện trong khi bộ CSDL LỜI CẢM ƠN EPUFace thu thập tại nhiều vị trí và góc nhìn khác nhau. Với Nghiên cứu này được tài trợ bởi Đề tài NCKH cấp trường phương pháp kết hợp như đề xuất thì các mẫu được coi là Đại học Điện lực: "Điều khiển thiết bị điện tử gia dụng không nhận đúng và có chỉ số RMSE cao hơn 0,08 sẽ được thông minh sử dụng kết hợp công nghệ xử lý ảnh và trí tuệ phân vào tổ hợp các mẫu sai. Trong khi đó, với kết quả đúng nhân tạo". của bộ phân lớp SVM sẽ được kiểm tra lại trên thang đo RMSE để kiểm tra trường hợp nhận nhầm. Điều này dẫn đến khi điều khiển hệ thống sẽ giảm hiện tượng điều khiển sai. Do TÀI LIỆU THAM KHẢO đó, trong khuôn khổ ứng dụng này tác giả sẽ sử dụng thang [1]. D. E. King, 2009. Dlib-ml: A machine learning toolkit. J. Mach. Learn. Res, đo RMSE kết hợp với VSM để nhận mẫu đối tượng. pp. 1755–1758. Bảng 3. Kết quả nhận dạng khuôn mặt sử dụng thang đo RMSE [2]. 2020. CSDL Độ chính xác (%) Thời gian đáp ứng (ms) [3]. C. Burges, 1997. A Tutorial on Support Vector Machines for Pattern Recognition. Journal of Data Mining and Knowledge Discovery, Vol. 43, pp. 1-43. EPUFace 96,76 240 [4]. J. Redmon, A. Farhadi, 2018. Yolov3: An incremental improvement. CoRR NLPRFace 98,34 258 journal, Vol. abs/1804.02767, pp. 1-6. Tuy nhiên, một lưu ý ở bước kiểm tra RMSE trong hệ [5]. A. Bochkovskiy, C. Y. Wang, H. Y. M. Liao, 2020. Yolov4: Optimal speed thống trực tuyến, tác giả chỉ lấy mỗi lớp 09 ảnh mẫu ở ba and accuracy of object detection. ArXiv journal, Vol. abs/2004.10934, pp. 1-17. 0 0 0 góc nhìn -45 , 0 và 45 với mỗi góc nhìn trong tập huấn [6]. Huong-Giang Doan, Ngoc-Trung Nguyen, 2020. Realtime Face luyện lấy ba ảnh tại ba vị trí khoảng cách khác nhau để Recognition for Intelligent Door System. International Journal of Emerging Trends kiểm tra độ sai khác RMSE nhằm giảm thiểu thời gian nhận in Engineering Research, Vol. 8, No. 9, pp. 5226-5232. dạng của toàn hệ thống. Do vậy, tốc độ của khâu nhận [7]. N. R. Borkar, S. Kuwelkar, 2017. Real-time implementation of face dạng trực tuyến giảm chỉ còn khoảng 5fps. Đây có thể xem recognition system. International Conference on Computing Methodologies and là tốc độ chấp nhận được khi triển khai ứng dụng thực tế. Communication (ICCMC), pp. 249-255. Trong khi đó, hệ thống được thử nghiệm với 05 người và [8]. K. Koide, E. Menegatti, M. Carraro, M. Munaro, J. Miura, 2017. People mỗi người thực hiện 10 lần thì độ chính xác đạt 97%. tracking and re-identification by face recognition for RGB-D camera networks. 3.3. Kết quả quá trình chống giả mạo European Conference on Mobile Robots (ECMR), pp. 1-7. Quá trình chống giả mạo là pha đầu tiên của hệ thống [9]. X. Tian, 2009. Face Recognition System and It's Application. First International điều khiển cửa thông minh. Trong thử nghiệm, nhóm tác Conference on Information Science and Engineering, Nanjing, pp. 1244-1245. giả thực hiện khảo sát trên 5 người gồm 3 nam và 2 nữ. Mỗi [10]. D. A. Chowdhry, A. Hussain, M. Z. Ur Rehman, F. Ahmad, A. Ahmad, M. người được hướng dẫn thực hiện trong 10 lần. Trong đó, hệ Pervaiz, 2013. Smart security system for sensitive area using face thống sẽ đánh giá trên hai tiêu chí là tính số lần thực hiện recognition. CSUDET, Selangor, pp. 11-14. chính xác và thời gian đáp ứng tương ứng với mỗi lần thực [11]. Z. Jian, S. Wan-juan, 2010. Face detection for security surveillance system. 5th thi. Phương pháp triển khai đã đạt được độ chính xác trung International Conference on Computer Science & Education, pp. 1735-1738. bình của cả 5 người đạt 95,4% và thời gian trung bình cho [12]. P. A. Viola, M. J. Jones, 2001. Rapid object detection using a boosted mỗi lần thực hiện của người dùng là 15(s). Với độ chính xác cascade of simple features. Proceedings of the IEEE Computer Society Conference cao và thời gian phát hiện có thể xem là khá nhanh. on Computer Vision and Pattern Recognition, I–I. Phương pháp chống giả mạo đề xuất giúp tăng tính an [13]. toàn và bảo mật cho hệ thống ở tầng đầu tiên của hệ [14]. thống mở cửa sử dụng thông tin hình ảnh. [15]. W. Cort, M. Kenji, 2007. On the use of dimensioned measures of error to 4. KẾT LUẬN evaluate the performance of spatial interpolators. International Journal of Trong bài báo này, tác giả đã thiết kế một hệ thống điều Geographical Information Science. Vol.20, pp. 89–102. khiển cửa thông minh trong đó kết hợp giữa cửa tự động [16]. với công nghệ xử lý ảnh, công nghệ học sâu để phát hiện [17]. Florian Schroff, Dmitry Kalenichenko, James Philbin, 2015. FaceNet: A khuôn mặt. Giải pháp của hệ thống đề xuất còn có khả Unified Embedding for Face Recognition and Clustering. CoRR, Vol. năng chống giả mạo khuôn mặt. Ngoài ra, hệ thống cũng abs/1503.03832, pp. 1-10. được cài đặt và thử nghiệm hệ thống để kiểm tra độ chính [18]. Chunming Wu, Ying Zhang, 2021. MTCNN and FACENET Based Access xác cũng như đánh giá thời gian đáp ứng trong điều khiển Control System for Face Detection and Recognition. Aut. Control Comp. Sci. 55, pp. hệ thống ở mức tương tác đóng mở mạch điện tử. 102–112. Tuy nhiên, hệ thống chưa đánh giá với hệ thống cửa [19]. thực tế. Trong thời gian tới, tác giả sẽ kết hợp và so sánh với kỹ thuật học sâu tiên tiến hiện nay (deep learning) trong AUTHOR INFORMATION khâu nhận dạng để nâng cao hơn nữa độ chính xác của quá Doan Thi Huong Giang trình nhận dạng khuôn mặt. Ngoài ra, tác giả sẽ đánh giá Faculty of Control and Automation, Electric Power University Website: Vol. 57 - No. 5 (Oct 2021) ● Journal of SCIENCE & TECHNOLOGY 33