Phát hiện lòng bàn tay trực tiếp và nhận dạng người sử dụng mô hình tetra cấu trúc vi mô cục bộ

Nội dung text: Phát hiện lòng bàn tay trực tiếp và nhận dạng người sử dụng mô hình tetra cấu trúc vi mô cục bộ

1. Nghiên cứu khoa học công nghệ PHÁT HIỆN LÒNG BÀN TAY TRỰC TIẾP VÀ NHẬN DẠNG NGƯỜI SỬ DỤNG MÔ HÌNH TETRA CẤU TRÚC VI MÔ CỤC BỘ Phạm Văn Trường*, Trần Thị Thảo, Đào Văn Hậu Tóm tắt: Bài báo này đề xuất một phương pháp không tiếp xúc nhằm phát hiện lòng bàn tay trực tiếp và nhận diện lòng bàn tay người, thực hiện trên máy tính nhúng Raspeberry Pi 4. Một tập các hình ảnh về lòng bàn tay được chụp nhờ camera, sau đó lòng bàn tay được xác định. Các hình ảnh này sẽ được đưa qua một thuật toán xác định lòng bàn tay người thực thông qua việc tính toán sự thay đổi của cường độ sáng tương ứng với sự thay đổi lưu lượng máu trong một chu kỳ tuần hoàn. Sau khi đã xác định đó là hình ảnh lòng bàn tay người trực tiếp, chứ không phải là ảnh in hay giả, lòng bàn tay người sẽ được nhận dạng và định danh qua mô hình cấu trúc vi mô cục bộ để chứng thực xem người đó có phải nằm trong cơ sở dữ liệu hay không và đó là ai. Thuật toán được thực hiện trên cơ sở dữ liệu gồm 15 người, cho độ chính xác 89% với bước xác định người trực tiếp, và 91% với nhận dạng và định danh người. Từ khóa: Xác định lòng bàn tay; Chứng thực người thông qua lòng bàn tay; Phương pháp thành phần chính PCA; Biểu đồ mẫu nhị phân cục bộ LBPH; Mô hình tetra cấu trúc vi mô cục bộ LMTrP. 1. ĐẶT VẤN ĐỀ Nhận dạng hay nhận biết một đối tượng thông qua các giác quan là một đặc điểm quan trọng giúp phân biệt được các sự vật hiện tượng và cảm nhận được thế giới xung quanh. Các phương pháp nhận dạng truyền thống dựa trên vân tay và khuôn mặt tuy có những ưu điểm như trực quan và thuận lợi, nhưng cũng có những khó khăn khi giải quyết các vấn đề như yêu cầu tiếp xúc trực tiếp ở vân tay, và trên khuôn mặt khi có thay đổi về biểu cảm hay khi có khẩu trang hoặc tình huống có cặp song sinh. Hiện nay, các giải pháp sinh trắc học dựa trên lòng bàn tay đã được nghiên cứu. Lòng bàn tay chứa các đặc điểm cấu trúc đặc biệt, chẳng hạn như các đường vân, các điểm nhỏ và các mẫu kết cấu. Bên cạnh đó, nhận diện lòng bàn tay có tính bảo vệ quyền riêng tư hơn so với nhận diện khuôn mặt, Hơn nữa, so với các phương thức sinh trắc học khác như mống mắt hay dấu vân tay thì nhận dạng lòng bàn tay có chi phí thấp, độ chính xác cao, và thân thiện với người dùng. Bài toán nhận diện lòng bàn tay có nhiều ứng dụng trong thực tế. Có thể kể đến một số ứng dụng điển hình như: điều tra tội phạm trong các vụ án để lại dấu lòng bàn tay. Ngoài ra, nó còn được dùng cho các cuộc điều tra khủng bố hoặc các sự kiện đặc biệt cần có dấu bàn tay để nhận dạng. Trong bảo mật, công nghệ nhận diện lòng bàn tay cho phép người dùng có thể đăng nhập hoặc truy cập vào một thiết bị hoặc một ứng dụng nào đó thay cho việc dùng mật khẩu như thông thường. Một số ứng dụng an ninh khác có thể kể đến như trong điều khiển vào ra nhà ở, văn phòng, công ty, kết hợp với sử dụng thẻ hoặc thông tin khác cho phép chủ nhà, nhân viên ra vào, điểm danh. Với sự phát triển mạnh mẽ của trí tuệ nhân tạo và kỹ thuật máy tính, nghiên cứu nhận diện lòng bàn tay đã có nhiều thành tựu [1-3]. Bài toán nhận diện lòng bàn tay người tuy là một lĩnh vực được nghiên cứu khá sớm nhưng hiện vẫn còn có một số vấn đề khó cần giải quyết, nhất là đối với phương pháp không tiếp xúc như trong nghiên cứu này. Có thể kể đến những khó khăn của bài toán nhận lòng bàn tay người như góc chụp và yêu cầu chất lượng ảnh. Về góc chụp, ảnh chụp lòng bàn tay có thể thay đổi rất nhiều bởi góc chụp giữa camera và bàn tay. Chẳng hạn như: chụp thẳng, chụp chéo bên trái, bên phải ở các góc khác nhau, Ngoài ra, ảnh được chụp trong các điều kiện khác nhau về chiếu sáng, về tính chất camera (máy kỹ thuật số, máy ảnh hồng ngoại, ) ảnh hưởng khá nhiều đến chất lượng ảnh lòng bàn tay [1, 4]. Để giải quyết các vấn đề này, một hướng nghiên cứu gần đây nhận được nhiều sự quan tâm là xét các bộ mô tả kết cấu cục Tạp chí Nghiên cứu KH&CN quân sự, Số 73, 06 - 2021 29
2. Kỹ thuật điều khiển & Điện tử bộ địa phương được thiết kế để phù hợp với thay đổi về tỷ lệ, xoay, dịch và chiếu sáng [5-6]. Trong hầu hết các nghiên cứu về sinh trắc học nhận diện bàn tay, các đề xuất tập trung chủ yếu ở bài toán tăng cường chất lượng hình ảnh cũng như nhận dạng chính xác từ hình ảnh lòng bàn tay. Bài toán phát hiện trực tiếp bàn tay trước khi đưa vào nhận diện trong các ứng dụng định danh còn ít được quan tâm. Thực tế, việc phát hiện bàn tay trực tiếp có ý nghĩa khi cần chứng thực hình ảnh lòng bàn tay từ người trong cơ sở dữ liệu tương ứng là của người đang xét. Đó cần là ảnh thực có sự hiện diện của người cần định danh chứ không phải bàn tay của người đó do ảnh in ra hay từ các thiết bị khác như điện thoại thông minh được đưa vào máy quét. Việc phát hiện trực tiếp này có ý nghĩa quan trọng trong việc loại trừ được khả năng có kẻ xấu lợi dụng có được hình ảnh lòng bàn tay của chủ tài khoản hay của nhân viên trong công ty để truy nhập trái phép vào hệ thống. Trong nghiên cứu này, chúng tôi đề xuất một giải pháp cho bài toán nhận dạng lòng bàn tay trực tiếp, bên cạnh việc sử dụng chính lòng bàn tay từ máy chụp để nhận diện và định danh người. Trong bài toán nhận dạng lòng bàn tay trực tiếp, chúng tôi đề xuất phương pháp xác định người thực thông qua sự thay đổi của mức sáng trong một tập các hình ảnh liên tiếp ở lòng bàn tay, dựa trên nguyên lý thay đổi lưu lượng của máu trong chu kỳ nhịp tim. Đây được coi như một trong các phương pháp đo không tiếp xúc nhịp tim, một dạng của tín hiệu quang thể tích (Photoplethysmography- PPG) [7]. Sau khi đã xác định đó là hình ảnh lòng bàn tay người trực tiếp, lòng bàn tay người sẽ được định danh. Bài toán nhận dạng và định danh người từ lòng bàn tay được thực hiện dựa trên mô hình cấu trúc vi mô cục bộ để chứng thực xem người đó có phải nằm trong cơ sở dữ liệu hay không. 2. XÁC ĐỊNH LÒNG BÀN TAY TRỰC TIẾP VÀ NHẬN DẠNG 2.1. Trích xuất vùng ROI quan tâm Để có được hình ảnh lòng bàn tay, người dùng thường được yêu cầu chạm hoặc để sát tay vào thiết bị ngoại vi/camera để chụp ảnh bàn tay của họ. Ba loại mô hình có thể được nhìn thấy rõ ràng trên lòng bàn tay là đường chính, nếp nhăn, và đường vân. Đường chính là đường dài nhất, đậm nhất và rộng nhất trên lòng bàn tay, đặc trưng cho các tính năng dễ phân biệt nhất trên lòng bàn tay. Nếp nhăn được coi là các mẫu đường mỏng hơn và không đều. Các nếp nhăn, đặc biệt là các nếp nhăn rõ rệt xung quanh các đường chính, cũng có thể đóng góp cho việc phân biệt của dấu bàn tay. Các đường vân là kết cấu đường mảnh phân bố khắp bề mặt lòng bàn tay. Khi hình ảnh bàn tay được chụp, các vùng quan tâm (ROI) của lòng bàn tay sẽ được trích xuất. ROI chứa thông tin quan trọng của bàn tay được sử dụng để nhận dạng. ROI được xử lý trước để kết cấu lòng bàn tay có thể phân biệt được với nền. Sau đó, các tính năng phân biệt trong ROI có thể được trích xuất bằng cách sử dụng các kỹ thuật khác và các thuật toán đa dạng được áp dụng để xác định, nhận diện lòng bàn tay đó là ai, nhóm người quan tâm nào theo từng yêu cầu cụ thể của mỗi bài toán. Việc xác định vùng quan tâm (ROI) từ hình ảnh lòng bàn tay là bước đầu để trích xuất các đặc tính và so khớp tính để định danh đối tượng. Việc này có thể giảm lượng dữ liệu trong trích xuất và việc khớp tính các đặc tính. Đồng thời cũng giảm ảnh hưởng của việc xoay và dịch của lòng bàn tay do quá trình trích xuất này được hỗ trợ bởi việc bàn tay sẽ được cố định bởi 3 cọc quy định sẵn. Người dùng cần đặt tay vào đúng vị trí đã được quy định trước bởi các cọc này. Các bước chính của thuật toán trích xuất ROI được minh họa trên hình 1. Sau khi có hình ảnh lòng bàn tay, một bộ lọc thông thấp, ví dụ như Gaussian làm mịn hình ảnh gốc với một ngưỡng được sử dụng để chuyển đổi hình ảnh thành hình ảnh nhị phân. Tiếp đó, đường bao của các khoảng trống giữa các ngón tay được xác định. Trong đó, đường bao của khoảng cách giữa ngón đeo nhẫn và ngón giữa không được trích xuất vì nó không hữu ích cho quá trình xử lý sau. Từ hình ảnh đường bao, ta tính toán tiếp tuyến của hai khoảng trống và tìm hệ tọa độ của ROI. Bước 30 P. V. Trường, T. T. Thảo, Đ. V. Hậu, “Phát hiện lòng bàn tay cấu trúc vi mô cục bộ.”
3. Nghiên cứu khoa học công nghệ cuối cùng là trích xuất ROI có kích thước cố định dựa trên hệ tọa độ, sau đó, cắt riêng vùng ảnh chỉ chứa ROI đó. Việc so khớp hình ảnh các lòng bàn tay với nhau nhạy cảm với sự xoay dịch vì vậy việc trích xuất vùng ROI bằng cách trên là cần thiết để giúp quá trình nhận dạng về sau được chính xác hơn. (a) (b) (c) (d) (e) (f) Hình 1. Minh họa các bước của thuật toán trích xuất ROI. (a) Ảnh chụp lòng bàn tay; (b) Ảnh được lấy ngưỡng; (c) Đường bao của lòng bàn tay; (d) Xác định được tiếp tuyến của các khoảng trống và hệ tọa độ; (e) ROI đặt trên ảnh gốc; (f) Hình ảnh trong vùng ROI được cắt ra cho việc xử lý. 2.2. Xác định lòng bàn tay trực tiếp Để tăng tính bảo mật cho một hệ thống yêu cầu quyền truy nhập, hệ thống nhận diện phải có khả năng từ chối sử dụng bản sao của sinh trắc học lòng bàn tay (từ bức ảnh, video, bản in 3D ) thay vì sinh trắc học trực tiếp. Chức năng này gọi là phát hiện lòng bàn tay trực tiếp. Trong nghiên cứu này, chúng tôi đề xuất giải pháp để cung cấp tính năng bảo mật cho hệ thống nhận diện lòng bàn tay bằng phương pháp kiểm tra sự thay đổi màu sắc trên lòng bàn tay. Từ sự thay đổi cường độ ánh sáng thu được ta có thể xác định được đó là người thật hay không. Hình 2. Các bước thực hiện kiểm tra sự thay đổi màu sắc lòng bàn tay theo nhịp tim. Dựa vào nguyên lý của sự thay đổi lưu lượng máu trên các bộ phận cơ thể trong chu kỳ tuần hoàn, ta có thể xác định đầu vào của các hình ảnh đưa vào hệ thống nhận dạng lòng bàn tay có phải là từ người thật hay không. Những thay đổi phảng phất về màu sắc vùng da trên lòng bàn tay là sự đại diện đồng thời với sự thay đổi của nhịp tim. Chính vì thế, để xác định một lòng bàn tay người thật ta phải xét thay đổi cường độ màu điểm ảnh của vùng da lòng bàn tay theo thời gian. Đối với mắt thường, chúng ta rất khó có thể nhận ra được những sự thay đổi nhẹ đó, nhưng với camera độ phân giải cao cùng với trợ giúp của máy tính thì việc đó hoàn toàn khả thi. Hình 2 mô tả thuật toán thực hiện kiểm tra sự thay đổi màu sắc lòng bàn tay theo nhịp tim. Trước hết mỗi một lòng bàn tay tương ứng với một khu vực quan tâm chính, từ đó, thu thập tín hiệu thô từ các kênh màu RGB (màu đỏ, xanh lục, xanh lam). Tại các vùng quan tâm ROI, ta thực hiện tính giá trị trung bình về cường độ sáng của tất cả các điểm ảnh trên cả ba kênh màu đặc trưng. Bằng cách tính toán từ phép đếm các điểm cao nhất của tín hiệu trong khoảng thời gian trên, ta có thể tính được nhịp tim trung bình trên các kênh. Để kiểm chứng, trong khoảng thời gian thu thập hình ảnh lòng bàn tay, ta cũng đồng thời đo nhịp tim của đối tượng bằng cảm biến đo nhịp tim. Tạp chí Nghiên cứu KH&CN quân sự, Số 73, 06 - 2021 31
4. Kỹ thuật điều khiển & Điện tử Để minh họa sự khác biệt về hình ảnh nhịp tim khi tính toán từ hình ảnh lòng bàn tay trực tiếp và hình ảnh giả, ta xét một trường hợp so sánh trên hình 3. Trong minh họa này, chúng tôi thu thập một chuỗi các hình ảnh đầu vào có chứa vùng lòng bàn tay của đối tượng quan tâm với một đoạn video độ dài 10 giây từ Pi Camera với tốc độ ghi là 30 khung hình trên giây (fps-frame per second) và lưu lại như nguồn dữ liệu đầu vào. Từ hình 3.a ta thấy, hình ảnh về sự thay đổi của cường độ sáng trên các kênh khá tương đồng với chu kỳ của tim, đặc biệt là ở các kênh R và G. Trường hợp này, từ hình ảnh lòng bàn tay, ta tính được nhịp tim trung bình trên các kênh là 63 nhịp trên phút (bpm), rất gần với nhịp tim của đối tượng, 65 bpm, khi đo bằng cảm biến nhịp tim. 2.3. Nhận diện lòng bàn tay Sau khi đã trích xuất được vùng lòng bàn tay, việc tiếp theo là tiến hành nhận diện lòng bàn tay. Bài toán nhận diện lòng bàn tay cơ bản nhất là sử dụng Eignepalms. Đây là phương pháp sử dụng đặc trưng riêng của lòng bàn tay, gần với khái niệm quen thuộc-eigenfaces [8], hay Fisherfaces [9] vốn sử dụng rộng rãi trong nhận diện khuôn mặt, sử dụng phương pháp phân tích thành phần chính (PCA). Từ lòng bàn tay trực tiếp Từ hình ảnh in (giả) Kênh(thực) R Kênh R Kênh G Kênh G Kênh B Kênh B Time (seconds) Time (seconds) (a) (b) Hình 3. So sánh tín hiệu tương ứng với sự thay đổi cường độ sáng của ảnh lòng bàn tay thực và ảnh giả. (a) Tín hiệu thực thu được từ một tập các hình ảnh có sự hiện diện của người được định danh; (b) Tín hiệu giả từ tập các hình ảnh in ra của người đó. Phương pháp truyền thống này, tuy thuật toán đơn giản nhưng có nhiều nhược điểm do đặc tính dựa trên việc lấy trung bình của tập dữ liệu huấn luyện. Một phương pháp tiếp cận khác cũng được quan tâm gần đây là hướng sử dụng biểu đồ mẫu nhị phân cục bộ Local Binary Patterns Histograms (LBPH) [10]. Đây là thuật toán lấy một vùng cục bộ, ví dụ kích thước 3x3 pixel, sau đó, pixel ở trung tâm sẽ được so sánh với các pixel lân cận. Các pixel lân cận sẽ được đặt bằng 0 nếu có giá trị nhỏ hơn pixel trung tâm, và ngược lại, sẽ được đặt bằng 1 nếu lớn hơn pixel trung tâm. Thuật toán này không nhạy cảm với sự biến đổi của độ sáng trên bức hình. Các phương pháp như giới thiệu ở phần trên, eigenpalms hay LBPH chưa đem lại hiệu quả thực sự với các hình ảnh bàn tay bị xoay, dịch hoặc mờ. Vì vậy, trong nghiên cứu này, chúng tôi sử dụng phương pháp nhận diện lòng bàn tay bằng mô hình Tetra cấu trúc vi mô cục bộ (LMTrP) [13]. Bằng mô hình LMTrP với việc sử dụng bộ lọc Gabor giúp loại bỏ một số đặc tính không cần thiết cũng như tận dụng được lợi thế về độ rộng cũng như hướng của các đường chính trên lòng bàn tay. Phương pháp này đem lại kết quả nhận diện tốt hơn các phương pháp truyền thống 32 P. V. Trường, T. T. Thảo, Đ. V. Hậu, “Phát hiện lòng bàn tay cấu trúc vi mô cục bộ.”
5. Nghiên cứu khoa học công nghệ [8, 9] đã được chứng minh trong các nghiên cứu liên quan gần đây [12, 14]. Mô hình Tetra cấu trúc vi mô cục bộ (LMTrP) và ứng dụng của nó để nhận dạng lòng bàn tay được biểu diễn trên hình 4. Bộ mô tả tận dụng lợi thế của mô tả cục bộ hướng cũng như độ dày của các đường chính trên lòng bàn tay. Hình ảnh palmprint đầu tiên được lọc bằng bộ lọc để loại bỏ các đặc không cần thiết. Sau đó, biểu đồ cấu trúc vi mô mục bộ LMTrP được trích xuất và ghép vào một vectơ đặc trưng để thể hiện hình ảnh đã cho. Cuối cùng, phân tích kernel PCA được áp dụng trên vectơ đặc trưng để giảm kích thước. 2.3.1. Trích xuất đặc tính về độ rộng Hình 4. Sơ đồ khối về nhận dạng lòng bàn tay dựa trên bộ mô tả LMTrP. Trích xuất đặc tính về độ rộng (magnitude) bởi bộ lọc Gabor. Sử dụng bộ lọc Gabor [11] để trích xuất các đặc tính đường (line features) từ các hình ảnh lòng bàn tay (palmprint images). 2 2 '2 '2 ' 2 (x , yee ,  ,  ) e  2()  (/8)(4 x y ) i x (/2) (1) trong đó, x = (x - x0)cosθ + (y - y0)sinθ, y = - (x - x0)sinθ + (y - y0)cosθ, với (x0, y0) là tâm của hàm, θ là hướng của các hàm Gabor theo radian và    là tần số xuyên tâm tính bằng radian trên mỗi đơn vị chiều dài,  2ln 2 2 1 2 1 , trong đó, α là băng thông nửa biên độ của đáp ứng tần số. Thông số bộ lọc Gabor trong bài toán này: + Kích thước mẫu của bộ lọc là 35x35 với vị trí trung tâm (17x17). + =  = 1.5 + Các định hướng θ = 0, π/6, 2π/6, 3π/6, 4π/6 và 5π/6. Đặt GRm(,,) x y  là phần thực của bộ lọc Gabor ở góc m với  m (mK 1) , K là số hướng (orientations) và IROI x, y vùng quan tâm (ROI) của hình ảnh palmprint. Do vậy, đặc Mag x, y Orient x, y tính độ rộng G và đặc tính về hướng G có thể được trích xuất bằng cách tính tích chập của IROI x, y và GRm(,,) x y  . Magxy , minI(ROI xy ,  Gxy R ( , , m )) G (2) Orient x, y argmin( I x , y G ( x , y , )) G m ROI R m 2.3.2. Tính toán LMTrP Bước 1: Áp dụng đạo hàm theo quy tắc LMTrP Để trích xuất bộ mô tả LMTrP, gc là pixel lân cận của tham chiếu vị trí và g R là các pixel liền kề của gc dọc theo hướng  với khoảng cách R trong một vùng cục bộ nhất định. Các pixel liền kề của gc dọc theo một góc nhất định và vị trí tham chiếu. Các cặp đạo hàm cấp (n-1) là n 1 n 1 Ighc()và Igvc() của bộ mô tả LMTrP dọc theo hướng ngang và dọc được định nghĩa là: Tạp chí Nghiên cứu KH&CN quân sự, Số 73, 06 - 2021 33
6. Kỹ thuật điều khiển & Điện tử mm12 nnn 222 Ih( g,, R ) I h ( g c )( ) I h g R n 1 RR 11 Ighc() NN12 1 mm12 nnn 222 Iv( g,, R ) I v ( g c )( ) I v g R n 1 RR 11 Igvc() (3) NN12 1 trong đó, m1 là độ dày của các pixel liền kề của gc dọc theo hướng  và m2 là độ dày của các o o o o o pixel liền kề của gc dọc theo hướng  . Góc  là 0 , 90 , 180 và 270 . Góc  là 0 hoặc o o o 180 cho hướng ngang, trong khi đó , là 90 hoặc 270 cho hướng dọc. N1 là số pixel liền kề của gc dọc theo hướng  và N2 là số pixel liền kề của gc dọc theo hướng . Bước 2: Áp dụng quy tắc cho LMTrP1 n 1 Hướng thứ n 1 của pixel tham chiếu IgDirc()có thể được mã hóa thành bốn giá trị góc phần tư như sau: nn 11 1,Ih ( g c ) 0and I v ( g c ) 0 nn 11 2,Ih ( g c )0and I v ( g c )0 Ign 1() (4) Dir c nn 11 3,Ih ( g c ) 0and I v ( g c ) 0 nn 11 4,Ih ( g c )0and I v ( g c )0 trong đó, Dir là một hướng tham chiếu. Bước 3: Trích xuất các thành phần P (LMTrP2) Bộ mô tả LMTrP theo cấp n được tạo bằng công thức: LMTrPgn( ) sI ( n 1 ( gI ), n 1 ( g )), sI ( n 1 ( g ), , sI ( n 1 ( gI ), n 1 ( g )) | (5) c 1 Dir c Dir 1 1 Dir c 1 Dir c Dir P  P 4 nn 11 0,IDir ( g c ) I Dir ( g P ) s( Inn 11 ( g ), I ( g )) (6) 1 Dir c Dir P n 1 IgDir( P ),else trong đó, P biểu thị số pixel lân cận của pixel tham chiếu gc , đầu ra của S1 đại diện cho bốn giá trị góc phần tư bằng cách so sánh sự khác biệt về hướng giữa pixel tham chiếu và pixel lân cận của nó. Nếu như hướng của pixel tham chiếu giống với pixel của vùng lân cận, n LMTrP() gc được mã hóa là “0”. Nếu không thì gc được mã hóa theo hướng của pixel lân cận. Mô tả LMTrP2 được tách riêng thành mô hình nhị phân sử dụng phương trình: P n( p 1) n LMTrP|nn 11  2 S2 ( LMTrP ( gc ) | (7) Dir| Dir  IDir ( g c ) Dir |  Dir  I Dir ( g c )  p 1  n n 1, ifLMTrP ( gc ) Dir S2 (LMTrP ( gc ) | (8) Dir Dir 0, else trong đó, Dir là một tập hợp bao gồm bốn giá trị góc phần tư trừ giá trị tương ứng của hướng tham chiếu và Dir là một trong những giá trị của Dir . S2 là mẫu nhị phân được tạo bằng cách sử dụng Dir . Bộ mô tả LMTrP bậc hai mã hóa bộ mô tả cục bộ theo từng hướng cho một vị trí tham chiếu. 34 P. V. Trường, T. T. Thảo, Đ. V. Hậu, “Phát hiện lòng bàn tay cấu trúc vi mô cục bộ.”
7. Nghiên cứu khoa học công nghệ 2 2 2 2 Ở đây, LMTrP1 , LMTrP2 , LMTrP3 và LMTrP4 đại diện thứ hai cho các mẫu góc phần tư của bộ 1 1 1 mô tả LMTrP theo hướng lần lượt là “1”, “2”, “3” và “4”. BP1 , BP2 , BP3 đại diện cho ba mẫu nhị phân tương ứng của bộ mô tả LMTrP theo hướng “1”. Bước 4: Trích xuất các khối và tính toán biểu đồ Đối với mỗi thành phần P, thực hiện chia hình ảnh tương ứng thành các khối 5x5. Tiếp đến là tính toán biểu đồ cho pixel trong mỗi khối. Cuối cùng ta nối từng biểu đồ theo hàng với nhau. 2.3.3. Áp dụng Kernel PCA để giảm số lượng thành phần Sau khi trích xuất các khối và tính toán biểu đồ, ta đưa vào tính toán giảm số lượng thành phần sử dụng phương pháp phân tích thành phần chính hạt nhân- Kernel PCA. Mục đích của bước này là để giảm số chiều dữ liệu nhằm tăng hiệu năng tính toán và giảm dung lượng bộ nhớ. 2.3.4. Tính toán độ tương tự giữa hai vectơ đặc trưng của lòng bàn tay Để tính toán độ tương tự giữa hai vectơ đặc trưng của hình ảnh lòng bàn tay. Ta sử dụng khoảng cách Euclide trong việc khớp đặc tính. Cho hai đặc tính của lòng bàn tay Fa11 [ aa 2 , , ,n ]và Fb21 bb[ 2 , , ,n ], điểm tương tự (,)FF12được tính như sau: N S(,) F Fa b Ej12 j  2 j 1 trong đó, ab là khoảng cách Euclide. jj2 Khoảng cách vector đặc trưng của bức ảnh cần so khớp với vector đặc trưng của bức ảnh trong cơ tập dữ liệu gần nhất chính là lòng bàn tay người tương ứng với bức ảnh đó. 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ 3.1. Thu thập dữ liệu Trong nghiên cứu này, chúng tôi triển khai phương pháp phát hiện lòng bàn tay thật dựa trên sự thay đổi màu sắc da, từ đó, ước lượng nhịp tim của đối tượng để đưa ra kết quả là người thật hay giả mạo. Để đảm bảo tốc độ xử lý cũng như độ chính xác trên máy tính nhúng Raspberry Pi, chúng tôi thực hiện ghi hình video 10 giây sau đó tính toán để trích xuất được các giá trị trung bình trên ba kênh màu. Raspberry Pi là một máy tính có giá thành rẻ, nhỏ gọn nhưng có nhược điểm là tốc độ xử lý không cao. Để đảm bảo chạy được hệ thống đa nhiệm, thời gian thực ta cần tối ưu hóa các tác vụ không cần thiết, chiếm nhiều dung lượng bộ nhớ nhất là chế độ trực tuyến camera thời gian thực. Tình huống đặt ra là hệ thống sẽ chỉ thực hiện bật camera và tự động chụp ảnh khi phát hiện có người đứng trước nó trong phạm vi khoảng cách quy định. Chúng tôi đã sử dụng cảm biến khoảng cách HC-SR04 cho nhiệm vụ này. Cảm biến đo khoảng cách này hoạt động theo nguyên lý thu phát sóng âm. Nó có nhiệm xác định xác định vật cản trong khoảng cách 15cm được cài đặt theo chương trình. Để tăng độ tin cậy về sự xuất hiện vật cản, chúng tôi thực hiện đọc giá trị cảm biến 2 lần trong 2 giây, nếu khoảng cách đọc được 2 lần đều dưới 15cm thì thực hiện bật camera, ngược lại sẽ duy trì trạng thái đọc tiếp. Việc duy trì trạng thái đọc cảm biến để kích hoạt bật camera có ưu điểm là tiết kiệm năng lượng, tốc độ xử lý nhanh hơn việc duy trì trạng thái bật camera liên tục. Quá trình triển khai hoạt động chúng tôi thực hiện thu thập thập dữ liệu cho 15 người. Mỗi người sẽ được lấy 10 bức ảnh ở các góc xoay khác nhau, trong các khoảng thời gian sáng, trưa, tối. Điều này sẽ làm tăng tính đa dạng lấy mẫu cho mỗi lòng bàn tay. Sau đó, thực hiện đưa dữ liệu ảnh qua các bước tiền xử lý, dán nhãn, lưu vào từng thư mục riêng cho mỗi người. Tiếp đến, chúng tôi thực hiện huấn luyện lại một mô hình chính cho việc trích xuất đặc trưng kết cấu vi mô Tạp chí Nghiên cứu KH&CN quân sự, Số 73, 06 - 2021 35
8. Kỹ thuật điều khiển & Điện tử cục bộ, lưu chúng vào một tệp. Việc triển khai này phù hợp với các bài toán điểm danh công nhân viên, học sinh khi đã có đầy đủ dữ liệu hình ảnh của họ. Trong hướng tiếp cận triển khai một ứng dụng an ninh, chúng tôi thực hiện bổ sung thêm một lớp là người lạ (Unknown) gồm các ảnh chứa các lòng bàn tay của nhiều người lạ. Chúng tôi thực hiện thu thập các hình ảnh của các lòng bàn tay đa dạng của những người khác nhau và phải khác biệt so với các lòng bàn tay trong các lớp định danh đã có, tiền xử lý ảnh, trích xuất vectơ đặc trưng và lưu vào tệp riêng. 3.2. Kiểm tra và đánh giá bước xác định lòng bàn tay trực tiếp Sau khi xác định được vùng ROI trên lòng bàn tay, ta tiến hành lấy giá trị mức xám trung bình của các hình ảnh liên tiếp trong chuỗi video thu thập được. Các giá trị mức xám tương ứng với cường độ sáng ở lòng bàn tay được tính cho cả ba kênh màu R, G, B, Các tín hiệu thu được từ các kênh R, G, B đầu tiên được đưa qua bộ lọc Butterworth bậc 4, với tần số cắt trong dải [0.2 4] Hz. Sau đó, tín hiệu sau bộ lọc được đưa qua hàm tìm kiếm đỉnh (peak). Peak được xác định là điểm cực trị mà tại đó, giá trị biên độ tương ứng của nó lớn hơn 10% giá trị của biên độ tối đa trên toàn tín hiệu. Cuối cùng, dựa trên tổng số điểm peak np trong khoảng thời gian T (tính bằng giây) của tín hiệu, ta có thể ước lượng được nhịp tim theo công thức : HR nTp 60 (9) Chúng tôi thực hiện thu thập dữ liệu, kiểm tra đánh giá việc nhận biết lòng bàn tay trực tiếp của hệ thống trên 15 người khác nhau. Cụ thể, 15 hình lòng bàn tay được in lên giấy và 15 người thật. Chúng tôi thực hiện ghi hình 2 video có độ dài 10 giây cho mỗi lòng bàn tay ở thời điểm khách nhau để kiểm tra sự thay đổi tín hiệu cường độ điểm ảnh trung bình. Kết quả đánh giá độ chính xác của bước phát hiện lòng bàn tay trực tiếp được tổng hợp trong bảng 1. Kết quả thực nghiệm như bảng 1 cho thấy, phương pháp phát hiện lòng bàn tay trực tiếp có kết quả khá tốt. Với các đối tượng là người thật nhịp tim ước lượng tương ứng với nhịp tim của người bình thường (kênh màu xanh lá cây cho kết quả tốt nhất trong 3 kênh màu). Đây là một giải pháp giúp tăng tính bảo mật cho hệ thống đảm bảo đối tượng tương tác với hệ thống là người thật, chống lại sự giả mạo. Nhịp tim của đối tượng sau khi được ước lượng sẽ được dùng làm cơ sở để đánh giá xem đó là người thật hay giả mạo. Với các đối tượng có số điểm peak lớn hơn 8 tương ứng với nhịp tim tính được là 48 (nhịp/phút), ta xác định là người thật ngược lại thì sẽ là giả mạo. Bảng 1. Kết quả đánh giá phát hiện lòng bàn tay trực tiếp. Phát hiện người thật Phát hiện người giả Nhận biết đúng 13/15 14/15 Tỷ lệ đúng (%) 86% 93% 3.3. Kiểm tra và đánh giá bước nhận dạng lòng bàn tay Để thực hiện bài toán phân biệt lòng bàn tay, chúng tôi sử dụng mô hình Tetra cấu trúc vi mô cục bộ để trích xuất các đặc tính và ghép chúng lại thành một vector đặc trưng thể hiện cho hình ảnh lòng bàn tay. Sau đó, KPCA được áp dụng lên vector đặc trưng để giảm kích thước. Cuối cùng, trong quá trình phân loại, ta sử dụng khoảng cách Euclide để xác định đối tượng có nằm trong tập dữ liệu hay không. Tiếp đến dựa vào khoảng cách để tìm “cụm” mà ta gắn vector (embedding vector) đó thuộc về, từ đó suy ra danh tính người được chọn. Hình 5 minh họa kết quả của một ví dụ nhận diện lòng bàn tay. Trong ví dụ này, hình ảnh lòng bàn tay thử nghiệm của đối tượng trong cơ sở dữ liệu được thu thập với điều kiện độ sáng và độ xoay khác nhau. Ta có thể thấy, với độ sáng và xoay hướng khác nhau, như ở hình 5a, hệ thống vẫn xác định đúng 36 P. V. Trường, T. T. Thảo, Đ. V. Hậu, “Phát hiện lòng bàn tay cấu trúc vi mô cục bộ.”
9. Nghiên cứu khoa học công nghệ đối tượng cần định danh. Cũng trong ví dụ này, với một số hình ảnh lòng bàn tay của đối tượng không nằm trong cơ sở dữ liệu như ở hình 5b, hệ thống cũng trả đúng kết quả là thuộc lớp người lạ-Unknown. Sau quá trình triển khai cá nhân, ta thực hiện kiểm tra, đánh giá hệ thống trên cả 15 lòng bàn tay đã được định danh trong dữ liệu. Thực hiện kiểm tra trên cả 15 lòng bàn tay, mỗi người sẽ được kiểm tra 10 lần với cả tay trái và tay phải. Bên cạnh đó, chúng tôi cũng thực hiện kiểm tra trên thực tế trên 5 bàn tay lạ khác nhau (những bàn tay không phải của 15 người đã được định danh). Chúng tôi kiểm thử trên các lòng bàn tay người lạ và cả các lòng bàn tay chưa xuất hiện trong tập dữ liệu người lạ sẵn có. Mỗi bàn tay thực hiện kiểm tra 10 lần với tay trái và phải. Kết quả nhận diện lòng bàn tay được tổng hợp ở bảng 2. Từ bảng 2 ta thấy, kết quả nhận diện đạt kết quả trên 90% cho cả đối tượng trong tập dữ liệu cần định danh và đối tượng người lạ. Trường hợp nhận dạng sai trong quá trình thực nghiệm chủ yếu là do một vài đối tượng có đường nét khá tương đồng. Có thể khắc phục bằng cách giảm khoảng cách Euclide trong quá trình phân cụm. Tuy nhiên, người dùng cần thử nhiều lần vì khi đó, độ khớp giữa hai hình lòng bàn tay gần như phải tuyệt đối. Ngoài ra, một số trường hợp chưa đạt kết quả tốt là do đối tượng bị xoay một góc quá lớn vượt quá ngưỡng nhận diện được của hệ thống. Khi triển khai lắp đặt cần bổ sung các ràng buộc bằng câu lệnh cho người dùng, ví dụ như người dùng đặt tay vào đúng vị trí định trước. Với hệ thống hiện tại (máy tính Raspberry Pi 4 RAM 8GB, Quad core 64-bit 1.5GHz, bộ nhớ 32GB), thời gian xử lý cho một đối tượng trung bình khoảng 6 giây, trong đó lâu nhất là thời gian xác định lòng bàn tay thật của đối tượng do phải thu thập một tập hình ảnh (hết 4 giây) để tính sự thay đổi của cường độ sáng. 4. KẾT LUẬN (a) (b) Hình 5. Một số kết quả nhận dạng lòng bàn tay. (a) Kết quả định danh người trong cơ sở dữ liệu với ảnh chụp ở độ sáng và góc xoay khác nhau. (b) Ảnh lòng bàn tay ở các đối tượng không nằm trong cơ sở dữ liệu xét. Bài báo này đã đề xuất một phương pháp không tiếp xúc nhằm xác định lòng bàn tay trực tiếp và nhận dạng lòng bàn tay cho định danh người. Thuật toán được thực hiện trên máy tính nhúng Raspeberry Pi 4 hướng tới ứng dụng thời gian thực từ bước chụp ảnh, xử lý, và điều khiển cơ cấp chấp hành. Việc xác định lòng bàn tay trực tiếp được tính toán dựa trên sự thay đổi của cường độ sáng ở lòng bàn tay tương ứng với sự thay đổi lưu lượng máu trong chu kỳ bơm máu của tim. Bước nhận dạng lòng bàn tay để định danh người trong cơ sở dữ liệu cho trước được thực hiện qua mô hình cấu trúc vi mô cục bộ. Phương pháp đề xuất được thử nghiệm trên cơ sở dữ liệu Tạp chí Nghiên cứu KH&CN quân sự, Số 73, 06 - 2021 37
10. Kỹ thuật điều khiển & Điện tử gồm 15 người. Phương pháp xác định người trực tiếp cho độ chính xác 89%. Phương pháp nhận diện và định danh người đạt độ chính xác tới 91%, thể hiện tính hiệu quả của mô hình đề xuất. Trong tương lai, các tác giả sẽ tiến hành thu thập thêm các dữ liệu, kết hợp với các phương pháp học sâu để nâng cao độ chính xác của phương pháp để xuất. Bảng 2. Kết quả đánh giá nhận diện lòng bàn tay. Trong cơ sở dữ liệu Không trong cơ sở dữ liệu Nhận dạng đúng 271/300 92/100 Tỷ lệ đúng (%) 90% 92% Lời cảm ơn: Nghiên cứu này được tài trợ bởi trường Đại học Bách khoa Hà Nội (HUST) trong đề tài mã số: T2020- PC-017. TÀI LIỆU THAM KHẢO [1]. L. Fei, G. Lu, W. Jia, S. Teng, and D. Zhang, “Feature extraction methods for palmprint recognition: A survey and evaluation,” IEEE Trans. Syst., Man, Cybern., Syst., Vol. 49, No. 2 (2018), pp. 1-18. [2]. L. Leng, M. Li, L. Leng, and A. B. J. Teoh, “Conjugate 2DpalmHash code for secure palm-print- vein verification,” in Proc. of 6th Int. Congress on Image and Signal Processing (CISP), (2013), pp. 1705-1710. [3]. L. Leng, J. Zhang, M. K. Khan, X. Chen, and K. Alghathbar, “Dynamic weighted discrimination power analysis: a novel approach for face and palmprint recognition in DCT domain,” Int. Journal of Physical Sciences, Vol. 5, No. 17 (2010), pp. 2543–2554. [4]. A. Kumar, “Toward more accurate matching of contactless palmprint images under less constrained environments,” IEEE Trans. Inf. Forensic. Secur., Vol. 14, No. 1 (2019), pp. 34–47. [5]. C. Zaghetto, M. Mendelson, A. Zaghetto, and F. d. B. Vidal, “Liveness detection on touchless fingerprint devices using texture descriptors and artificial neural networks,” in Proc. 2017 IEEE Int. Joint Conference on Biometrics (IJCB), (2017), pp. 406–412. [6]. J. Y. Choi, Y. M. Ro, and K. N. Plataniotis, “Color local texture features for color face recognition,” IEEE Trans. Image Process., Vol. 21, No. 3 (2012), pp. 1366–1380. [7]. DCastaneda, AEsparza, MGhamari, CSoltanpur, H. Nazeran “A review on wearable photoplethysmography sensors and their potential future applications in health care”, Int J Biosens Bioelectron., Vol. 4, No. 4 (2018), pp. 195–202. [8]. M. Turk, A. Pentland, “Eigenfaces for recognition” Journal of Cognitive Neuroscience, Vol.3, No.1 (1991), pp. 71-86. [9]. P.N. Belhumeur; J.P. Hespanha; D.J. Kriegman, “Eigenfaces vs. Fisherfaces: recognition using class specific linear projection”, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No.7 (1997), pp. 711-720. [10]. T. Ahonen, A. Hadid, M. Pietikäinen, “Face Recognition with Local Binary Patterns”, Proc. of European Conference on Computer Vision., (2004), pp. 469-481. [11]. A. W. Kong and D. Zhang, “Competitive coding scheme for palmprint verification,” Proc. of the 17th International Conference on Pattern Recognition, (2004). [12]. S. A. Maadeed, X. Jiang, I. Rida, A. Bouridane, “Palmprint identification using sparse and dense hybrid representation,”. Multimedia Tools and Applications, Vol.78, (2019), pp 5665–5679. [13]. G. Li and J. Kim, “Palmprint recognition with Local Micro-structure Tetra Pattern,” Pattern Recognit., Vol. 61, (2017), pp. 29–46. [14]. L. Fei, G. Lu, W. Jia, S. Teng, D. Zhang, “Feature Extraction Methods for Palmprint Recognition: A Survey and Evaluation,” IEEE Trans. on Systems, Man, and Cybernetics: Systems, Vol. 49, No. 2 (2019), pp. 346- 363. 38 P. V. Trường, T. T. Thảo, Đ. V. Hậu, “Phát hiện lòng bàn tay cấu trúc vi mô cục bộ.”
11. Nghiên cứu khoa học công nghệ ABSTRACT LIVENESS PALMPRINT DETECTION AND HUMAN RECOGNITION USING LOCAL MICRO-STRUCTURE TETRA PATTERN This paper proposes an approach for touchless detection of live palmprint and human recognition/identification. The method was implemented on Raspeberry Pi 4. The input palm print images are acquired by camera, from that the palm print areas are detected and extracted. Then, the region of interest in the palm print images are fed to a live palm print detection that is based on the changes of average image intensity in the image series according to blood flow changes in a circulation. After the object has detected as a live palm print case, the images are then applied to the human recognition/identification using Local Micro-structure Tetra Pattern. The experiments The proposed approach was applied on our acquired database including 15 subjects. The accuracy was up to 89% for live palm print detection, and 91% for human recognition/identification. Keywords: Palmprint detection; Palmprint-based human recognition/identification; PCA (Principal Components Analysis); LBPH (Local Binary Patterns Histograms); LMTrP (Local Micro-structure Tetra Pattern). Nhận bài ngày 09 tháng 12 năm 2020 Hoàn thiện ngày 09 tháng 4 năm 2021 Chấp nhận đăng ngày 10 tháng 6 năm 2021 Địa chỉ: Trường Đại học Bách khoa Hà Nội. *Email: truong.phamvan@hust.edu.vn. Tạp chí Nghiên cứu KH&CN quân sự, Số 73, 06 - 2021 39