Siêu phân giải dùng trí tuệ nhân tạo nâng cao chất lượng ảnh võng mạc mắt người

Nội dung text: Siêu phân giải dùng trí tuệ nhân tạo nâng cao chất lượng ảnh võng mạc mắt người

1. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) SIÊU PHÂN GIẢI DÙNG TRÍ TUỆ NHÂN TẠO NÂNG CAO CHẤT LƯỢNG ẢNH VÕNG MẠC MẮT NGƯỜI SUPER RESOLUTION USING ARTIFICIAL INTELLIGENCE FOR RETINA IMAGE ENHANCEMENT Doãn Thanh Bình Trường Đại học Điện lực Ngày nhận bài: 28/07/2020, Ngày chấp nhận đăng: 28/12/2020, Phản biện: TS. Hoàng Thị Phương Thảo Tóm tắt: Hình ảnh võng mạc là một lĩnh vực quan trọng trong y tế phục vụ mục tiêu điều trị các bệnh lý. Quan sát những thay đổi của các đường mạch máu ở võng mạc giúp các bác sỹ chẩn đoán nhiều bệnh, thu thập, phân tích các triệu chứng và phát triển các phương pháp điều trị liên quan. Do vậy, nâng cao chất lượng hình ảnh võng mạc là bước tiền xử lý quan trọng. Nhằm cải thiện chất lượng hình ảnh võng mạc một số kỹ thuật đã được đề xuất như biến đổi wavelet rời rạc (DWT) [1,2,3], siêu phân giải rất sâu (VDSR) [4], mạng nơron tích chập siêu phân giải (SRCNN) [5] Tuy nhiên, vẫn chưa thể đem lại hiệu quả cao do vẫn tồn tại nhiễu cao, cho kết quả hình ảnh không tốt, chưa tối ưu về độ phức tạp tính toán, mức tiêu thụ bộ nhớ và tốc độ xử lý. Trong khuôn khổ bài báo này, tác giả đề xuất phương pháp siêu phân giải dùng trí tuệ nhân tạo nâng cao chất lượng ảnh võng mạc mắt người, nhằm tái tạo trực tiếp hình ảnh có độ phân giải cao từ hình ảnh có độ phân giải thấp ban đầu. Bằng các phân tích và kết quả tính toán các tham số chất lượng ảnh xử lý qua thực nghiệm, bài báo chứng minh rằng phương pháp được đề xuất là vượt trội so với các phương pháp đã thực hiện, đặc biệt là về thời gian thực thi. Từ khóa: nâng cao chất lượng ảnh Retina, mạng nơron tích chập sâu (CNN), siêu phân giải đơn ảnh. Abstract: The retina image is an important area for medical treatment of the disease. By observing the changes in the blood vessels in the retina lines, doctors can diagnose diseases, to collect and analyze the symptoms and the development of related treatments. Consequently, improving retinal image quality is an important preprocessing step. In order to improve retinal image quality, several techniques have been proposed such as wavelet transform [1,2,3], very-deep-super-resolution (VDSR) [4], super-resolution-convolutional neural network (SRCNN) [5] but still can not provide high efficiency by persistent high noise, poor image results, not optimal for computational complexity and memory consumption. Therefore, in this paper, we propose a particular method of retinal images quality enhancement via super resolution using artificial intelligence to directly reconstruct the high resolution image from the original low resolution image. By the analysis and calculated results in picture quality parameters through experimental treatment, we will demonstrate that the proposed method is superior to the state-of-the-art methods, especially in terms of time performance. 50 Số 24
2. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Keywords: retinal image enhancement, convolutional neural network, single image super resolution. 1. GIỚI THIỆU phương pháp hiện tại và phương pháp 1.1. Ảnh võng mạc mắt người đề xuất. Võng mạc là một cấu trúc nhiều lớp với 1.2. Siêu phân giải đơn ảnh nhiều lớp tế bào thần kinh kết nối với Siêu phân giải là quá trình tạo hình ảnh có nhau bằng các khớp thần kinh. Các tế bào độ phân giải cao từ hình ảnh có độ phân thần kinh chỉ nhạy cảm với ánh sáng trực giải thấp. Bài báo này xem xét siêu phân tiếp là các tế bào tiếp nhận ánh sáng. Đối giải đơn ảnh (SISR), trong đó mục tiêu là với tầm nhìn, đây là hai loại: các que và khôi phục một hình ảnh có độ phân giải hình nón. Thanh chức năng chủ yếu trong cao từ một hình ảnh có độ phân giải thấp. ánh sáng mờ và cung cấp tầm nhìn màu SISR là một thách thức vì nội dung hình đen và trắng, trong khi tế bào hình nón hỗ ảnh tần số cao thường không thể được trợ nhận thức về màu sắc. Loại thứ ba của phục hồi từ hình ảnh độ phân giải thấp. tiếp nhận ánh sáng là sử dụng tế bào hạch Không có thông tin tần số cao, chất lượng quang có khả năng cảm biến với cường độ của hình ảnh độ phân giải cao sẽ bị của ánh sáng. hạn chế. Đánh giá hình ảnh võng mạc là điều cần Siêu phân giải đơn ảnh (SISR) là một thiết để chăm sóc mắt hiện đại. Với sự ra bài toán cổ điển trong thị giác máy tính đời của các thiết bị xử lý hình ảnh, ghi âm bậc thấp để tái tạo hình ảnh có độ phân kỹ thuật số và xử lý hình ảnh võng mạc giải cao (HR) từ hình ảnh có độ phân được bắt đầu nghiên cứu phát triển. giải thấp (LR). Thực tế, một số lượng vô Bài báo này đề cập đến ảnh võng mạc dựa hạn các hình ảnh có độ phân giải cao có trên trí tuệ nhân tạo để nâng cao, cải thiện thể thu được một hình ảnh độ phân giải chất lượng ảnh, tái tạo trực tiếp hình ảnh thấp giống nhau bằng phương pháp có độ phân giải cao từ hình ảnh có độ downsampling. phân giải thấp nhằm phục vụ cho các bước chẩn đoán lâm sàng về các bệnh lý liên quan đến nhãn khoa. Bố cục của bài báo như sau: giới thiệu về ảnh võng mạc, cơ sở lý thuyết về siêu phân giải đơn giản, các phương pháp siêu phân giải dùng trí tuệ nhân tạo dựa trên mạng nơron tích chập, đưa ra mô hình cho phương pháp đề xuất. Phần cuối đưa ra kết quả thực nghiệm, và các tham số tính toán so sánh chất lượng xử lý giữa các Hình 1. Ví dụ về siêu phân giải đơn ảnh (SISR) Số 24 51
3. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Gần đây, nhờ mạng nơron tích chập giả thực hiện thao tác bổ sung toán tử trên (Convolutional Neural Network - CNN) dư ảnh và hình ảnh phân giải thấp đã phát triển hơn, nhiều phương pháp siêu được upsampling. phân giải dựa trên CNN đã xây dựng một Yếu tố chính của IDN là khối chắt lọc mạng nhiều lớp để đạt được hiệu suất thông tin, chứa đơn vị tăng cường và đơn phục hồi tốt hơn. Kim cùng cộng sự đề vị nén. Đơn vị tăng cường chủ yếu gồm xuất một mô hình CNN 20 lớp được gọi hai mạng tích chập như minh họa trong là siêu phân giải đơn ảnh nhiều lớp VDSR hình 2. Mỗi mạng là một môđun ba lớp. [4], áp dụng phương pháp mạng học Các bản đồ đặc năng của môđun đầu tiên nhiều lớp và cắt giảm độ dốc thích ứng để được trích xuất thông qua một đường dẫn việc đào tạo trở nên dễ dàng hơn. ngắn (3 lớp). Qua đó, chúng có thể được Mặc dù đạt được hiệu suất nổi bật, nhưng coi là các đặc trưng đường ngắn cục bộ. hầu hết các mạng nhiều lớp vẫn có một số Những đóng góp chính trong nghiên cứu nhược điểm. Thứ nhất, độ phức tạp cao về này được tóm tắt như sau: tính toán và tiêu thụ bộ nhớ lớn, ít được IDN sẽ thu được kết quả mang tính áp dụng trong thực tế, chẳng hạn như các cạnh tranh dù sử dụng số lượng lớp tích ứng dụng thị giác di động và nhúng. Hơn chập ít hơn. nữa, các mạng tích chập truyền thống Do cấu trúc ngắn gọn của IDN được đề thường áp dụng các cấu trúc liên kết xuất, nên nó có tốc độ nhanh hơn nhiều so mạng nối tầng, ví dụ: VDSR [4] và với một số phương pháp siêu phân giải DRCN [6]. Bằng cách này, các ma trận dựa trên CNN, ví dụ: VDSR [4], SRCNN lớp đầu vào (Feature map) của từng lớp [5], hay phương pháp DWT [1,2,3] truyền được truyền tải đến lớp liên tiếp mà thống. không có sự phân biệt. 2. CÁC CÔNG TRÌNH NGHIÊN CỨU Để giải quyết những điểm hạn chế này, LIÊN QUAN tác giả đề xuất một mạng chắt lọc thông Siêu phân giải đơn ảnh đã được nghiên tin mới (IDN) với các thông số bậc thấp cứu rộng rãi trong những năm gần đây. và tính phức tạp tính toán như minh họa Trong phần này, sẽ tập trung vào các trong hình 2. Ở IDN được đề xuất, khối phương pháp dựa trên mạng lưới nơron trích xuất đặc trưng (FBlock) đầu tiên sẽ như VDSR [4], và SRCNN [5]. trích xuất các đặc trưng từ hình ảnh độ phân giải thấp. Sau đó, các khối chắt lọc Dong cùng cộng sự [7, 8] trước tiên khai thông tin (DBlocks) được xếp chồng lên thác mạng nơron tích chập ba lớp, có tên nhau để chắt lọc dần dần thông tin còn lại. là SRCNN, nhằm tối ưu hóa quá trình Cuối cùng, khối tái cấu trúc (RBlock) sẽ trích xuất đặc trưng, ánh xạ phi tuyến tính tổng hợp các phép biểu diễn phần dư độ và tái tạo hình ảnh từ đầu đến cuối. Về phân giải cao thu được để tạo ra dư ảnh. sau, Shi cùng các cộng sự [9] đề xuất một Để có được hình ảnh độ phân giải cao, tác mạng nơron tích chập điểm ảnh phụ 52 Số 24
4. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) (subpixel) hiệu quả (ESPCN), trích xuất biến nhằm thu được hiệu suất vượt trội, sử các ma trận lớp đầu vào trong không gian dụng thông tin theo ngữ cảnh trên các độ phân giải thấp và thay thế việc thực vùng hình ảnh lớn. hiện phép toán nội suy (upsampling) song lập phương bằng một tích chập điểm ảnh 3. PHƯƠNG PHÁP ĐỀ XUẤT SIÊU phụ hiệu quả. Dong cùng cộng sự [5] sử PHẦN GIẢI DÙNG TRÍ TUỆ NHÂN TẠO dụng phương pháp giải chập để thúc đẩy Ở phần này, đầu tiên tác giả mô tả kiến SRCNN kết hợp với kích thước bộ lọc trúc mô hình được đề xuất. Tiếp theo, đề nhỏ hơn và nhiều lớp tích chập hơn. Kim xuất đơn vị tăng cường và đơn vị nén, cùng cộng sự [4] đề xuất một mô hình chúng là cốt lõi của phương pháp được đề CNN nhiều lớp với kiến trúc hồi quy đa xuất. Hình 2. Cấu trúc của mạng đề xuất 3.1. Cấu trúc mạng khối chứa một đơn vị tăng cường và một Mạng IDN được đề xuất như trong hình 2, đơn vị nén theo kiểu xếp chồng. Quá trình gồm ba phần: khối trích xuất chức năng này có thể được xây dựng theo công thức (FBlock), các khối chắt lọc thông tin xếp sau: nối (DBlocks) và khối tái tạo (RBlock). = 퐹 ( −1), = 1,2, , 푛 (2) Ở đây, x và y là đầu vào và đầu ra của Trong đó, Fk biểu thị hàm DBlock thứ k, mạng IDN. Bk 1 và Bk là đầu vào và đầu ra của Đối với FBlock, hai lớp chập 3×3 được sử DBlock thứ k tương ứng. Cuối cùng, dụng để trích xuất các ma trận lớp đầu chúng ta có một tích chập chuyển vị mà vào từ hình ảnh độ phân giải thấp gốc. không có hàm kích hoạt như RBlock. Do Quy trình này có thể được trình bày là: đó, mạng IDN có thể được trình bày như 0 = ( ) (1) sau: Trong đó, f đại diện cho hàm trích xuất = 푅(퐹푛( 푛−1)) + 푈( ) (3) đặc trưng và B biểu thị cho các đặc trưng 0 Trong đó R, U lần lượt biểu thị RBlock và được trích xuất và sử dụng làm đầu vào phép nội suy hai chiều. cho giai đoạn tiếp theo. Hàm Loss Phần tiếp theo bao gồm các khối chắt lọc thông tin, sử dụng chế độ móc nối. Mỗi Xem xét hai hàm mất được sử dụng để đo Số 24 53
5. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) độ lệch giữa hình ảnh độ phân giải cao Đơn vị tăng cường có thể được chia thành theo dự đoán Iˆ và sự thật nền tảng I hai môđun, một là ba tích chập trên và hai tương ứng. Hàm đầu tiên là sai số toàn là ba tích chập dưới. Môđun trên có ba phương trung bình (MSE), là hàm mất tích chập 3×3, mỗi tích chập được theo mát được sử dụng rộng rãi nhất để phục sau bởi hàm kích hoạt tinh chỉnh các đơn hồi hình ảnh chung như được định nghĩa vị tuyến tính hở (LReLU), được bỏ qua ở dưới đây: đây. Hãy biểu thị các kích thước ma trận lớp đầu vào của lớp thứ i là Di (i = 1, , 1 2 푙 = ∑ ‖ − ̂‖ (4) 6). Theo đó, mối quan hệ của các lớp chập 푆 푖=1 푖 푖 2 có thể được biểu thị bằng: Tuy nhiên, qua thực nghiệm, Lim cùng − = − = (6) cộng sự [16] chứng minh rằng đào tạo với 3 1 1 2 hàm mất mát MSE không phải là một lựa trong đó d biểu thị độ chênh lệch giữa lớp chọn tốt. Hàm mất mát thứ hai có nghĩa là thứ nhất và lớp thứ hai hoặc giữa lớp thứ sai số tuyệt đối trung bình (MAE), được nhất và lớp thứ ba. Tương tự, kích thước xây dựng như sau: của các kênh trong môđun dưới cũng có 1 mối quan hệ này và có thể được mô tả 푙 = ∑ ‖ − ̂‖ (5) 푖=1 푖 푖 1 như sau: Bằng thực nghiệm, ta nhận thấy rằng mô 6 − 4 = 4 − 5 = (7) hình với hàm Loss MSE có thể cải thiện trong đó D = D . Môđun trên bao gồm ba hiệu suất của mạng đã đào tạo với hàm 4 3 lớp chập xếp tầng với các LReLU và đầu Loss MAE. Do đó, việc đầu tiên của ra của lớp chập thứ ba được phân chia phương pháp là đào tạo mạng với hàm thành hai phân đoạn. Giả sử đầu vào của Loss MAE và sau đó tinh chỉnh theo hàm Loss MSE. môđun này là Bk-1, chúng ta có: 푃푙 = ( −1) (8) 3.2. Đơn vị tăng cường Trong đó Bk-1 biểu thị đầu ra của khối trước đó và trong khi đó là đầu vào của khối hiện tại, Ca biểu thị hoạt động tích chập nối tiếp và 푃푙 là đầu ra của môđun trên trong đơn vị tăng cường thứ k. Các ma trận lớp đầu vào với các kích thước 3 푠 và đầu vào của lớp chập đầu tiên được liên kết với nhau trong khuôn khổ kênh, 1 푅 = (푆 (푃 , ) , ) (9) 푙 푠 −1 Trong đó C, S đại diện cho hoạt động Hình 3. Kiến trúc của đơn vị tăng cường ghép nối và hoạt động phân chia. Cụ thể, trong mô hình đề xuất chúng tôi biết kích thước của 푃푙 là D3. 54 Số 24
6. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) 1 Do đó, 푆 (푃 , ) biểu thị rằng các đặc giảm kích thước hoặc chắt lọc thông tin 푙 푠 liên quan cho mạng sau này. Do đó, đơn trưng kích thước 3 được tìm nạp từ 푃 . 푠 푙 vị nén có thể được xây dựng như sau: 1 Ngoài ra 푆 (푃 , ) ghép nối các đặc trưng 푙 푠 = 퐹 (푃 ) = 훼퐹 (푊퐹 (푃 )) (12) với B trong khuôn khổ kênh. Mục đích k-1 Trong đó biểu thị cho hàm lớp tích là để kết hợp thông tin trước đó với một 퐹 chập 1×1 ( 훼 biểu thị cho hàm kích hoạt số thông tin hiện tại. Nó có thể được coi 퐹 và 푊 là các thông số trọng số). là thông tin đường dẫn cục bộ được giữ 퐹 lại một phần. Sử dụng phần còn lại của 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT thông tin đường dẫn ngắn cục bộ làm đầu QUẢ vào cho môđun dưới, chủ yếu trích xuất thêm các ma trận lớp đầu vào đường dài, Hình ảnh võng mạc mắt người sử dụng cho thực nghiệm được lấy từ cơ sở dữ liệu 1 푃 = (푆 (푃 , 1 − )) (10) 2 푙 푠 DRIVE [19] công khai (nguồn ảnh võng mạc kỹ thuật số). Hình ảnh có kích thước Trong đó, 푃 , tương ứng là các hoạt 2 565×584 pixel, 8 bit cho mỗi kênh màu động tích chập đầu ra và xếp nối của sắc, định dạng nén .*TIFF. Hình ảnh ban môđun dưới. Cuối cùng, như trong hình 3, đầu được bắt từ một nonmydriatic 3 thiết thông tin đầu vào, thông tin đường dẫn bị tích điện kép Canon CR5(CCD) camera cục bộ riêng và thông tin đường dài cục tại 45° trường nhìn (FOV). Theo [4, 11, bộ được tổng hợp. Do đó, đơn vị tăng 13, 14], tác giả sử dụng 91 hình ảnh từ cường có thể được trình bày như sau: Yang cùng cộng sự [13] và 200 hình ảnh ( −1), từ Bộ Dữ liệu Phân đoạn Berkeley (BSD) 푃 = 푃 + 푅 = (푆 ( 1 )) + 2 1 − 푠 [18] làm dữ liệu đào tạo. Ảnh thực 1 nghiệm được giảm tỷ lệ bằng phép nội (푆 ( ( −1), ) , −1) (11) 푠 suy hai chiều để tạo các cặp hình ảnh độ k Trong đó P là đầu ra của đơn vị tăng phân giải thấp/độ phân giải cao cho cả tập cường. Tại thời điểm này, các đặc trưng dữ liệu đào tạo và thử nghiệm. đường dài cục bộ 푃2 và sự kết hợp của các đặc trưng đường ngắn cục bộ cùng Mạng nơron trí tuệ nhân tạo phát hiện dư ảnh từ độ chói của hình ảnh màu. Kênh độ các đặc trưng chưa qua xử lý Rk được sử dụng mà không có ngoại lệ bởi đơn vị chói của hình ảnh - Y thể hiện độ sáng nén. của từng pixel thông qua sự kết hợp tuyến tính của các giá trị pixel đỏ, lục và lam. 3.3. Đơn vị nén Ngược lại, hai kênh sắc độ của một hình Cơ chế nén được hình thành bằng cách ảnh, Cb và Cr, là các kết hợp tuyến tính tận dụng lớp chập 1×1. Cụ thể, các đầu ra khác nhau của các giá trị pixel đỏ, lục và của đơn vị tăng cường được chuyển tới lam thể hiện thông tin sai lệch màu. Mạng lớp chập 1×1, có vai trò hoạt động như nơron trí tuệ nhân tạo được đào tạo chỉ sử Số 24 55
7. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) dụng kênh độ chói vì nhận thức của mắt biểu đồ này, có thể tìm hiểu mức độ phơi con người nhạy cảm hơn với những thay sáng hình ảnh tốt hơn nhiều so với việc đổi về độ sáng so với thay đổi về màu sắc. nhìn vào hình ảnh này trên màn hình máy tính lớn. Nếu phơi sáng là không tối ưu, 4.1. Histogram của ảnh võng mạc và ngay lập tức thấy cách cải thiện nó từ biểu các kênh màu đồ hình ảnh. Mục đích để lựa chọn ảnh Biểu đồ này hiển thị số lượng pixel trong phù hợp cho thực nghiệm. Kênh độ chói một hình ảnh ở từng giá trị cường độ khác Y chính là biểu đồ Red channel được thể nhau được tìm thấy trong hình ảnh đó, từ hiện trên hình 4. Hình 4. Ảnh võng mạc và các kênh màu 4.2. Chi tiết thực nghiệm B4: Trực quan so sánh các hình ảnh độ phân giải cao được xây dựng lại bằng Phần này sẽ đề cập các bước tiến hành thực nghiệm siêu phân giải dùng trí tuệ cách sử dụng phép nội suy bicubic, DWT nhân tạo nâng cao chất lượng ảnh võng [1,2,3], SRCNN [5], VDSR [4], và IDN. mạc mắt người. B5: Đánh giá chất lượng của hình ảnh Để thực hiện siêu phân giải hình ảnh đơn siêu phân giải bằng cách định lượng độ (SISR) bằng mạng đề xuất, các bước thực tương tự của hình ảnh với hình ảnh tham hiện như sau: chiếu có độ phân giải cao qua các tham số B1: Tạo một hình ảnh độ phân giải thấp tính toán chất lượng ảnh RMSE, PSNR, mẫu từ một hình ảnh tham chiếu độ phân Entropi, SC, NIQE, SSIM. Cuối cùng, giải cao. thực hiện đánh giá hiệu suất về thời gian B2: Thực hiện SISR trên hình ảnh có độ thực thi giữa các phương pháp. phân giải thấp bằng cách sử dụng phép 4.3. Phân tích và đánh giá kết quả thực nội suy bicubic, một giải pháp xử lý hình nghiệm ảnh truyền thống không dựa vào việc học sâu. Phần này sẽ so sánh trực quan và định B3: Thực hiện SISR trên hình ảnh độ lượng các kết quả thực nghiệm đã tiến phân giải thấp bằng cách sử dụng mạng hành với các phương giới thiệu và phương nơron đề xuất. pháp đề xuất. 56 Số 24
8. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) MN  f(,) i j 2 ij 11 SC MN (16) ' 2  f(,) i j ij 11 f(i,j): ảnh gốc; f’(i,j): ảnh hợp nhất (fused image); M×N : kích thước ảnh f. Hình 5. Dư ảnh và sự phân bố dữ liệu của ảnh võng mạc Tính toán NIQE [16]: NIQE đo khoảng cách giữa các tính năng Các tham số tính toán chất lượng ảnh: dựa trên NSS được tính toán từ hình ảnh Tính toán Entropi: A đến các tính năng thu được từ cơ sở dữ liệu hình ảnh được sử dụng để huấn luyện H  pkklog( p ) (13) k mô hình. Các tính năng được mô hình hóa như các bản phân phối Gaussian đa chiều. trong đó K là số lượng các mức xám và pk là xác suất được kết hợp với mức xám k. Tính toán SSIM [17]: Tính toán RMSE: 푆푆 ( , ) = [푙( , )]훼 ∙ [ ( , )]훽 ∙ [푠( , )]훾 (17) R(,)(,) i j F i j 2 RMSE  trong đó, MN (14) 2휇 휇 + 1 Trong đó i và j biểu thị vị trí không gian 푙( , ) = 2 2 휇 + 휇 + 1 của pixel trong khi M và N là kích thước 2휎 휎 + 2 của ảnh. ( , ) = 2 2 휎 + 휎 + 2 Tính toán PSNR: 휎 + 3 2 푠( , ) = n 21 휎 휎 + 3 PSNR 10l o g (15) 10 MSE trong đó μx,y, σx, σy và σxy là trung bình cục bộ, độ lệch chuẩn và hiệp phương sai 2 MNI(,)(,) i j F i j  cho hình ảnh x, y . Nếu α = β = γ = 1, và MSE  C3 = C2 /2 (lựa chọn mặc định của C3) sự ij 11 MN đơn giản hóa chỉ số để: I(i,j): ảnh gốc, F(i,j): ảnh hợp nhất (fused (2휇 휇 + 1)(2휎 휎 + 2) image); 푆푆 ( , ) = 2 2 2 2 (18) (휇 +휇 + 1)(휎 +휎 + 2) M×N: kích thước ảnh I. So sánh trực quan ảnh được xử lý và biểu Tính toán SC: đồ mật độ phổ năng lượng: Số 24 57
9. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Hình 6. So sánh trực quan ảnh võng mạc Hình 7. Mật độ phổ năng lượng Từ hình 6, chúng ta có thể thấy rằng kết lượng thấp sẽ cho một mật độ năng lượng quả trực quan theo phương pháp đề xuất quang phổ phẳng. Do đó, từ các kết quả thể hiện chất lượng hình ảnh tốt nhất. Ảnh PSD trên, dễ dàng thấy rằng phương pháp khôi phục với phương pháp đề xuất cho đề xuất cho chất lượng xử lý tốt nhất bởi độ nhạy sáng tốt hơn và khả năng quan sát vì PSD càng lớn cho thấy kết quả tăng rõ ràng hơn các chi tiết ảnh. cường ảnh càng tốt. Theo kết quả mô phỏng trong hình 7, đối So sánh định lượng qua các tham số tính với mật độ phổ năng lượng, ảnh chất toán chất lượng ảnh. 58 Số 24
10. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) Bảng 1. Kết quả định lượng chất lượng ảnh võng mạc Phương pháp Bicubic DWT SRCNN VDSR IDN RMSE 3.074901084 49.7709469 2.082487134 0.019029733 0.006824656 PSNR 38.37418062 14.19128554 41.75915707 82.54214967 83.31838486 Entropi 5.341462778 4.435734623 5.299262245 6.519411707 7.272545443 SC 0.998209422 0.249589283 1.000384552 0.994228197 0.199988018 NIQE 5.004336182 5.313397536 5.069672023 5.229128662 4.163979766 SSIM 0.944457499 0.745228683 0.957719795 0.981807407 0.998874777 Time - 0.1597907 22.0877573 0.0333412 0.0218909 Chúng ta thấy, kết quả tính toán định pháp đề xuất thu được kết quả có hiệu lượng chất lượng ảnh võng mạc được xử suất rất tốt về RMSE, PSNR, Entropi, SC, lý với màu xanh chỉ ra mức hiệu suất tốt NIQE, SSIM và cho thời gian thực thi rất nhất và màu đỏ chỉ ra mức hiệu suất tốt nhanh so với các phương pháp được giới thứ hai. thiệu. Mạng nhỏ gọn này sẽ được áp dụng rộng rãi hơn trong thực tế. Trong tương 5. KẾT LUẬN lai, phương pháp siêu phân giải hình ảnh Trong bài báo này, tác giả đề xuất một này sẽ được nghiên cứu để hỗ trợ vấn đề phương pháp mới dùng trí tuệ nhân tạo về phục hồi hình ảnh khác như giảm dựa trên mạng nơron, sử dụng các khối nhiễu và giảm thiểu hiện tượng sai khác chắt lọc để trích xuất dần nguồn đặc trưng giữa ảnh gốc và ảnh sau xử lý (hiện tượng phong phú và hiệu quả nhằm mục đích tái compression artifact). tạo hình ảnh độ phân giải cao. Phương TÀI LIỆU THAM KHẢO [1] Daubechies, Ten lectures on wavelets, CBMS-NSF conference series in applied mathematics. SIAM Ed, 1992. [2] Mallat, S. “A theory for multiresolution signal decomposition: the wavelet representation,” IEEE Pattern Anal. and Machine Intell., vol. 11, no. 7, pp. 674–693, 1989. [3] Meyer. Y, Ondelettes et opérateurs, Tome 1, Hermann Ed, 1990 (English translation: Wavelets and operators, Cambridge Univ. Press. 1993). [4] J. Kim, J.K. Lee, and K.M. Lee. Accurate image super-resolution using very deep convolutional networks. In CVPR, pp. 1646–1654, 2016. [5] C. Dong, C.C. Loy, and X. Tang. Accelerating the super-resolution convolutional neural network. In ECCV, pp. 391–407, 2016. [6] J. Kim, J.K. Lee, and K.M. Lee. Deeply-recursive convolutional network for image super- resolution. In CVPR, pp. 1637–1645, 2016. Số 24 59
11. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) [7] C. Dong, C.C. Loy, K. He, and X. Tang. Learning a deep convolutional network for image super- resolution. In ECCV, pp. 184–199, 2014. [8] C. Dong, C.C. Loy, K. He, and X. Tang. Image super-resolution using deep convolutional networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(2):295–307, 2016. [9] W. Shi, J. Caballero, F. Husz´ ar, J. Totz, A. P. Aitken, R. Bishop, D. Rueckert, and Z. Wang. Real- time single image and video super-resolution using an efficient sub-pixel convolutional neural network. In CVPR, pp. 1874–1883, 2016. [10] X.-J. Mao, C. Shen, and Y.-B. Yang. Image restoration using very deep convolutional encoder- decoder networks with symmetric skip connections. In NIPS, 2016. [11] Y. Tai, J. Yang, and X. Liu. Image super-resolution via deep recursive residual network. In CVPR, pp. 3147–3155, 2017. [12] M.S.M. Sajjadi, B. Scholkopf, and M. Hirsch. Enhancenet: Single image super-resolution through automated texture synthesis. In ICCV, pp. 4491–4500, 2017. [13] W.-S. Lai, J.-B. Huang, N. Ahuja, and M.-H. Yang. Deep laplacian pyramid networks for fast and accurate super-resolution. In CVPR, pp. 624–632, 2017. [14] Y. Tai, J. Yang, X. Liu, and C. Xu. Memnet: A persistent memory network for image restoration. In ICCV, pp. 3147–3155, 2017. [15] J. Yang, J. Wright, T.S. Huang, and Y. Ma. Image super-resolution via sparse representation. IEEE Transactions on Image Processing, 19(11):2861–2873, 2010. [16] Mittal, A., R. Soundararajan, and A.C. Bovik. "Making a Completely Blind Image Quality Analyzer." IEEE Signal Processing Letters. Vol. 22, Number 3, pp. 209–212, Mar. 2013. [17] Zhou, W., A. C. Bovik, H. R. Sheikh, and E. P. Simoncelli. "Image Qualifty Assessment: From Error Visibility to Structural Similarity." IEEE Transactions on Image Processing. Vol. 13, Issue 4, pp. 600–612, Apr. 2004. [18] D. Martin, C. Fowlkes, D. Tal, and J. Malik. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics. In CVPR, pp. 416–423, 2001. [19] DRIVE database. Article (CrossRef Link). Giới thiệu tác giả: Tác giả Doãn Thanh Bình tốt nghiệp đại học ngành kỹ thuật điện tử năm 2008, nhận bằng Thạc sĩ năm 2010, nhận bằng Tiến sĩ ngành kỹ thuật điện tử năm 2018 tại Trường Đại học Bách khoa Hà Nội. Tác giả hiện đang công tác tại Phòng Khảo thí và Kiểm định chất lượng, Trường Đại học Điện lực. Lĩnh vực nghiên cứu: lý thuyết nghịch đảo suy rộng (generalized inverses), GSVD nhằm mô hình hóa, đánh giá các hệ thống MIMO; nghiên cứu các hệ thống thông tin trải phổ đa sóng mang (multi-carrier) áp dụng cho các hệ thống thông tin thế hệ tiếp theo. 60 Số 24
12. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) 61 Số 24
13. TẠP CHÍ KHOA HỌC VÀ CÔNG NGHỆ NĂNG LƯỢNG - TRƯỜNG ĐẠI HỌC ĐIỆN LỰC (ISSN: 1859 - 4557) 62 Số 24