Tái tạo và phân mảnh các bộ phận trên mô hình 3D từ tập ảnh

Nội dung text: Tái tạo và phân mảnh các bộ phận trên mô hình 3D từ tập ảnh

1. Kỷ yếu Hội nghị KHCN Quốc gia lần thứ XIII về Nghiên cứu cơ bản và ứng dụng Cơng nghệ thơng tin (FAIR), Nha Trang, ngày 8-9/10/2020 DOI: 10.15625/vap.2020.00211 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH Lê Tiến Mẫu1, Nguyễn Tấn Khơi2, Romain Raffin3 1Trường Cao đẳng Quảng Ngãi 2Đại học Bách khoa - Đại học Đà Nẵng 3Trường Đại học Aix-Marseille & LSIS UMR7296, Pháp tienmauqn@gmail.com; ntkhoi@dut.udn.vn; romain.raffin@univ-amu.fr TĨM TẮT: Bài báo này trình bày một phương pháp tái tạo từ tập dữ liệu ảnh 2D được chụp xung quanh đối tượng. Sau khi tái tạo xong, thực hiện phân mảnh các bộ phận mơ hình 3D. Phương pháp đề xuất gồm hai giai đoạn chính, từ tập dữ liệu hình ảnh tiến hành phân tích các đặc trưng tập điểm bất biến, xác định hướng ảnh chụp và tái tạo mơ hình 3D; từ mơ hình 3D tái tạo được tiến hành tính tốn độ cong bề mặt đối tượng dựa trên cơ sở pháp tuyến tại các điểm bề mặt. Từ độ cong tính tốn được, sẽ thực hiện gom nhĩm các điểm cĩ độ cong gần nhau để phân tách thành các bộ phận trên mơ hình vật thể 3D. Kết quả sau khi phân tách các bộ phận trên mơ hình 3D tái tạo sẽ được dùng phân tích, đánh giá đối tượng 3D, định danh các bộ phận trên đối tượng, nhằm phục vụ trong lĩnh vực phục hồi các các di tích khảo cổ, ứng dụng trong phân tích hình ảnh y tế, nhận dạng đối tượng, cơng nghệ in 3D, Bài báo sử dụng bộ dữ liệu thu thập từ Bảo tàng Điêu khắc Chămpa Đà Nẵng và Khu di tích Mỹ Sơn, Quảng Nam, tiến hành thực nghiệm phương pháp đề xuất. Từ khĩa: Tái tạo, mơ hình 3D, phân đoạn, độ cong, bề mặt, Chămpa, Mỹ Sơn. I. GIỚI THIỆU Hiện nay, việc ứng dụng các sản phẩm của cách mạng 4.0 để bảo tồn, phục dựng và quảng bá những giá trị của di sản văn hĩa đang được phát triển mạnh mẽ. Hướng nghiên cứu về tái tạo mơ hình, mẫu vật 3D đã và đang được nhiều nhà nghiên cứu và tổ chức quan tâm nghiên cứu. Các mơ hình 3D tái tạo được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau như trong y học, kiến trúc đặc biệt trong bảo tồn các di tích khảo cổ bằng cách số hĩa dữ liệu các di tích, cổ vật để lưu trữ hay trình diễn, [6, 14, 17]. Mơ hình 3D giúp quan sát đối tượng nhiều gĩc độ khác nhau, từ tổng thể chi đến chi tiết và cho phép phân tích đối tượng theo nhiều tiêu chí khác nhau. Đã cĩ nhiều phương pháp, cơng cụ để tái tạo mơ hình, mẫu vật bằng nhiều cách khác nhau như sử dụng máy quét, chụp cộng hưởng từ, tái tạo từ một hay nhiều ảnh 2D [2, 5, 9]. Các kết quả được sử dụng để trình diễn, phân tích, phân đoạn hay nhận dạng lại đối tượng, Vấn đề đặt ra hiện nay là nhu cầu số hĩa các đối tượng cổ nhằm bảo tồn di sản cao. Về lĩnh vực bảo tồn, phục dựng di sản văn hĩa vật thể, ứng dụng cơng nghệ 3D được coi là hướng tiếp cận tốt nhất để phục dựng các di vật, cổ vật hoặc những cơng trình kiến trúc nghệ thuật của di tích đã bị xuống cấp, hoặc bị hủy hoại bởi khí hậu và thời gian, bảo tồn và phát huy giá trị của di tích. Một số địa chỉ di sản nổi tiếng miền Trung Việt Nam như Bảo tàng Mỹ thuật Cung đình Huế, Bảo tàng Điêu khắc Chămpa - Đà Nẵng, các tượng cổ Tây Nguyên, Xuất phát từ nhu cầu thiết thực cần tái tạo các đối tượng 3D từ các di tích khảo cổ, phân tích và định danh các bộ phận trên đối tượng tái tạo nhằm phục vụ cơng tác tu bổ, bảo tồn và xây dựng cơ sở dữ liệu phục vụ cơng tác quản lý, chúng tơi nghiên cứu đề xuất hướng tái tạo mơ hình 3D từ tập ảnh chụp 2D và phân đoạn các bộ phận trên đối tượng 3D dựa vào phân tích đặc trưng của chúng. Kết quả thu được của bài báo bước đầu tái tạo và xác định mối quan hệ đặc trưng giữa các ảnh và mơ hình 3D, đồng thời là cơ sở để phân tích trưng ngữ nghĩa trên mơ hình 3D. Kết quả này cũng phục vụ trong quá trình số hĩa, lưu trữ và bảo tồn các di tích. Dữ liệu được thu thập từ các nguồn tượng cổ tại Bảo tàng Điêu khắc Chămpa Đà Nẵng và Di tích Thánh địa Mỹ Sơn phục vụ cho kiểm tra đánh giá phương pháp đề xuất. Cấu trúc bài báo bao gồm các phần chính như sau: Phần I giới thiệu tổng quan, phần II giới thiệu một số nghiên cứu liên quan đến tái tạo mơ hình 3D và phương pháp phân đoạn mơ hình 3D. Trong phần III đề xuất một phương pháp thu thập dữ liệu 2D để tái tạo mơ hình và kết hợp sử dụng phương pháp phân tích đặc trưng của tập điểm 3D trên cơ sơ pháp tuyến và độ cong bề mặt để phân đoạn mơ hình. Phần IV mơ tả kết quả thử nghiệm với 6 bộ dữ liệu tượng Chămpa và Mỹ Sơn và Phần V kết luận và thảo luận. II. CÁC NGHIÊN CỨU LIÊN QUAN Hiện nay, các phương pháp phổ biến đều kết hợp đồng thời giữa việc sử dụng máy quét hoặc cảm biến để tái tạo và phân tích mơ hình đối tượng 3D. Tuy nhiên các thiết bị này thường cĩ giá thành cao. Như [7] đưa ra một máy quét thời gian thực dựa trên máy quay phim và máy chiếu để tái tạo mơ hình đối tượng cho các di sản văn hĩa. Và [2, 13] đã đề xuất một phương pháp trên cơ sở chỉ khai thác các ảnh chụp. Một số tiếp cận khác tái tạo đối tượng 3D trên cơ sở từ tập ảnh được thu thập từ nhiều nguồn khác nhau của đối tượng, các phương pháp tái tạo phụ thuộc vào máy mĩc và chi phí thường lớn và nghiên cứu chỉ dừng ở mơ hình 3D tạo ra [6, 13] và khơng hỗ trợ cho việc phân tích các thành phần của đối tượng 3D sau khi tái tạo. Phương pháp phân đoạn đối tượng 3D cũng được nhiều nghiên cứu quan tâm cả về phương pháp và thuật tốn, kết quả đã được ứng dụng rộng rãi trong việc nhận biết các thành phần cấu thành nên đối tượng [11]. Trong nghiên cứu [19] sử dụng kỹ thuật gom cụm theo dịng quét để chia chúng vào các dịng đường cong tương tự nhau và biểu diễn bề
2. Lê Tiến Mẫu, Nguyễn Tấn Khơi, Romain Raffin 541 mặt của tập điểm. Với các phương pháp sử dụng đường cong bề mặt, dịng quét để phân cụm thường cĩ nhược điểm với bộ dữ liệu nhiễu. Một số phương pháp tái tạo và phân đoạn dựa vào máy quét và đo lường kết cấu bề mặt để phân đoạn như [19] và đã đề xuất phương pháp phân đoạn và tái tạo bề mặt địa hình dựa và thuộc tính và đặc trưng cục bộ của tập điểm láng giềng và kết hợp với phương pháp tạo lưới tam giác trên bề mặt tập điểm. Một số phương pháp thu thập dữ liệu như chụp ảnh cắt lớp, ảnh từ và phương pháp phổ biến trong tái tạo hiện nay đĩ là sử dụng máy scan. Những phương pháp trên thu được kết quả cĩ độ chính xác cao, tuy nhiên khĩ khăn do phải trang bị phương tiện, máy mĩc và phần mềm tương ứng. Các hướng tiếp cận tái tạo và số hĩa dữ liệu từ thiết bị thương mại thường cĩ chi phí cao, khơng cĩ tính mở để phân tích và xử lý đối tượng sau khi xử lý. Phương pháp tái tạo đối tượng 3D từ tập ảnh 2D được chụp từ nhiều gĩc độ khác nhau của thực thể đĩ, sau đĩ sử dụng các phép biến đổi hình học, phép chiếu, và các kỹ thuật tái tạo đối tượng 3D để tạo nên hình ảnh 3D của thực thể. Để thực hiện được điều này, ta cần phải trích chọn được tập điểm đặc trưng của mỗi bức ảnh 2D và so khớp các điểm đặc trưng của tập ảnh 2D với nhau. Điều này quyết định độ chính xác của mơ hình 3D được tái tạo. Trong bài báo này chúng tơi tiếp cận theo hướng sử dụng chụp ảnh 2D cho các đối tượng để tái tạo đối tượng 3D, sau đĩ tiến hành phân đoạn dựa vào các đặc trưng, tính chất hình học của đối tượng và phân tích đánh giá kết quả. III. PHƯƠNG PHÁP ĐỀ XUẤT Trong bài báo chúng tơi đề xuất phương pháp tái tạo mơ hình 3D từ tập dữ liệu ảnh 2D chụp được và phân mảnh các bộ phận trên đối tượng dựa theo các phân tích đặc trưng hình học. Phương pháp đề xuất bao gồm 3 bước chính, được mơ tả như hình 1. Bước 1: Thu thập và tiền xử lý dữ liệu liên quan đến việc tái tạo mơ hình 3D cho đối tượng. Giai đoạn này dữ liệu được thu nhận bằng cách chụp ảnh vịng quanh đối tượng. Bước 2: Tiến hành thực hiện phân tích các đặc trưng bất biến của ảnh, so khớp các điểm, thuộc tính bất biến. Kế tiếp xác định lại vị trí từng ảnh chụp để lập bản đồ độ sâu của ảnh và tái tạo mơ hình 3D cho đối tượng. Bước 3: Phân tích thuộc tính hình học cho đối tượng 3D được tái tạo. Các thuộc tính này bao gồm vectơ pháp tuyến, độ cong của điểm ảnh dựa vào phương pháp phân tích thành phần chính và mặt phẳng tiếp tuyến cục bộ. Dựa trên tập dữ liệu hình học của đối tượng, bài báo sử dụng thuật tốn mở rộng vùng để gom cụm và nhĩm các điểm cĩ những đặc trưng tương tự nhau thành từng cụm và đánh dấu. PHÂN MẢNH THU THẬP TÁI TẠO ĐỐI TƯỢNG DỮ LIỆU ẢNH MƠ HÌNH 3D 3D Hình 1. Các giai đoạn xử lý chính A. Bước 1: Thu thập và tiền xử lý dữ liệu ảnh 2D Dữ liệu được thu thập và sử dụng trong quá trình thử nghiệm bằng cách chụp ảnh xung quanh các tượng, cĩ thể sử dụng các máy ảnh thơng thường để chụp ảnh. Chúng tơi đã tiến hành khảo sát lựa chọn một số tượng tiêu biểu tại Bảo tàng Điêu khắc Chăm Đà Nẵng và Khu Di tích Thánh địa Mỹ Sơn để tiến hành tạo dữ liệu ảnh 2D. Hình 2. Vị trí của camera khi chụp ảnh thu thập dữ liệu Yêu cầu kỹ thuật trong quá trình chụp ảnh đĩng vai trị quan trọng trong kết quả tái tạo. Để nâng cao độ chính xác, từng cặp ảnh chụp gần nhau phải cĩ chung vùng dữ liệu, máy ảnh cần được thiết lập các tham số như độ sáng, tiêu cự, khẩu độ và tốc độ hạn chế thay đổi [13]. Hình 3 minh họa một số ảnh 2D được chụp liên tiếp xung quanh một pho tượng đối tượng tại Bảo tàng Điêu khắc Chămpa Đà Nẵng.
3. 542 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH Hình 3. Các ảnh chụp liên tiếp xung quanh Tượng Mỹ Sơn để thu thập dữ liệu B. Bước 2. Xử lý và tái tạo mơ hình 3D Tái tạo 3D từ nhiều ảnh là quá trình tạo ra mơ hình 3D dựa trên thơng tin phân tích từ tập các ảnh này. Đây là một quá trình xử lý ngược thu ảnh 2D từ cảnh 3D. Bản chất của một hình ảnh là một phép chiếu từ một cảnh 3D trên một mặt phẳng 2D, trong suốt quá trình xử lý thì độ sâu của cảnh được loại bỏ. Điểm 3D tương ứng với một điểm ảnh được giới hạn trên đường thẳng ngắm. Từ một ảnh đơn lẻ thì khơng thể xác định được điểm trên đường thẳng tương ứng đến điểm ảnh. Nếu cĩ 2 ảnh, như vậy vị trí của một điểm 3D cĩ thể được tìm thấy như giao điểm của hai tia chiếu. Việc xử lý này được đề cập như đỉnh hai cạnh của tam giác. Để tái tạo 3D từ tập ảnh bài báo đã sử dụng thư viện của [13] và kết hợp phương pháp truy vết ngược để xác định mối liên hệ giữa tập điểm đặc trưng bất biến của tập ảnh 2D và mơ hình 3D tương ứng. 1. Xác định tập điểm đặc trưng bất biến: Để phát hiện các điểm bất biến tương ứng cho tập ảnh, bài báo sử dụng thuật tốn SIFT (Scale-Invariant Feature Transform). Ý tưởng chính của thuật tốn này là từ ảnh dữ liệu 2D, tìm ra các điểm ảnh đặc biệt (feature point hay keypoint) [4]. Để phân biệt các điểm ảnh đặc biệt với nhau, ta sử dụng tham số mơ tả (descriptor) cho từng điểm ảnh, đây là một chuỗi số gồm 128 số ứng với vector 128 chiều. Các điểm ảnh đặc biệt khác nhau thì sẽ cĩ giá trị tham số mơ tả. Sau khi áp dụng biến đổi SIFT, ứng với mỗi keypoint, thu được giá trị keypoint, giá trị descriptor và giá trị scale và orientation của keypoint. Hình 4 biểu diễn kết quả xác định tập điểm đặc trưng bất biến trên hai ảnh. Quá trình phát hiện các điểm bất biến theo thuật tốn thuật tốn SIFT được mơ tả như sau: 1) Tìm cực trị trong khơng gian đo, được xác định bởi hàm khơng gian tỷ lệ của ảnh Lxy(, ,σ ) và được xác định tích chập giữa hàm Gaussian và ảnh gốc Ixy(, ) Lxy(, ,σσ )= Gxyk (, , )*(, Ixy ) (1) −+()xy22 1 2 trong đĩ: Gxyk(, ,σ )= e 2σ ; I (x, y): Ảnh đầu vào; 2πσ 2 L(x, y, σ): Hàm khơng gian tỷ lệ của ảnh; σ: tham số tỷ lệ Để xác định điểm đặc trưng bất biến, là những điểm ít phụ thuộc vào giá trị co giãn và xoay ảnh, thuật tốn đã sử dụng hàm DoG (Difference-of-Gaussian) để tính tốn sự sai khác giữa hai khơng gian đo, hàm được ký hiệu D(x, y, σ) và được xác định như sau: Dxy(, ,σ )= (G(,, xyk σσ ) − G(,, xy ))*I(,) xy =− Lxyk (, , σσ ) Lxy (, , ) (2) 2) Lọc loại bỏ các điểm tương phản kém, các điểm dư thừa theo biên và chỉ trích xuất các điểm đặc trưng tiềm năng. 3) Gán hướng cho các điểm đặc trưng (với mỗi mẫu ảnh L(x, y), gọi hai giá trị mxy( , ),θ (x, y) tương ứng là độ dốc và hướng được xác định: mxy(, )= (( Lx + 1,) y − Lx ( − 1,)) y22 + ((, Lxy +− 1) Lxy (, − 1)) (3) −1 Lxy( ,+− 1) Lxy ( , − 1) θ (xy , )= tan  (4) Lx(+ 1, y ) −− Lx ( 1, y ) 4) Mơ tả, gán tọa độ kích thước các điểm đặc trưng. Sau khi thu thập các tập điểm đặc trưng của mỗi ảnh, sử dụng phương pháp đối sánh mỗi cặp điểm để xác định cặp điểm tương đồng cho mỗi cặp ảnh. Hình 4 minh họa cặp điểm tương đồng giữa 2 ảnh. Hình 4. Điểm đặc trưng tương đồng của 2 ảnh
4. Lê Tiến Mẫu, Nguyễn Tấn Khơi, Romain Raffin 543 Kết quả của giai đoạn này thu được tập điểm đặc trưng tương ứng cho mỗi ảnh và cặp ảnh. Đây là cơ sở để xác định hướng và vị trí tương đối của ảnh được chụp và cung cấp thơng tin cho giai đoạn tái tạo đối tượng 3D tiếp theo. 2. Xác định hướng các ảnh từ tập điểm đặc trưng: Ở giai đoạn này ta cần xác định hướng và vị trí đặt của camera của các ảnh từ tập điểm đặc trưng bất biến và các cặp điểm tương đồng của mỗi cặp ảnh. Do tập các ảnh thu được từ các vị trí và hướng khác nhau của mỗi gĩc chụp, các điểm đặc trưng cung cấp các thơng tin hữu ích trong việc xác định vị trí và hướng của ảnh tương ứng với gĩc chụp. Chúng tơi đề xuất sử dụng phương pháp xác định hướng của các ảnh với một ảnh chính, phương pháp này cĩ hai giai đoạn chính được mơ tả [1, 13] như sau: 1) Chọn một ảnh chính, thực hiện đệ quy ghép cặp từng ảnh với ảnh chính; hướng của một ảnh thu được tốt nhất khi được xác định bởi ma trận đồng nhất và giảm tỉ lệ ảnh bằng thuật tốn RANSAC. Với mỗi bước thực hiện phải được điều chỉnh để tránh việc tích lũy lỗi. 2) Tính tổng bình phương bé nhất cho tất cả các tham số, trên các điểm đặc trưng của ảnh lỗi của một giải pháp trước đĩ. Trong đĩ, một ảnh lỗi của một điểm là sự sai khác giữa tọa độ của một điểm đặc trưng và phép chiếu ngược của nĩ trên một ảnh. Kết quả của quá trình này cho phép rút trích các thơng tin về hướng và vị trí của máy ảnh từ các ảnh dữ liệu. Hình 5 mơ tả các vị trí đã được chụp ảnh, được tái hiện trên mơ hình 3D. Hình 5. Rút trích thơng tin các vị trí ảnh thu được trong quá trình chụp 3. Tái tạo vật thể 3D từ tập dữ liệu 2D: Tái tạo và thu thập dữ liệu 3D là quá trình tạo ra các mơ hình 3D, đây là giai đoạn phục hồi thơng tin độ sâu cho tập các điểm ảnh đặc trưng. Ta cần xây dựng bản đồ độ sâu của ảnh chứa các điểm ảnh (pixel) được biểu diễn độ sâu tương ứng với điểm nhìn 3D từ điểm nhìn của một ảnh chính. Từ tập bản đồ độ sâu được chuyển đổi trực tiếp sang tập điểm 3D tương ứng, mỗi điểm 3D sau khi tái tạo luơn được liên kết với một điểm ảnh trong ảnh tương ứng. Từ đĩ ta cĩ được một bản đồ hệ số tương quan giữa các cặp ảnh để tính tốn độ sâu cho mỗi điểm ảnh trong bản đồ độ sâu. Các bước xử lý chính của quá trình tái tạo vật thể 3D từ tập dữ liệu 2D [1, 13, 10] được mơ tả như sau: 1) Chọn hướng và vị trí của camera thu được từ giai đoạn xử lý trước đĩ và xác định ảnh phù hợp; 2) Tính tốn đo lường cho mỗi điểm cĩ khả năng trong khơng gian (đĩ là tổng của các hệ số tương quan cho mỗi cặp ảnh); 3) Trích xuất bề mặt đối tượng bằng cách tiếp cận năng lượng tối thiểu trên tồn bộ khơng gian và làm mịn theo một thứ tự để đồng nhất bề mặt đối tượng. Kết quả của giai đoạn này là tập điểm 3D mỗi điểm 3D được tạo từ tập điểm bất biến SIFT và chứa thơng tin độ sâu cho mỗi điểm ảnh. Từ các tập điểm này cho phép mơ tả hình dạng, cấu trúc của đối tượng trong khơng gian. C. Bước 3: Phân mảnh trên đối tượng 3D 1. Tính độ cong và pháp tuyến trên tập điểm 3D: Tập điểm của một mơ hình 3D được tái tạo từ các đối tượng là tập điểm khơng cĩ cấu trúc và giữa chúng các điểm khơng cĩ mối liên hệ lẫn nhau về mặt hình học, như giá trị độ cong bề mặt, pháp tuyến của một điểm trên tập điểm. Từ đĩ là cơ sở để phân đoạn, phân tích đối tượng 3D. Độ cong, pháp tuyến của một điểm trên bề mặt của một tập điểm được tính theo phương pháp xấp xỉ bề mặt sử dụng một tập các điểm láng giềng [12, 16, 18]. Giá trị của độ cong và pháp tuyến của điểm thể hiện tích chất, thuộc tính cục bộ của điểm đĩ trên bề mặt, của một vùng cục bộ. Dựa trên kết quả tính tốn, cho phép phân tích tính chất hình học của các đối tượng 3D. Cho = { , , }, = 1, là tập điểm 3D trong khơng gian của mơ hình đối tượng, gọi pq là một điểm bất kỳ trong tập điểm P, ta cĩ = { , , }, = 1, được gọi là k điểm láng giềng của p . Sử dụng phương pháp bình 푖 푖 푖 q phương bé nh푃 ất để xác đ ịnh푖 mặt� �ph�� �ẳng tiếp tuyến cục bộ [18, 9], nghĩa là bề mặt tiếp tuyến của k điểm láng giềng. Mặt 푖 푖 푖 ����� phẳng tiếp tuyến S được 푃xác định thơng qua푖 mộ t điểm x và một vectơ pháp tuyến , với các điểm pi∈ Pk, thì khoảng cách từ pi đến mặt phẳng S được xác định theo cơng thức: = ( ) 푛�⃗ 푖 푖 − ∙ 푛�⃗
5. 544 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH Nếu giá trị = 0 thì mặt phẳng tiếp tuyến S nhận được giá trị khớp nhất so với tập k điểm láng giềng. Để xác định giá trị vectơ chúng ta cần phân tích giá trị riêng λ ∈ và vectơ riêng vjj , (= 0,1, 2) của ma trân hiệp phương 푖 j 33x sai C được푛�⃗ tạo thành từ một tập các điểm như (6): k 1 푖 T C =∑ (pii −− p)∈. (p푃 p) (5) k i=1 1 k trong đĩ, p là tâm của tập điểm láng giềng P , k là số điểm của láng giềng : pp= . k ∑ i k i=1 푖 Giá trị của vectơ riêng v0 tương ứng với giá trị riêng λλ0j= min( ),(j = 0,2) , giá trị của vectơ riêng tương ứng với vectơ pháp tuyến của bề mặt. Gọi = {c12 ,c , ,c N } với ci là độ cong của điểm pi được tính như (6), 푛�⃗ 2 c = i λλ0 ∑ j ,iN= 1, (6) j=0 Kết quả ở giai đoạn này là pháp tuyến và độ cong của mỗi điểm trong tập điểm 3D được xác định, các giá trị này sẽ được sử dụng như là giá trị khởi tạo trong việc phân đoạn mơ hình ở giai đoạn kế tiếp. 2. Phân đoạn đối tượng 3D: Ý tưởng của thuật tốn phân đoạn đối tượng 3D là tạo ra các cụm riêng biệt mỗi cụm được tách, đánh dấu hay gán nhãn trên cơ sở nhĩm các điểm cĩ cùng thuộc tính, tính chất. Để xác định thuộc tính của từng điểm chúng tơi dựa vào các đặc trưng của chúng, trong báo cáo dựa vào hai giá trị đĩ là độ cong và vectơ pháp tuyến tương ứng của mỗi điểm trong tập điểm. Kết quả, đầu ra của thuật tốn này là tập hợp các cụm, mỗi cụm là một tập hợp các điểm được coi là một phần của đối tượng. Nếu xét tính tương đối thì mỗi cụm sẽ cĩ cùng một thuộc tính, tính chất bởi vì trong mơ hình đối tượng 3D các giá trị của chúng khơng bằng nhau. Giả sử để phân đoạn tập điểm của một mơ hình 3D của thành cụm = { , , , } và mỗi cụm thỏa một số điều kiện cơ bản của thuật tốn phân cụm như: 1 2 푃 m 푅 푅 푅 푅  Ri =P (a) i=1 i = 1,m (b) Ri là cụm thứ i, R R=  , i j (c) ij i = 1,m (d) P(Ri)=True P(R R )=False,  i j (e) ij Trong đĩ, tính chất (a) hợp tất các các điểm của các cụm thuộc tập điểm 3D, P(Ri) các điểm trong một cụm cĩ cùng thuộc tính, tính chất. Chúng tơi sử dụng giá trị của pháp tuyến và độ cong của mỗi điểm trong P để xác định cụm tương ứng cho từng điểm. Ý tưởng của thuật tốn [9] là chọn một điểm bất kỳ được xem tìm năng và thêm vào hàng đợi. Với mỗi triển vọng được chọn tìm tất cả các điểm láng giềng tương ứng của chúng. Với mỗi điểm láng giềng tìm được kiểm tra gĩc tạo bởi pháp tuyến của nĩ với pháp tuyến điểm tiềm năng. Nếu gĩc tạo bởi chúng nhỏ hơn một ngưỡng αth thì thêm đĩ vào cụm đang xét. Sau đĩ với mỗi điểm láng giềng kiểm giá trị độ cong, nếu giá trị độ cong nhỏ hơn một ngưỡng cth thì thêm điểm đang xét vào hàng đợi tiềm năng và cuối cùng loại bỏ đang xét ra khỏi hàng đợi. Trong đĩ gĩc tạo bởi vectơ   cos-1 (n,n ) pháp tuyến của bề mặt và điểm tiềm năng được xác định theo cơng thức: x th . Các bước của thuật tốn phân đoạn đối tượng 3D được mơ tả như sau: Đầu vào: Tập điểm 3D, tập vectơ pháp tuyến, tập giá trị độ cong, ngưỡng độ cong trung bình, gĩc ngưỡng αth. Đầu ra: Các cụm điểm ảnh được tơ màu đánh dấu cùng phân đoạn. Mơ tả thuật tốn: 1) Khởi tạo tập cụm rỗng, hàng đợi L gồm tập điểm 3D. 2) Chọn một điểm Pmin cĩ giá trị độ cong nhỏ nhất trong tập điểm L, đưa vào cụm đang xét và loại bỏ điểm đĩ trong hàng đợi L. 3) Tìm k điểm láng giềng của điểm Pmin , tính gĩc tạo bởi pháp tuyến của điểm Pmin vừa chọn với các điểm láng giềng. Nếu gĩc tạo bởi pháp tuyến điểm Pmin được chọn và điểm láng giềng nhỏ hơn ngưỡng αth thì chọn điểm láng giềng đĩ vào cụm đang xét. Nếu giá trị độ cong của điểm đang xét nhỏ hơn ngưỡng cth thì điểm được chọn vào một hàng đợi K. 4) Lặp lại bước (3) cho đến khi hàng đợi K rỗng. 5) Tạo cụm mới và lặp lại bước (2) cho đến khi giá trị trong tập điểm L rỗng.
6. Lê Tiến Mẫu, Nguyễn Tấn Khơi, Romain Raffin 545 Kết quả sau khi thực hiện thuật tốn ta cĩ được tập điểm gom cụm và gán nhãn tương ứng. Ở đây chúng tơi gán màu đặc trưng cho mỗi cụm Ri thu được nhằm phân biệt giữa các cụm khác nhau. IV. KẾT QUẢ THỬ NGHIỆM Để thử nghiệm với phương pháp đã đề xuất chúng tơi tiến hành khảo sát và chụp ảnh xung quanh các pho tượng thực tế từ Bảo tàng Điêu khắc Chămpa ở Đà Nẵng và Khu Di tích Mỹ Sơn ở Quảng Nam. Thơng tin tập dữ liệu ảnh chụp được như bảng 1, từ dữ liệu đĩ bài báo tiến hành tái tạo các mơ hình tương ứng. Trong Bảng 1 thống kê số ảnh đã được chụp và thu nhận trên mỗi đối tượng và một số dữ liệu mẫu được sử dụng trong quá trình tái tạo. Bảng 1. Thống kê số điểm 3D và số cụm thu được sau khi phân đoạn STT Tượng Số ảnh chụp Số điểm 3D Số cụm được phân đoạn 1 Nữ thần Shiva 20 170601 39 2 Phụ nữ Việt Nam scan 125432 17 3 Tượng Mỹ Sơn 37 216719 48 4 Tượng Chămpa 25 244694 30 5 Phù điêu Vishnu 35 284119 16 6 Nữ thần Siva 27 204693 37 Dựa vào phương pháp đề xuất, quá trình thực nghiệm bao gồm hai giai đoạn xử lý chính. Ở giai đoạn thứ nhất, thực hiện tái tạo mơ hình 3D tương ứng với từng bộ dữ liệu ảnh mẫu. Hình 6a hiển thị các ảnh chụp với các vị trí chụp khác nhau quanh tượng nữ thần Shiva tại Bảo tàng Điêu khắc Chămpa Đà Nẵng và mơ hình 3D được tái tạo (Hình 6b). (a) Một số ảnh chụp với vị trí khác nhau của tượng Nữ thần Shiva (b) Kết quả tái tạo 3D tượng Nữ thần Shiva với các gĩc nhìn khác nhau Hình 6. Dữ liệu ảnh chụp và mơ hình tái tạo 3D tượng Nữ thần Shiva Hình 7a hiển thị các ảnh chụp với các vị trí chụp khác nhau quanh tượng ở Khu Di tích Thánh địa Mỹ Sơn - Quảng Nam và mơ hình 3D được tái tạo (Hình 7b). (a) Dữ liệu ảnh 2D của tượng Thần ở Khu Di tích Thánh địa (b) Kết quả tái tạo 3D tượng Thần với các gĩc nhìn khác nhau Mỹ Sơn chụp từ nhiều vị trí khác nhau. Hình 7. Dữ liệu ảnh chụp và mơ hình 3D tái tạo Tượng Mỹ Sơn Ở giai đoạn thứ hai, thực hiện phân mảnh trên đối tượng 3D tái tạo được. Với mỗi tập điểm 3D của các đối tượng tiến hành xác định độ cong, vectơ phát tuyến tương ứng cho mỗi điểm trong mơ hình với bộ tham số được sử dụng như [9], [18], [16]. Kết quả thử nghiệm thu được sau khi phân đoạn tương ứng như Bảng 2, mơ tả số điểm đã thu được sau khi tái tạo mơ hình, trong đĩ tượng cơ gái Việt nam được sử dụng máy quét (scan) để thu nhận mơ hình 3D, cột thứ tư cho biết số cụm đã thu được sau khi phân đoạn. Hình 8 trình bày kết quả phân đoạn cho 6 đối tượng 3D được tái tạo (Bảng 2). Kết quả phân mảnh cho từng đối tượng được trình bày trên từng cột, mỗi màu trên mơ hình là một cụm được nhận dạng.
7. 546 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH Tượng Mỹ Sơn Tượng Chămpa Tượng Nữ thần Shiva Phù điêu Vishnu Phụ nữ Việt Nam Tượng nữ Thần Siva Hình 8. Kết quả phân mảnh cho 6 mơ hình 3D được tái tạo Từ kết quả thực nghiệm như trên hình 8 cho thấy đã phân mảnh được các bộ phận của đối tượng 3D. Mỗi bộ phận trên đối tượng được xác định bằng tập điểm cùng màu và cĩ các đường viền. Từ đĩ ta cĩ thể trích xuất được các mảnh 3D riêng để thực hiện trình diễn, quan sát, lắp ghép, Tuy nhiên các tập điểm thu được cĩ các giá trị nhiễu nhiều, đĩ là lý do tạo ra nhiều phân mảnh nhỏ. Do đĩ cũng cần thêm các bước xử lý như gộp các mảnh nhỏ vào mảnh lớn hơn. Kết quả phân mảnh cũng phụ thuộc vào hình dạng của đối tượng được lấy mẫu. Như kết quả giữa Phù điêu Vishnu và các tượng khác, bề mặt của tượng mịn ít nhiễu kết quả thu được phân hoạch rõ ràng số cụm thu được nhỏ. Tương tự, tượng Phụ nữ Việt Nam được scan để tạo mơ hình, kết quả phân mảnh các bộ phận thân hình, đầu, tĩc được rõ và chi tiết. Nhưng với tượng nữ thần Shiva cĩ nhiều chi tiết nhỏ nên dữ liệu bị nhiễu nhiều và kết quả phân mảnh thu được nhiều mảnh nhỏ, khơng liên tục. V. KẾT LUẬN VÀ THẢO LUẬN Kỹ thuật số hĩa các đối tượng cổ nhằm bảo tồn di sản cao cho phép thu thập hình ảnh cơng trình, hiện vật trong khơng gian ba chiều với mọi chi tiết và tỷ lệ chính xác cao, được ứng dụng rộng rãi trong phục chế đúng theo kích thước, tỷ lệ, hình thức vốn cĩ. Trong bài báo này, chúng tơi giới thiệu và đề xuất một giải pháp kết hợp tái tạo mơ hình và phân đoạn trên đối tượng 3D. Trên cơ sở kết hợp xử lý đồng thời tái tạo mơ hình và phân đoạn trên đối tượng 3D. Kết quả bài báo bước đầu đã thu thập ảnh và tái tạo thành cơng một số tượng Chămpa cổ tại bảo tàng Đà Nẵng và di tích Mỹ Sơn. Đây là cơ sở để phân đoạn, nhận dạng và phân tích từng bộ phận trên các đối tượng phục vụ số hĩa lưu trữ và bảo tồn.
8. Lê Tiến Mẫu, Nguyễn Tấn Khơi, Romain Raffin 547 Hướng phát triển tiếp theo của chúng tơi theo cách tiếp cận này là là xử lý giảm nhiễu và làm mịn bề mặt để việc phân mảnh chính xác, phục vụ số hĩa và lưu trữ dữ liệu, tiếp tục tái tạo đối tượng 3D từ tập ảnh cho các đối tượng khác nhau từ dữ liệu ảnh được thu thập từ nhiều nguồn khác nhau tiến hành phân đoạn, nhận dạng và phân tích ngữ nghĩa, gán nhãn chú thích trên đối tượng 3D. Từ đĩ xây dựng bộ dữ liệu số hĩa cho các mơ hình đối tượng cụ thể và chú thích các đặc trưng của mơ hình 3D và tập ảnh thu được. TÀI LIỆU THAM KHẢO [1] “APERO: International Archives of the Photogrammetry”, Remote Sensing and Spatial Information Sciences, Volume XXXVIII-5/W16, 2011 ISPRS Trento 2011 Workshop, 2-4 March 2011, Trento, Italy. [2] Christian Lindequist Larsen, "3D Reconstruction of Buildings From Images with Automatic Fac¸ade Refinement", Master’s Thesis, Vision, Graphics and Interactive Systems, 2010. [3] C. Baillard, C. Schmid, A. Zisserman, and A. Fitzgibbon, "Automatic line matching and 3D reconstruction of buildings from multiple views", In ISPRS Conference on Automatic Extraction of GIS Objects from Digital Imagery, Volume 32, pp. 69-80, 1999. [4] David G. Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, Volume 60 Issue 2, November 2004. [5] Ding-Yun Chen and Ming Ouhyoung, "A 3D Object Retrieval System based on Multi-Resolution Reeb Graph". Proc. of Computer Graphics Workshop, 2002. [6] F. Windhager et al., "Visualization of Cultural Heritage Collection Data: State of the Art and Future Challenges," in IEEE Transactions on Visualization and Computer Graphics, Vol. 25, No. 6, pp. 2311-2330, 1 June 2019, doi: 10.1109/TVCG.2018.2830759. [7] Ishikawa, Ryoichi & Roxas, Menandro & Sato, Yoshihiro & Oishi, Takeshi & Masuda, Takeshi & Ikeuchi, Katsushi. “A 3D Reconstruction with High Density and Accuracy Using Laser Profiler and Camera Fusion System on a Rover”. 620-628. 10.1109/3DV.2016.70, 2016. [8] JC. Torres, G. Arroyo, C. Romo, "3D Digitization using Structure from Motion", CEIG-Spanish Computer Graphics Conference, 2012. [9] Jovancevic, Igor & Pham, Huy-Hieu & Orteu, Jean-José & Gilblas, Rémi & Harvent, J. & Maurice, Xavier & Brèthes, Ludovic. “3D Point Cloud Analysis for Detection and Characterization of Defects on Airplane Exterior Surface”. Journal of Nondestructive Evaluation. 36. 10.1007/s10921-017-0453-1, 2017. [10] Jebara, Tony, Ali Azarbayejani, and Alex Pentland. "3D structure from 2D motion, Signal Processing Magazine", IEEE 16.3, pp. 66-84, 1999. [11] Lin, Xiangguo & Zhang, Jixian. “Segmentation-Based Filtering of Airborne LiDAR Point Clouds by Progressive Densification of Terrain Segments”. Remote Sensing. 6. 1294-1326, 2014. [12] M. Le-Tien, K. Nguyen-Tan and R. Raffin, "A Method to Determine the Characteristic of Object Based on 2D/3D Correspondance", IEEE-RIVF International Conference on Computing and Communication Technologies (RIVF), Danang, Vietnam, 2019. [13] MicMac, Apero, Pastis and Other Beverages in a Nutshell, 2015. [14] SF. El-Hakim, JA. Beraldin, M. Picard, "Detailed 3D reconstruction of large-scale heritage sites with integrated techniques", Computer Graphics and Applications, IEEE Volume 24, Issue 3, pp. 21-29, 2004. [15] Park, Hyun Soo, et al, "3D Trajectory Reconstruction under Perspective Projection", International Journal of Computer Vision, pp. 1-21, 2015. [16] Pauly, M., Gross, M., Kobbelt, L. P.: “Efficient simplification of point-sampled surfaces”. In: Proceedings of the conference on Visualization’02, pp. 163-170. IEEE Computer Society, 2002. [17] Rodríguez-Gonzálvez, P.; Muđoz-Nieto, A. L.; del Pozo, S.; et al. “4D Reconstruction of Cultural Heritage Sites”. In Latest Developments in Reality-Based 3D Surveying and Modelling; MDPI: Basel, Switzerland, pp. 119-140, 2018. [18] Rusu, R. B., Cousins, S.: “3D is here: Point Cloud Library (PCL)”. In: IEEE International Conference on Robotics and Automation (ICRA). Shanghai, China, 2011. [19] S. Filin, “Surface clustering from airborne laser scanning data”. International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences, pp.117124, 2001. [20] Y. Li, X. Wu, Y. Chrysathou, A. Sharf, D. Cohenor, N.J. Mitra, “Globfit:Consistently fitting primitives by discovering global relations”. ACMTrans. Graph, 2013.
9. 548 TÁI TẠO VÀ PHÂN MẢNH CÁC BỘ PHẬN TRÊN MƠ HÌNH 3D TỪ TẬP ẢNH 3D RECONSTRUCTION AND SEGMENTATION FROM IMAGES Le Tien Mau, Nguyen Tan Khoi, Romain Raffin ABSTRACT - This paper aims at presenting a method of segmentation of 3D objects. This object is reconstructed based on a 2D image dataset that was captured around the 3D object in the real world. After the reconstruction phase is complete, we proceed to segmentation into 3D model parts. The proposed method is composed of two main steps: analyzing the features of invariant points set from the image data set, calculating image direction and reconstructing 3D model; the next step is reconstruction of 3D model and determine curvature of the 3D object based on the 3D point normal on this object. Results after segmentation will be used to analyze and evaluate 3D objects, identify segments on this object in order to use in the field of restoration of archaeological relics, applications in medical image analysis, object identification, 3D printing technology, etc. We collected data from the Museum of Cham Sculpture in Da Nang and the My Son relic in Quang Nam to experiment with the proposed method.