Nhận dạng vị trí tải trên cầu trục container bằng camera

Nội dung text: Nhận dạng vị trí tải trên cầu trục container bằng camera

1. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071 Nhận dạng vị trí tải trên cầu trục container bằng camera Load Position Detection of Container Crane Using Camera Ngô Quang Hiếu*, Lê Văn Lẻ, Nguyễn Hữu Quang, Trương Quốc Bảo, Nguyễn Hữu Cường Đại học Cần Thơ, Cần Thơ, Việt Nam *Email: nqhieu@ctu.edu.vn Tóm tắt Trong nghiên cứu này, nhóm tác giả đề xuất một giải thuật xử lý ảnh để xác định độ dài dây của cầu trục container (khoảng cách từ hệ camera đến vị trí ngàm kẹp container) và góc lắc của ngàm kẹp container làm cơ sở cho việc thiết kế thuật toán điều khiển chống lắc cho cầu trục container. Giải thuật xử lý ảnh bao gồm các bước chính: chuyển đổi từ không gian màu BGR sang không gian màu HSV, nhị phân ảnh nhằm trích xuất vùng đối tượng đã được đánh dấu (marker). Tiếp theo, kỹ thuật dò biên Canny và xác định đường bao được áp dụng để xác định vị trí của các điểm được đánh dấu trên ngàm kẹp container. Cuối cùng, tâm của các điểm đánh dấu được xác định và được sử dụng để tính toán khoảng cách từ hệ camera đến vị trí ngàm kẹp container. Độ chính xác của giải thuật xác định khoảng cách là 99,79%, đáp ứng được yêu cầu đo đạc cho điều khiển. Từ khóa: Xử lý ảnh, độ dài dây, cầu trục container, điểm định vị, góc lắc. Abstract In this study, the authors proposed an image processing algorithm to detect (measure) the rope length of container crane (distance from camera system to container spreader) and sway angle of the spearder (container). This measurement will be the main input to design the anti-sway control system for container cranes. The image processing algorithm includes the main steps: converting from BGR color space to HSV color space, then, binary image is used to extract the marker area. Next, the Canny boundary detection technique is applied to determine the boundary of the markers in the container spreader. The center location of each marker is determined and used to calculate the distance from the camera system to the container spreader is calculated. The rope length accuracy by the image processing algorithm is 99,79%. It is satisfied for crane control purpose. Keywords: Image processing, rope length detection, container crane, marker, sway angle. 1. Giới thiệu1 tự động hóa, thông minh ở một số quốc gia phát triển trên thế giới với nhiều công trình nghiên cứu liên Tại các cảng biển, việc rút ngắn thời gian chờ tàu quan. Tuy nhiên, các nghiên cứu như vậy ở Việt Nam và bốc dỡ hàng hóa đóng vai trò quan trọng nhằm tăng là rất hạn chế. Các nghiên cứu chỉ dừng lại ở đề xuất hiệu xuất làm việc và tiết giảm chi phí cho doanh sử dụng một hệ gồm nhiều camera khác nhau để thu nghiệp. Tuy nhiên việc bốc dỡ lại phụ thuộc hoàn toàn nhận thông tin ảnh độ sâu của đối tượng cần quan tâm, vào kinh nghiệm của người lái cầu trục, do đó một từ đó xác định vị trí cũng như kích thước container người lái cầu trục cần kinh nghiệm ít nhất 5 năm để [1][2][3]. Phần lớn các nghiên cứu này chỉ mới ở giai đạt năng suất bốc dỡ trung bình 30-35 container/giờ. đoạn mô phỏng, chưa xây dựng được một hệ thống áp Vấn đề khó khăn đặt ra cho người lái cầu trục đó là dụng thực tế. Riêng ở nước ta, các nghiên cứu áp dụng tầm quan sát bị hạn chế do ảnh hưởng bởi khoảng những ứng dụng này vẫn còn chưa phổ biến, chủ yếu cách, việc bốc dỡ một container ở khoảng cách là ở kinh nghiệm quan sát của người lái cầu trục, vì khoảng 30m là không hề dễ dàng. Việc nghiên cứu vậy nghiên cứu này là rất cần thiết và có ý nghĩa thực một hệ thống nhằm hỗ trợ người lái cầu trục xác định tiễn. vị trí của tải là hết sức cần thiết và có giá trị thực tiễn cao. Bài báo đề xuất một giải thuật xử lý ảnh mới để định vị, xác định khoảng cách từ hệ camera đến vị trị Hệ thống định vị, xác định khoảng cách từ hệ container và ước lượng góc lệch của hệ container so camera đến vị trí container cũng như tính toán góc lắc với phương ngang sử dụng các kỹ thuật xử lý ảnh. của container trong quá trình chuyển động đóng vai Đầu tiên, ảnh thu nhận được từ hệ thống sẽ được trò quan trọng trong việc hỗ trợ người lái cầu trục điều chuyển đổi từ không gian màu RGB sang HSV để xử khiển bốc dỡ container. Các hệ thống như vậy đang lý. Tiếp theo, tìm biên đối tượng với bộ lọc Canny, được phát triển và ứng dụng trong ngành công nghiệp tính diện tích đường bao của đối tượng để loại bỏ những vùng đối tượng nhiễu và tính khoảng cách từ hệ ISSN: 2734-9381 camera đến tâm đối tượng. Quy trình xử lý tổng quát của phương pháp được trình bày như trong Hình 1. Received: August 12, 2020; accepted: November 18, 2020 Mục tiếp theo của bài viết mô tả chi tiết nội dung thực 65
2. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071 hiện của phương pháp được đề xuất. Các kết quả thực nghiệm và thảo luận được trình bày trong Mục 3. Kết luận và các định hướng nghiên cứu tiếp theo được đưa ra trong Mục 4 của bài báo. 2. Thuật toán xử lý ảnh 2.1. Hệ thống quan sát và đèn hiệu nhận diện Với mục tiêu thu nhận hình ảnh hệ đèn hiệu đưa về máy tính xử lý nhận diện, ước lượng vị trí tâm cũng như khoảng cách từ hệ đèn hiệu đến hệ thống quan sát (Hình 2). Trong hệ thống này, chúng tôi thiết kế một giá đỡ cơ khí để hỗ trợ việc cố định camera Basler 1920-40gc và ống kính Basler f16mm, camera có khả năng xử lý và xác định hình ảnh với khoảng cách gần nhất từ hệ camera đến vật cần đo khoảng cách là 350cm. Đèn hiệu giúp hệ camera có thể nhận diện được lắp đặt trên khung chụp container gồm hai đèn tròn màu đỏ có đường kính 10 cm và đặt cách nhau Hình 1. Sơ đồ phương pháp ước lượng vị trí và hướng 83 cm tính tại tâm. của đối tượng 2.2. Phân đoạn ảnh Đây là một phương pháp cơ bản được sử dụng để phát hiện đối tượng dựa trên các thuộc tính màu của đối tượng [4]. Các bước tiếp theo của thuật toán sẽ được thực hiện và hiển thị cho thành phần Hue của không gian màu HSV [5]. Trong bước này hình ảnh được lọc trong phạm vi thiết lập bởi người dùng. Thiết lập bộ lọc đã được chuẩn bị để phát hiện màu của đối tượng. Ngõ ra của thuật toán, các điểm ảnh màu trắng là những điểm ảnh đáp ứng điều kiện của bộ lọc. Nhiều điểm ảnh nhỏ màu trắng có thể được nhìn thấy sẽ được xóa bỏ trong các bước tiếp theo của thuật toán (Hình 3). Sau đó, hàm Contours được áp dụng để tìm và lưu trữ các đường viền màu trắng từ hình ảnh ngưỡng. Tuy nhiên, nhược điểm là hàm findContours Hình 2. Hệ thống quan sát và đèn hiệu. tìm thấy bất kỳ đường viền màu trắng nào được tìm thấy trong hình ảnh ngưỡng. Các hoạt động hình thái (như xói mòn và pha loãng) có thể loại bỏ nhiễu. 2.3. Phân tích hình dạng Phân tích hình dạng là phân tích hình dạng hình Hình 3. Phân đoạn vùng đối tượng theo màu học của đối tượng quan tâm [6][7]; trong nghiên cứu này, phân tích độ tròn của phân vùng nhằm để tăng độ chính xác của việc nhận dạng đối tượng (Hình 4). Diện tích và chu vi của từng phân vùng cũng được ước tính. Tọa độ biên được sử dụng để ước tính diện tích và chu vi của từng phân vùng bằng cách trích xuất các hàm hình thái và biên. Giá trị độ tròn của từng Hình 4. Tìm đường biên của đối tượng phân vùng được xác định bởi công thức: 4π A R = i , (1) i p2 i trong đó, Ri, Ai, và pi lần lượt là giá trị độ tròn, diện Hình 5. Kết quả khử nhiễu tích và chu vi của từng phân vùng. Giá trị độ tròn bằng 1 cho hình tròn và nhỏ hơn 1 cho các hình dạng khác. 2.4. Xác định tâm đối tượng Sử dụng giá trị tính toán diện tích của từng phân vùng Sau khi tách được đối tượng ra khỏi nền và để loại bỏ nhiễu và giữ lại vùng đối tượng cần quan khoanh vùng đối tượng bằng đường bao quanh tâm (Hình 5). contours, tiếp theo ta tìm tâm của đối tượng, để xác 66
3. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071 định được tọa độ tâm của đối tượng ta phải tìm mô- 2.5. Ước lượng vị trí và hướng đối tượng men của phân vùng được quan tâm [8]. 2.5.1. Mô hình pinhole camera Phương trình toán của mô-men được biểu diễn Mô hình pinhole camera có bốn hệ tọa độ được như ở công thức (2) sử dụng: hệ tọa độ toàn cầu, hệ tọa độ camera, hệ tọa +∞ độ ảnh và hệ tọa độ điểm ảnh [9]. Trong các hệ tọa độ, µ = − n n ∫ ( x c) f( x) dx , (2) hệ tọa độ ảnh và điểm ảnh đều nằm trên mặt phẳng −∞ ảnh nhưng điểm góc và hướng tọa độ đều khác nhau. trong đó, có nth mô-men xung quanh điểm c. Khi ta Ảnh được thu thập bởi Baslar camera được chiếu lên xét trên không gian 2D, ta có hai biến độc lập để biểu các mặt phẳng ảnh. Đối với hệ tọa độ toàn cầu, mô diễn cho công thức (1). Vậy công thức được biểu diễn hình pinhole camera cần phải đáp ứng yêu cầu. Dựa lại như (3): trên định nghĩa của mô hình pinhole camera, điểm P trên tọa độ toàn cầu được chiếu lên mặt phẳng ảnh m n ( P′ ) thông qua hệ tọa độ camera. Theo lý thuyết về µmn, =−−( x cx) ( x cy) f( x, y) dxdy . (3) ∫∫ mô hình pinhole camera Ở đây, hàm f( xy, ) là một hàm liên tục. Vì vậy, x xf 000  c ta phải rời rạc hóa từng điểm ảnh theo công thức (4):    yc zy= 0 f 00, (11) ∞∞ c    n z m    c µmn, =∑∑( x −− cx) ( y cy) f( xy, ) . (4) 1  0 010  xy=00 = 1 Sau khi ta tính được vùng chứa ảnh nhị phân của trong đó, (x, y) là tọa độ vật lý của điểm P' dưới hệ tọa đối tượng, ta cần tính mô-men thứ 0. độ ảnh, và (,xyzc cc ,) là tọa độ điểm P dưới hệ tọa độ wh camera. Và f là trọng tâm của camera. Ảnh được lưu 00 µ0,0 = ∑∑xyf( xy, ) . (5) trữ trên máy tính dưới dạng số, Chúng ta tạo ra một hệ xy=00 = tọa độ điểm ảnh trên mặt phẳng ảnh. Như được trình Phương trình được viết lại như sau khi bỏ qua bài Hình 3, (,)uv là hệ tọa độ điểm ảnh được mô tả ở x0 ,và y0 trên. Mối liên hệ giửa hệ tọa độ ảnh và điểm ảnh được trình bày thông qua công thức wh µ = f( xy, ) . (6) 0,0 ∑∑ x   dyx0 −µ0 du  xy=00 =  =  −µ   y  0, dyy0 dv  (12) Để xác định tâm của ảnh đối tượng, ta cần tính 1   00 1 1  trên 2 trục tọa độ: trong đó, dx, dy mô tả số điểm ảnh trong kích thước µµ = 1,0 0,1 đơn vị vật lý. Để so sánh hệ tọa độ camera với hệ tọa centroid , . (7) µµ0,0 0,0 độ toàn cầu được thể hiện qua công thức như sau: Tổng số điểm ảnh cần xét sẽ được tổng hợp lại xxcw    và biểu diễn như sau: yyRt cw= , (13)   sum= xf( x,, y) zzcw01 x ∑∑ (8)   11  sumy = ∑∑ yf( x,. y) Sau đó, ta lấy trung bình bằng cách chia cho tổng với (,xyzw ww ,) là tọa độ của điểm P trong hệ tọa độ số điểm ảnh. toàn cầu. R là một mà trận xoay với kích thước 33× , t là ma trận dịch chuyển với kích thước 31× . Từ sum sumx y phương trình (1), (2), (3), mối quan hệ giữa hệ tọa độ µµ1,0 =,.0,1 = (9) µµ0,0 0,0 thế giới và điểm ảnh có thể bắt nguồn từ: Đối với các hàm trong OpenCV, thì tọa độ tâm xw ua  00µ  được tính như sau: x 0    Rt yw zv= 00 a v , (14) cy  0  = 01zw cx int( Mm[ " 10"] / Mm[ " 00"]) ,    (10) 1  0 0 10  1 cy = int( Mm[ " 01"] / Mm[ " 00"]) . Kết quả xác định tâm của đối tượng được thể hiện trong Hình 6. 67
4. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071  ff • Bước 7: Tạo vector pháp tuyến ′′ từ hai vector = = CN1 trong đó, aaxy, . Do đó, tọa độ p ' dễ dàng   ddxy CA′′ ′′ và CB′′ ′′ ; đạt được trên hệ tọa độ điểm ảnh từ hệ tọa độ toàn  ′′ cầu. • Bước 8: Tạo thêm một vector pháp tuyến CN2   ′′ ′′ ′′ 2.5.2. Ước lượng khoảng cách từ 2 vector CN1 và CB . Dựng hệ tọa độ Descartes NBN′′ ; Để xác định vị trí và hướng của đối tượng trên hệ 12 tọa độ toàn cầu ta cần truy vấn thông tin 2D được mô • Bước 9: Chiếu hệ tọa độ mục tiêu (container) lên tả phần trên. Xây dựng công thức ước lượng khoảng hệ tọa độ camera để đạt được ma trận xoay. cách có nghĩa là thiết lập một công thức mô tả mối quan hệ giữa độ lớn điểm ảnh và khoảng cách từ Cuối cùng, hệ thống đạt được thông tin chính xác camera đến đối tượng (Hình 7). Trong hệ tọa độ toàn về vị trí và hướng của container so với hệ tọa độ camera (Hình 10). Phép biến đổi của container đến cầu ( xyzw,, ww) , đường kính của đối tượng là L. Trong camera được thể hiện dưới dạng ma trận đồng nhất hệ tọa độ camera ( xyzc,, cc) , đường kính của đối C T0 (ma trận biến đổi từ camera đên đối tượng), tượng là l, tiêu cự là f, khoảng cách từ camera đến đối tượng cần tính là d. Dựa trên nguyên lý hình ảnh rrrt11 12 13 x  pinhole và tam giác đồng dạng, công thức dễ dàng Rt rrrt được xác định như sau: CT = = 21 22 23 y . (16) 0  01 rrrt31 32 33 z L  df= . (15) 0 0 01 l 2.5.3. Ước lượng vị trí và hướng Để dự ước lượng vị trí và hướng của đối tượng cho việc dự đoán quỹ đạo container, đầu tiên hệ thống xây dựng một mặt phẳng dự đoán bằng cách sử dụng phân đoạn mặt phẳng. Sau đó, một hệ tọa độ được xây dựng trên mặt phẳng dự đoán. Hình 8 cho thấy quy Hình 6. Xác định tâm đối tượng trình từng bước của thuật toán, mối quan hệ giữa các điểm mục tiêu và camera được thể hiện trong Hình 9. • Bước 1: Xác định tọa độ đối tượng trên ảnh RGB 2D. Bước này được hoàn thành bởi phương pháp nhận dạng ảnh và xác định tâm được mô tả phần trên; • Bước 2: Thu thập các điểm tương đối dựa trên tọa độ các điểm mục tiêu trên ảnh RGB 2D và chọn các tọa độ như A, B, và C. Tọa độ C là trọng tâm của 2 điểm A và B; • Bước 3: Lập bản đồ và thu thập thông tin 3D từ các điểm mẫu (A, B, và C) để tạo các điểm A′ , B′ và C′ tương ứng; • Bước 4: Tạo mặt phẳng dự đoán trong không gian 3D dựa trên các điểm A′ , B′ và C′ (có cùng giá trị trục z) sử dụng phương pháp phân đoạn mặt phẳng; • Bước 5: Sử dụng các điểm A′ , B′ và C′ để tạo các điểm A′′ , B′′ và C′′ tương ứng trên mặt phẳng dự đoán;   • Bước 6: Tạo hai vector CA′′ ′′ và CB′′ ′′ ; Hình 7. Sơ đồ nguyên lý ước lượng khoảng cách sử dụng camera đơn đến đối tượng 68
5. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071 Hình 8. Quy trình xây dựng hệ tọa độ để xác định ma trận xoay liên quan đến camera. Bảng 1. Kết quả đo đạc của hệ thống Tập ảnh Tập 1 Tập 2 Tập 3 Tổng Số lượng mẫu 28 29 28 85 Sai lệch trung bình (cm) 1,1 0,82 0,76 0,89 Hình 10. Kết quả xác định vị trí và hướng của container Sai số trung bình (%) 0,21 0,22 0,21 0,21 Độ chính xác trung bình 3. Kết quả nghiên cứu 99,79 99,78 99,79 99,79 (%) Để đánh giá hiệu quả của phương pháp đề nghị, chúng tôi cho tiến hành chạy hệ thống để đo khoảng cách từ hệ camera tới vị trí container với 85 giá trị, chia thành 3 tập dữ liệu tương ứng với 3 lần đo khác nhau, sau đó so sánh với kết quả thực tế đo được (Hình 11). Đồng thời tính toán sai số giữa giá trị khoảng cách của hệ thống đo được và thực tế (Hình 12). Bảng số liệu tổng hợp được trình bày ở Bảng 1. Khoảng cách và góc lệch theo thời gian được thay đổi giá trị để đánh giá đáp ứng của hệ thống, kết quả được trình bày trong Hình 13 và Hình 14. Thực nghiệm được tiến hành trên máy tính nhúng của hãng Cincoze, dòng máy DS-1000 với model DS-1102 được trang bị bộ vi xử lý Intel® Core™ i5-6500 cho xung nhịp 3,2Ghz-3,6Ghz, RAM 16GB, chạy hệ điều hành Window 10 và chương trình Visual Studio 2019 cùng mã nguồn mở OpenCV3.4.9. Hình 9. Mối quan hệ giữa các điểm mục tiêu và Ảnh được chụp theo chiều thẳng đứng từ trên cẩu trục camera. xuống vị trí container bằng máy ảnh công nghiệp 69
6. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071 Basler Ace acA1920-40gc kết hợp với ống kính Basler f16mm trong điều kiện ánh sáng ban ngày bình thường. Các ảnh thu được sẽ được tiến hành xử lý về dạng ảnh jpeg với độ phân giải 1200x800. Hình 15 minh họa kết quả thực nghiệm của hệ thống. Hình 15. Kết quả thực nghiệm hệ thống. 4. Kết luận Trong nghiên cứu này, chúng tôi đã đề xuất một giải thuật xử lý ảnh hiệu quả để phát hiện, xác định khoảng cách từ hệ camera đến vị trí container và góc Hình 11. Đồ thị so sánh kết quả đo được và thực tế lệch của marker đặt trên bề mặt container so với phương ngang. Kết quả của nghiên cứu này có thể là tiền đề để phát triển một hệ thống bốc dỡ container tự động. Kết quả thực nghiệm cho thấy độ chính xác trung bình của phương pháp đề xuất đạt được lên tới 99.79%. Vì vậy, có thể áp dụng cho bài toán phát hiện, xác định khoảng cách từ hệ camera đến vị trí container và góc lệch của marker đặt trên bề mặt container so với phương ngang. Trong tương lai, chúng tôi sẽ tiến hành nghiên cứu, phân tích phương pháp đề xuất, từ đó cải tiến giải thuật để làm giảm thời gian xử lý cũng như tăng độ chính xác. Đồng thời tiến hành thiết kế, thử nghiệm Hình 12. Đồ thị biểu diễn kết quả sai số. mô hình bốc dỡ container tự động. Lời cảm ơn Nghiên cứu này được tài trợ bởi Quỹ phát triển khoa học và công nghệ quốc gia (NAFOSTED) trong đề tài mã số “107.01-2017.320”. Tài liệu tham khảo [1] Li Da Wei, Eung-Joo Lee. Real-Time Container Shape and Range Recognition for Implementation of Container Auto-Landing System. Journal of Korea Multimedia Society 12 (6), 2009, pp. 794-803. [2] Hee-Joo Yoon, Young-Chul Hwang, Eui-Young Cha. Hình 13. Đáp ứng khoảng cách của hệ thống Real-time Container Position Estimation Method using Stereo Vision for Container Auto-Landing System. International Conference on Control, Automation and Systems, 2010, pp. 872-876. [3] Anh Viet Nguyen, Young-Yeol Cho, Eung-Joo Lee. Container Dimension Detection and 3D Modeling based on Stereo Vision. MIT, 2008, pp. 207-210. [4] Wang, Shikai. Color Image Segmentation based on Color Similarity. International Conference on Computational Intelligence and Software Engineering, 2009, pp. 1-4. [5] Tse-Wei Chen, Yi-Ling Chen, Shao-Yi Chien, Fast Image Segmentation based on K-Means Clustering with Histograms in HSV Color Space, IEEE 10th Hình 14. Đáp ứng góc lệch của hệ thống Workshop on Multimedia Signal Processing, 2008, pp. 322-325. 70
7. JST: Engineering and Technology for Sustainable Development Vol. 1, Issue 2, April 2021, 065-071 [6] Rafael C. Gonzalez, Richard E. Woods, Digital Image Yellow Head Virus Syndrome Recognition Processing, Pearson Prentice Hall, 2008. Application for Shrimp on an Embedded System. The Interdisciplinary Research Journal 6 (2), 2019, pp. 48- [7] Van Otterloo, Peter J, A Contour Oriented Approach 63. to Shape Analysis, New York Prentice Hall, 1991. [9] Kostas Daniilidis, Reinhard Klette, Imaging Beyond [8] Chi Cuong Tran, Dinh Tu Nguyen, Hoang Dang Le, the Pinhole Camera, Springer, 2006. Trong Hieu Luu, Quoc Bao Truong. Designing the 71