TRUY VẤN ẢNH SỬ DỤNG RS-TREE VÀ MẠNG HỌC SÂU R-CNN

Lê Thị Vĩnh Thanh, Nguyễn Thị Quỳnh Hương, Văn Thế Thành

Tóm tắt


 

Trong bài báo này, một mô hình tìm kiếm ảnh sử dụng cấu trúc RS-Tree và mạng học sâu Faster R-CNN được đề xuất nhằm nâng cao hiệu suất truy vấn ảnh. Trong mô hình này, các công việc sau được thực hiện: (1) cấu trúc RS-Tree được cải tiến thuật toán tách nút để nâng cao hiệu quả gom cụm các véc-tơ đặc trưng của tập ảnh đa đối tượng; (2) mạng học sâu Faster R-CNN được sử dụng để phát hiện và phân loại các đối tượng trên hình ảnh; (3) các hộp giới hạn chứa đối tượng trên ảnh được trích xuất đặc trưng cấp thấp và lưu trữ trên cấu trúc RS-Tree; Với mỗi ảnh đầu vào, hệ thống phát hiện và phân loại từng đối tượng bằng mạng học sâu Faster R-CNN; trích xuất véc-tơ đặc trưng cấp thấp; thực hiện truy vấn ảnh tương tự dựa trên cấu trúc RS-Tree. Thực nghiệm được thực hiện trên bộ ảnh đa đối tượng MS-COCO gồm 5000 ảnh với độ chính xác là 77.39%. Kết quả thực nghiệm được so sánh với các công trình khác trên cùng bộ ảnh nhằm đánh giá tính đúng đắn của mô hình đề xuất.

 


Từ khóa


clustering; image Retrieval; R-CNN; RS-Tree

Toàn văn:

PDF

Trích dẫn


Alfarrarjeh, A., Kim, S. H., Hegde, V., Shahabi, C., Xie, Q., & Ravada, S. (2020). A Class of R-tree Indexes for Spatial-Visual Search of Geo-tagged Street Images. 2020 IEEE 36th international conference on data engineering (ICDE).

Amitha, I., & Narayanan, N. (2021). Collaborative MSER and Faster R-CNN Model for Retrieval of Objects in Images. In Soft Computing for Problem Solving (pp. 673-682). Springer.

Babenko, A., & Lempitsky, V. (2015). Aggregating local deep features for image retrieval. Proceedings of the IEEE international conference on computer vision.

Begum, S. A. N., & Supreethi, K. (2018). A survey on spatial indexing. Journal of Web Development and Web Designing, 3(1).

Cao, Y., Long, M., Liu, B., & Wang, J. (2018). Deep cauchy hashing for hamming space retrieval. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.

Cao, Z., Long, M., Wang, J., & Yu, P. S. (2017). Hashnet: Deep learning to hash by continuation. Proceedings of the IEEE international conference on computer vision.

Chou, Y., Lee, D. J., & Zhang, D. (2016). Semantic-Based Brain MRI Image Segmentation Using Convolutional Neural Network. International Symposium on Visual Computing.

Girshick, R. (2015). Fast r-cnn. Proceedings of the IEEE international conference on computer vision.

Haldurai, L., & Vinodhini, V. (2015). Parallel indexing on color and texture feature extraction using r-tree for content based image retrieval. International Journal of Computer Sciences and Engineering, 3, 11-15.

Le, T. V. T., Le, M. T. & Van, T. T. (2022). Semantic-Based Image Retrieval Using RS-Tree and Neighbor Graph. WorldCIST, (2).

Li, W. (2021). Analysis of object detection performance based on Faster R-CNN. Journal of Physics: Conference Series.

Liu, G.-H., Yang, J.-Y., & Li, Z. (2015). Content-based image retrieval using computational visual attention model. Pattern Recognition, 48(8), 2554-2566.

Long, J., Shelhamer, E., & Darrell, T. (2015). Fully convolutional networks for semantic segmentation. Proceedings of the IEEE conference on computer vision and pattern recognition.

Manolopoulos, Y., Papadopoulos, A. N., Papadopoulos, A. N., & Theodoridis, Y. (2006). R-Trees: Theory and Applications: Theory and Applications. Springer Science & Business Media.

Pestana, D., Miranda, P. R., Lopes, J. D., Duarte, R. P., Véstias, M. P., Neto, H. C., & De Sousa, J. T. (2021). A full featured configurable accelerator for object detection with YOLO. IEEE Access, 9, 75864-75877.

Ren, S., He, K., Girshick, R., & Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. Advances in neural information processing systems, 28.

Salvador, A., Giró-i-Nieto, X., Marqués, F., & Satoh, S. i. (2016). Faster r-cnn features for instance search. Proceedings of the IEEE conference on computer vision and pattern recognition workshops.

Shama, P., Badrinath, K., & Tilugul, A. (2015). An Efficient Indexing Approach for Content based Image Retrieval. International Journal of Computer Applications, 117(15).

Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556.

Singh, S., Ahuja, U., Kumar, M., Kumar, K., & Sachdeva, M. (2021). Face mask detection using YOLOv3 and faster R-CNN models: COVID-19 environment. Multimedia tools and applications, 80(13), 19753-19768.

Sivakumar, M., Kumar, N. S., & Karthikeyan, N. (2021). Content-Based Image Retrieval Techniques: A Survey. Journal of Physics: Conference Series.

Tolias, G., Sicre, R., & Jégou, H. (2015). Particular object retrieval with integral max-pooling of CNN activations. arXiv preprint arXiv:1511.05879.

Vanitha, J., & SenthilMurugan, M. (2017). An efficient content based image retrieval using block color histogram and color co-occurrence matrix. Int. J. Appl. Eng. Res, 12(24), 15966-15971.

Wang, W., Xu, X., Zhang, J., Yang, L., Song, G., & Huang, X. (2019). Trademark Image Retrieval Based on Faster R-CNN. Journal of Physics: Conference Series.

Zhou, X., Han, X., Li, H., Wang, J., & Liang, X. (2022). Cross-domain image retrieval: methods and applications. International Journal of Multimedia Information Retrieval, 1-20.




DOI: https://doi.org/10.54607/hcmue.js.20.5.3631(2023)

Tình trạng

  • Danh sách trống