MỘT TIẾP CẬN TÌM KIẾM ẢNH THEO NGỮ NGHĨA DỰA TRÊN MẠNG NƠ-RON TÍCH CHẬP VÀ ONTOLOGY

Nguyễn Minh Hải, Trần Văn Lăng, Văn Thế Thành

Tóm tắt


 

Trích xuất ngữ nghĩa cho hình ảnh là một bài toán mang tính thời sự và được ứng dụng trong nhiều hệ thống tra cứu ngữ nghĩa khác nhau. Trong bài báo này, một tiếp cận tra cứu ngữ nghĩa hình ảnh được đề xuất dựa trên tập ảnh tương tự với ảnh đầu vào; từ đó, ngữ nghĩa của hình ảnh được tra cứu trên ontology qua tập từ vựng thị giác. Các đối tượng trên mỗi hình ảnh được trích xuất và phân lớp dựa trên mạng nơ-ron tích chập nhằm trích xuất ngữ nghĩa cho hình ảnh. Sau đó, câu lệnh SPARQL được tự động tạo ra từ các phân lớp ảnh và thực hiện truy vấn trên ontology đã được xây dựng nhằm truy xuất tập ảnh tương tự và ngữ nghĩa tương ứng. Trên cơ sở phương pháp đã đề xuất, một thực nghiệm được xây dựng và đánh giá trên các bộ ảnh Caltech-256. Kết quả thực nghiệm được so sánh với các công trình công bố gần đây trên cùng một bộ dữ liệu nhằm minh chứng tính hiệu quả của phương pháp đề xuất. Theo kết quả thực nghiệm, phương pháp tra cứu ngữ nghĩa hình ảnh trong bài báo này đã nâng độ chính xác lên 88,7% đối với bộ dữ liệu ảnh Caltech-256.


Từ khóa


phân lớp ảnh; mạng nơ-ron tích chập; truy vấn ảnh dựa trên ngữ nghĩa; ontology

Toàn văn:

PDF

Trích dẫn


Asim, M. N., Wasim, M., Khan, M. U. G., Mahmood, N., & Mahmood, W. (2019). The use of ontology in retrieval: a study on textual, multilingual, and multimedia retrieval. IEEE Access, 7, 21662-21686.

Cai, D., Chen, K., Qian, Y., & Kämäräinen, J. K. (2019). Convolutional low-resolution fine-grained classification. Pattern Recognition Letters, 119, 166-171.

Filali, J., Zghal, H. B., & Martinet, J. (2020). Ontology-based image classification and annotation. International Journal of Pattern Recognition and Artificial Intelligence, 34(11), 2040002.

Hiary, H., Saadeh, H., Saadeh, M., & Yaqub, M. (2018). Flower classification using deep convolutional neural networks. IET Computer Vision, 12(6), 855-862.

Jogin, M., Madhulika, M., Divya, G., Meghana, R., & Apoorva, S. (2018). Feature extraction using convolution neural networks (CNN) and deep learning. Paper presented at the 2018 3rd IEEE international conference on recent trends in electronics, information & communication technology (RTEICT).

Kumar, V., Tripathi, V., & Pant, B. (2020). Content based fine-grained image retrieval using convolutional neural network. Paper presented at the 2020 7th International Conference on Signal Processing and Integrated Networks (SPIN).

Mafla, A., Dey, S., Biten, A. F., Gomez, L., & Karatzas, D. (2020). Fine-grained image classification and retrieval by combining visual and locally pooled textual features. Paper presented at the Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision.

Mathieu, M., LeCun, Y., Fergus, R., Eigen, D., Sermanet, P., & Zhang, X. (2013). Overfeat: Integrated recognition, localization and detection using convolutional networks.

Mete, B. R., & Ensari, T. (2019). Flower Classification with Deep CNN and Machine Learning Algorithms. Paper presented at the 2019 3rd International Symposium on Multidisciplinary Studies and Innovative Technologies (ISMSIT).

Mohamed, O., Mohammed, O., & Brahim, A. (2017). Content-based image retrieval using convolutional neural networks. Paper presented at the First International Conference on Real Time Intelligent Systems.

Sezavar, A., Farsi, H., & Mohamadzadeh, S. (2019). Content-based image retrieval by combining convolutional neural networks and sparse representation. Multimedia Tools and Applications, 78(15), 20895-20912.

Shati, N. M., khalid Ibrahim, N., & Hasan, T. M. (2020). A review of image retrieval based on ontology model. Journal of Al-Qadisiyah for computer science and mathematics, 12(1),

-14, 10-14.

Sivakumar, R., & Soundar, K. R. (2021). A novel generative adversarial block truncation coding schemes for high rated image compression on E-learning resource environment. Materials Today: Proceedings.

Toro Icarte, R., Baier, J. A., Ruz, C., & Soto, A. (2017). How a General-Purpose Commonsense Ontology can Improve Performance of Learning-Based Image Retrieval. arXiv e-prints, arXiv: 1705.08844.

Wang, C., Zhuo, X., Li, P., Chen, N., Wang, W., & Chen, Z. (2020). An Ontology-Based Framework for Integrating Remote Sensing Imagery, Image Products, and In Situ Observations. Journal of Sensors, 2020.

Wang, X., Huang, Z., & van Harmelen, F. (2020). Ontology-Based Semantic Similarity Approach for Biomedical Dataset Retrieval. Paper presented at the International Conference on Health Information Science.

Wang, X., Zou, X., Bakker, E. M., & Wu, S. (2020). Self-constraining and attention-based hashing network for bit-scalable cross-modal retrieval. Neurocomputing, 400, 255-271.




DOI: https://doi.org/10.54607/hcmue.js.19.3.3272(2022)

Tình trạng

  • Danh sách trống