Palavras-chave
Arquitetura da informação
Tratamento da informação
Inteligência Artificial
Processamento de linguagem natural
Como Citar
Resumo
Introdução: O processamento de linguagem natural em redes neurais artificias possui lacunas passíveis de tratamento por parte da Ciência da Informação. Objetivo: Propor contribuições da Ciência da Informação na organização da informação para treinamento de redes neurais artificiais utilizando Arquitetura da Informação Multimodal, posicionando-a como área do conhecimento atuante em problemas de inteligência artificial. Metodologia: Adaptando um percurso de três níveis de análise (metafísico, científico e tecnológico), verifica o atual estágio de desenvolvimento de técnicas de processamento de linguagem natural (metafísico); utiliza definições de Arquitetura da Informação Multimodal propondo um procedimento de cinco passos para delineamento, análise e transformação do espaço informacional a ser utilizado em métodos de treinamento e aprendizagem de redes neurais, complementando lacunas identificadas por autores voltados a implementações da Ciência da Computação (científico); verifica a aplicabilidade da proposta em 3 conjuntos de dados advindos de 16 áreas do conhecimento como base de avaliação (tecnológico). Resultados: Os resultados obtidos nas situações com pré-tratamento e sem pré-tratamento foram comparados observando-se potencial para desenvolvimento de um método estruturado de Arquitetura da Informação Multimodal que forneça instrumentos para a organização do pré-processamento de dados a serem utilizados como massa de teste e aprendizado em redes neurais artificiais, em particular, no processamento de linguagem natural. Conclusão: Este método posicionaria a Ciência da Informação como atuante e produtora de soluções de pré-processamento de dados, sobrepondo o papel atual de mera consumidora de soluções pré-fabricadas pela Ciência da Computação.
Referências
AREL, I; ROSE, D. C.; KARNOWSKI, T. P. Deep machine learning-a new frontier in artificial intelligence research [research frontier]. IEEE computational intelligence magazine, [S.l.] v. 5, n. 4, p. 13-18, 2010. DOI: 10.1109/MCI.2010.938364. Acesso em: 9 de jan. 2023.
BAHDANAU, D.; CHO, K.; BENGIO, Y. Neural machine translation by jointly learning to align and translate In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS, 3, 2015, San Diego, CA. Anals [...]. San Diego, CA, 2015. DOI: 10.48550/arXiv.1409.0473. Acesso em: 9 de jan. 2023.
BELLMAN, R. The theory of dynamic programming. Bulletin of the American Mathematical Society, Providence, RI, v. 60, n. 6, p. 503-515, 1954. DOI: 10.1090/S0002-9904-1954-09848-8. Acesso em: 9 de jan. 2023.
CAPURRO, R.; HJORLAND, B. O conceito de informação. Perspectivas em ciência da informação, Belo Horizionte, v. 12, n. 1, p. 148–207, 2007. DOI: 10.1590/S1413-99362007000100012. Acesso em: 9 de jan. 2023.
CARNIELLI, W.; PIZZI, C. Modalities and multimodalities. Springer Science & Business Media, 2008. 304p.
JONES, K. S. Index term weighting. Information storage and retrieval, Cambridge, UK, v. 9, n. 11, p. 619-633, 1973. DOI: 10.1016/0020-0271(73)90043-0. Acesso em: 9 de jan. 2023.
HJØRLAND, B. What is knowledge organization (ko)? Knowledge organization. International journal devoted to concept theory, classification, indexing and knowledge representation, [S.l.], ERGON-Verlag GmbH, 2008. Disponível em: http://bit.ly/3vQG7Ry. Acesso em: 9 de jan. 2023.
HINTON, G. E.; OSINDERO, S.; TEH, Y. A fast learning algorithm for deep belief nets. Neural computation, Boston, MA, v. 18, n. 7, p. 1527-1554, 2006. DOI: 10.1162/neco.2006.18.7.1527. Acesso em: 9 de jan. 2023.
KRESS, G. What is mode? In: Jewitt, C. (ed.). The Routledge Handbook of Multimodal Analysis. London, UK, Routledge, 2009. 340 p.
KRESS, G.; VAN LEEUWEN, T. Multimodal discourse: The modes and media of contemporary communication. London: Hodder Arnold Publication, 2001. 142 p.
KUROKI JÚNIOR, G. H. Sobre uma arquitetura da informação multimodal: reflexões sobre uma proposta epistemológica. Dissertação (Mestrado) — Universidade de Brasília, 2018. DOI: 10.26512/2018.02.D.31920. Acesso em: 9 de jan. 2023.
DEVLIN, J.D. et al. Pre-training of deep bidirectional transformers for language understanding. In: CONFERENCE OF THE NORTH AMERICAN CHAPTER OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: HUMAN LANGUAGE TECHNOLOGIES, Minneapolis, MI. Proceedings […]. Minneapolis, MI, 2019. DOI: 10.48550/arXiv.1810.04805. Acesso em: 9 de jan. 2023.
MCCANN, B. et al. Learned in translation: Contextualized word vectors. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 30, Long Beach, CA, Proceedings […]. Boston, MA, 2017. DOI: 10.48550/arXiv.1708.00107. Acesso em: 9 de jan. 2023.
MINAEE, S. et al. Deep learning-based text classification: a comprehensive review. ACM Computing Surveys (CSUR), [S.l.], v. 54, n. 3, p. 1-40, 2021. DOI: 10.1145/3439726. Acessado em: 9 de jan. 2023.
MIKOLOV, T. et al. Efficient estimation of word representations in vector space. [S.l.], arXiv preprint, arXiv:1301.3781. DOI: 10.48550/arXiv.1301.3781, 2013a. Acessado em: 9 de jan. 2023.
MIKOLOV, T. et al. Distributed representations of words and phrases and their compositionality. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2013), Lake Tahoe, NV, Proceedings […]. Boston, MA, 2013b. v. 26. DOI: 10.48550/arXiv.1310.4546. Acesso em: 9 de jan. 2023.
PENNINGTON, J.; SOCHER, R.; MANNING, C. D. Glove: Global vectors for word representation. In: CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING (EMNLP), Doha, Qatar. Proceedings […]. DOI: 10.3115/v1/D14-1162, 2014. Acesso em: 9 de jan. 2023.
PETERS, M. E. et al. Deep contextualized word representations. In: NAACL. ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 1 (long papers), New Orleans, Louisiana, 2018. Proceedings […]. DOI: 10.18653/v1/N18-1202 2018. Acesso em: 9 de Jan. 2023.
PORTNER, P. Modality. London: Oxford University Press, 2009. 320 p.
QIU, X. et al. Pre-trained models for natural language processing: A survey. Science China Technological Sciences, [S.l.], v. 63, n. 10, p. 1872-1897, 2020. DOI: 10.1007/s11431-020-1647-3. Acesso em: 9 de jan. 2023.
RADFORD, A. et al. Improving language understanding by generative pre-training. OpenAI, [S.l.]. v. 4, n. 19, 2018. Disponível em: http://bit.ly/3Xhzao1. Acesso em: 9 de Jan. 2023.
SOUZA, F.; NOGUEIRA, R.; LOTUFO, R. BERTimbau: pretrained BERT models for Brazilian Portuguese. In: CERRI, R., PRATI, R.C. (ed.) Intelligent Systems. BRACIS 2020. Lecture Notes in Computer Science, [S.l.], v. 12319. Springer, Cham. p. 403-417. DOI: 10.1007/978-3-030-61377-8_28. Acesso em: 9 de jan. 2023.
VAN GIGCH, J. P.; MOIGNE, J. L. A paradigmatic approach to the discipline of information systems. Behavioral Science, [S.l.], v. 34, n. 2, p. 128-147, 1989. DOI: 10.1002/bs.3830340203. Acesso em: 9 de jan. 2023.
VASWANI, A. et al. Attention is all you need. Advances in neural information processing systems, Long Beach, CA, v. 30, p.1-15, 2017. DOI: 10.48550/arXiv.1706.03762. Disponível em: https://arXiv:1706.03762. Acesso em: 9 de jan. 2023.
WAGNER FILHO, J. A. et al. The brWaC corpus: a new open resource for Brazilian Portuguese. In: Proceedings of the eleventh international conference on language resources and evaluation (LREC 2018), Miyazaki, Japan. Proceedings […]. Miyazaki, Japan: ELRA, 2018. Disponível em: http://bit.ly/3CBRzUR. Acesso em: 9 de Jan. 2023.
WASON, R. Deep learning: Evolution and expansion. Cognitive Systems Research, [S.l.], v. 52, p. 701-708, 2018. DOI: 10.1016/j.cogsys.2018.08.023. Acesso em: 9 de Jan. 2023.
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Copyright (c) 2023 George Hideyuki Kuroki Júnior, Cláudio Gottschalg Duque
Downloads
