Banner Portal
Uma proposta de arquitetura da informação aplicada ao processamento de linguagem natural
Arquitetura da informação
PDF
PDF (English)
ÁUDIO
VÍDEO
PARECER A
PARECER B

Palavras-chave

Ciência da Informação
Arquitetura da informação
Tratamento da informação
Inteligência Artificial
Processamento de linguagem natural

Como Citar

KUROKI JÚNIOR, George Hideyuki; DUQUE, Cláudio Gottschalg. Uma proposta de arquitetura da informação aplicada ao processamento de linguagem natural: contribuições da Ciência da Informação no pré-processamento de dados para treinamento e aprendizado de redes neurais artificiais. RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, SP, v. 21, n. 00, p. e023002, 2023. DOI: 10.20396/rdbci.v21i00.8671396. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/rdbci/article/view/8671396. Acesso em: 24 jun. 2024.

Resumo

Introdução: O processamento de linguagem natural em redes neurais artificias possui lacunas passíveis de tratamento por parte da Ciência da Informação. Objetivo: Propor contribuições da Ciência da Informação na organização da informação para treinamento de redes neurais artificiais utilizando Arquitetura da Informação Multimodal, posicionando-a como área do conhecimento atuante em problemas de inteligência artificial. Metodologia: Adaptando um percurso de três níveis de análise (metafísico, científico e tecnológico), verifica o atual estágio de desenvolvimento de técnicas de processamento de linguagem natural (metafísico); utiliza definições de Arquitetura da Informação Multimodal propondo um procedimento de cinco passos para delineamento, análise e transformação do espaço informacional a ser utilizado em métodos de treinamento e aprendizagem de redes neurais, complementando lacunas identificadas por autores voltados a implementações da Ciência da Computação (científico); verifica a aplicabilidade da proposta em 3 conjuntos de dados advindos de 16 áreas do conhecimento como base de avaliação (tecnológico). Resultados: Os resultados obtidos nas situações com pré-tratamento e sem pré-tratamento foram comparados observando-se potencial para desenvolvimento de um método estruturado de Arquitetura da Informação Multimodal que forneça instrumentos para a organização do pré-processamento de dados a serem utilizados como massa de teste e aprendizado em redes neurais artificiais, em particular, no processamento de linguagem natural. Conclusão: Este método posicionaria a Ciência da Informação como atuante e produtora de soluções de pré-processamento de dados, sobrepondo o papel atual de mera consumidora de soluções pré-fabricadas pela Ciência da Computação.

https://doi.org/10.20396/rdbci.v21i00.8671396
PDF
PDF (English)
ÁUDIO
VÍDEO
PARECER A
PARECER B

Referências

AREL, I; ROSE, D. C.; KARNOWSKI, T. P. Deep machine learning-a new frontier in artificial intelligence research [research frontier]. IEEE computational intelligence magazine, [S.l.] v. 5, n. 4, p. 13-18, 2010. DOI: 10.1109/MCI.2010.938364. Acesso em: 9 de jan. 2023.

BAHDANAU, D.; CHO, K.; BENGIO, Y. Neural machine translation by jointly learning to align and translate In: INTERNATIONAL CONFERENCE ON LEARNING REPRESENTATIONS, 3, 2015, San Diego, CA. Anals [...]. San Diego, CA, 2015. DOI: 10.48550/arXiv.1409.0473. Acesso em: 9 de jan. 2023.

BELLMAN, R. The theory of dynamic programming. Bulletin of the American Mathematical Society, Providence, RI, v. 60, n. 6, p. 503-515, 1954. DOI: 10.1090/S0002-9904-1954-09848-8. Acesso em: 9 de jan. 2023.

CAPURRO, R.; HJORLAND, B. O conceito de informação. Perspectivas em ciência da informação, Belo Horizionte, v. 12, n. 1, p. 148–207, 2007. DOI: 10.1590/S1413-99362007000100012. Acesso em: 9 de jan. 2023.

CARNIELLI, W.; PIZZI, C. Modalities and multimodalities. Springer Science & Business Media, 2008. 304p.

JONES, K. S. Index term weighting. Information storage and retrieval, Cambridge, UK, v. 9, n. 11, p. 619-633, 1973. DOI: 10.1016/0020-0271(73)90043-0. Acesso em: 9 de jan. 2023.

HJØRLAND, B. What is knowledge organization (ko)? Knowledge organization. International journal devoted to concept theory, classification, indexing and knowledge representation, [S.l.], ERGON-Verlag GmbH, 2008. Disponível em: http://bit.ly/3vQG7Ry. Acesso em: 9 de jan. 2023.

HINTON, G. E.; OSINDERO, S.; TEH, Y. A fast learning algorithm for deep belief nets. Neural computation, Boston, MA, v. 18, n. 7, p. 1527-1554, 2006. DOI: 10.1162/neco.2006.18.7.1527. Acesso em: 9 de jan. 2023.

KRESS, G. What is mode? In: Jewitt, C. (ed.). The Routledge Handbook of Multimodal Analysis. London, UK, Routledge, 2009. 340 p.

KRESS, G.; VAN LEEUWEN, T. Multimodal discourse: The modes and media of contemporary communication. London: Hodder Arnold Publication, 2001. 142 p.

KUROKI JÚNIOR, G. H. Sobre uma arquitetura da informação multimodal: reflexões sobre uma proposta epistemológica. Dissertação (Mestrado) — Universidade de Brasília, 2018. DOI: 10.26512/2018.02.D.31920. Acesso em: 9 de jan. 2023.

DEVLIN, J.D. et al. Pre-training of deep bidirectional transformers for language understanding. In: CONFERENCE OF THE NORTH AMERICAN CHAPTER OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: HUMAN LANGUAGE TECHNOLOGIES, Minneapolis, MI. Proceedings […]. Minneapolis, MI, 2019. DOI: 10.48550/arXiv.1810.04805. Acesso em: 9 de jan. 2023.

MCCANN, B. et al. Learned in translation: Contextualized word vectors. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS, 30, Long Beach, CA, Proceedings […]. Boston, MA, 2017. DOI: 10.48550/arXiv.1708.00107. Acesso em: 9 de jan. 2023.

MINAEE, S. et al. Deep learning-based text classification: a comprehensive review. ACM Computing Surveys (CSUR), [S.l.], v. 54, n. 3, p. 1-40, 2021. DOI: 10.1145/3439726. Acessado em: 9 de jan. 2023.

MIKOLOV, T. et al. Efficient estimation of word representations in vector space. [S.l.], arXiv preprint, arXiv:1301.3781. DOI: 10.48550/arXiv.1301.3781, 2013a. Acessado em: 9 de jan. 2023.

MIKOLOV, T. et al. Distributed representations of words and phrases and their compositionality. In: ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS (NIPS 2013), Lake Tahoe, NV, Proceedings […]. Boston, MA, 2013b. v. 26. DOI: 10.48550/arXiv.1310.4546. Acesso em: 9 de jan. 2023.

PENNINGTON, J.; SOCHER, R.; MANNING, C. D. Glove: Global vectors for word representation. In: CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING (EMNLP), Doha, Qatar. Proceedings […]. DOI: 10.3115/v1/D14-1162, 2014. Acesso em: 9 de jan. 2023.

PETERS, M. E. et al. Deep contextualized word representations. In: NAACL. ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, 1 (long papers), New Orleans, Louisiana, 2018. Proceedings […]. DOI: 10.18653/v1/N18-1202 2018. Acesso em: 9 de Jan. 2023.

PORTNER, P. Modality. London: Oxford University Press, 2009. 320 p.

QIU, X. et al. Pre-trained models for natural language processing: A survey. Science China Technological Sciences, [S.l.], v. 63, n. 10, p. 1872-1897, 2020. DOI: 10.1007/s11431-020-1647-3. Acesso em: 9 de jan. 2023.

RADFORD, A. et al. Improving language understanding by generative pre-training. OpenAI, [S.l.]. v. 4, n. 19, 2018. Disponível em: http://bit.ly/3Xhzao1. Acesso em: 9 de Jan. 2023.

SOUZA, F.; NOGUEIRA, R.; LOTUFO, R. BERTimbau: pretrained BERT models for Brazilian Portuguese. In: CERRI, R., PRATI, R.C. (ed.) Intelligent Systems. BRACIS 2020. Lecture Notes in Computer Science, [S.l.], v. 12319. Springer, Cham. p. 403-417. DOI: 10.1007/978-3-030-61377-8_28. Acesso em: 9 de jan. 2023.

VAN GIGCH, J. P.; MOIGNE, J. L. A paradigmatic approach to the discipline of information systems. Behavioral Science, [S.l.], v. 34, n. 2, p. 128-147, 1989. DOI: 10.1002/bs.3830340203. Acesso em: 9 de jan. 2023.

VASWANI, A. et al. Attention is all you need. Advances in neural information processing systems, Long Beach, CA, v. 30, p.1-15, 2017. DOI: 10.48550/arXiv.1706.03762. Disponível em: https://arXiv:1706.03762. Acesso em: 9 de jan. 2023.

WAGNER FILHO, J. A. et al. The brWaC corpus: a new open resource for Brazilian Portuguese. In: Proceedings of the eleventh international conference on language resources and evaluation (LREC 2018), Miyazaki, Japan. Proceedings […]. Miyazaki, Japan: ELRA, 2018. Disponível em: http://bit.ly/3CBRzUR. Acesso em: 9 de Jan. 2023.

WASON, R. Deep learning: Evolution and expansion. Cognitive Systems Research, [S.l.], v. 52, p. 701-708, 2018. DOI: 10.1016/j.cogsys.2018.08.023. Acesso em: 9 de Jan. 2023.

Creative Commons License
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.

Copyright (c) 2023 George Hideyuki Kuroki Júnior, Cláudio Gottschalg Duque

Downloads

Não há dados estatísticos.