[ Russian ] [ English ]

Методы поиска и анализа текстов в системах информационной поддержки принятия решений

Д.А.Девяткин,
ФИЦ ИУ РАН
devyatkin@isa.ru

Текстовые сообщения и документы часто содержат полезную информацию, которая, может использоваться для поддержки принятия решений. Для извлечения и обработки этой информации необходимо создавать специализированные инструменты сбора и анализа текстов. При создании подобных инструментов разработчики сталкиваются с рядом научно-технических проблем, в частности:

  • наличием только небольшого количества готовых лингвистических инструментов, а также корпусов для обучения, применимых в узкоспециализированных задачах (особенно для русского языка);
  • необходимостью собирать данные из интернет-пространства сфокусированно, т.е. по заданному набору тематик с ограничениями на метаданные;
  • разнородностью источников данных, как по структуре, так и по программным интерфейсам доступа (API).

В докладе рассматриваются вопросы разработки методов и программных средств поддержки принятия решений на основе анализа информационного пространства для заданной темы. Приводится архитектура таких программных средств, основной алгоритм их работы, типы и структура источников информации. Представлены методы сбора, анализа, поиска и извлечения информации из текстов, разработанные в ФИЦ ИУ РАН, а также их применение при создании систем поддержки принятия решений в различных областях: управление научной и инновационной деятельностью, медицина и здоровьесбережение, поддержка поисково-спасательных работ, противодействие экстремизму.

Слайды доклада.

Литература:

  1. Shelmanov A. O., Smirnov I. V. Methods for semantic role labeling of Russian texts //Computational Linguistics and Intellectual Technologies. Proceedings of International Conference Dialog. – 2014. – Т. 13. – №. 20. – С. 607-620.
  2. Nivre J., Hall J., Nilsson J. Maltparser: A data-driven parser-generator for dependency parsing //Proceedings of LREC. – 2006. – Т. 6. – С. 2216-2219.
  3. Al-Rfou R. et al. Polyglot-NER: Massive multilingual named entity recognition //Proceedings of the 2015 SIAM International Conference on Data Mining. – Society for Industrial and Applied Mathematics, 2015. – С. 586-594.
  4. Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeff Dean. Distributed representations of words and phrases and their compositionality. In Advances in neural information processing systems, pages 3111–3119, 2013.
  5. Anastasia Ianina, Lev Golitsyn, and Konstantin Vorontsov. Multi-objective topic modeling for exploratory search in tech news. Conference on Artificial Intelligence and Natural Language, pages 181–193, Springer, 2017.
  6. Osipov G. et al. Relational-situational method for intelligent search and analysis of scientific publications //Proceedings of the Integrating IR Technologies for Professional Search Workshop. – 2013. – С. 57-64.
  7. Соченков И. В., Суворов Р. Е. Сервисы полнотекстового поиска в информационно-аналитической системе (Часть 1) //Информационные технологии и вычислительные системы. – 2013. – №. 2. – С. 69.
  8. Ананьева М. И. и др. Автоматическое извлечение финансово-экономической информации из текстов на русском языке //Труды Института системного анализа Российской академии наук. – 2018. – Т. 68. – №. 1. – С. 23-30.
  9. Vybornova O. et al. Social tension detection and intention recognition using natural language semantic analysis: On the material of Russian-speaking social networks and Web forums //Intelligence and Security Informatics Conference (EISIC), 2011 European. – IEEE, 2011. – С. 277-281.
  10. Baranov A. A. et al. Technologies for Complex Intelligent Clinical Data Analysis //Vestnik Rossiiskoi akademii meditsinskikh nauk. – 2016. – №. 2. – С. 160-171.
  11. Devyatkin D., Shelmanov A. Text Processing Framework for Emergency Event Detection in the Arctic Zone //International Conference on Data Analytics and Management in Data Intensive Domains. – Springer, Cham, 2016. – С. 74-88.
  12. Gennady Osipov, Ivan Smirnov, Ilya Tikhomirov, Ilya Sochenkov, and Artem Shelmanov. Exactus expert”search and analytical engine for research and development support. In Novel Applications of Intelligent Systems, pages 269–285. Springer, 2016.
Supported by Synthesis Group