Методы исследования и проектирования модели анализа текстовой информации в больших массивах данных

Введение Стремительная технологическая эволюция последних лет в сфере информационно-коммуникационных технологий позволила сформировать существенный задел в части развитой программно-аппаратной инфраструктуры, поддерживающей накопление и постоянное пополнение архивов данных различной природы и назначения. Актуальность исследования, методов проектирования модели анализа текстовой информации в больших массивах данных, заключается в том, что появились большие объемы информации, нуждающиеся в обработке данных. Это связанно популярностью социальных сетей, уход организаций от документооборота к электронному, появлению мобильных устройств с доступом к широкополосному интернету. Обмен данными в сети интернет увеличился многократно. И все эти данные требуют обработки, особенно обмен данными в социальных сетях и почтовых сервисах. Значение данной работы заключается том, что благодаря этому исследованию можно разработать методы обработки больших объемов данных с использованием аппаратных средств. Такие разработки позволят более эффективно обрабатывать большие массивы данных, ускорить обмен данными, экономить средства затрачиваемые на обработку больших массивов данных. Практическое применение разработанных методов обработки больших объемов данных, может быть использовано в самых различных областях, где приходится использовать большие объемы данных. Это могут быть социальные сети, почтовые серверы, крупные компании, использующие электронный документооборот. Проблемой исследования является то, что информацию для эффективной обработки нужно группировать. Сложность заключается в том что много информации обращается в нестандартной и даже не формальной форме, что значительно затрудняет ее идентификацию. Разрабатываемый метод обработки больших данных должен помочь решать такие проблемы. История обработки больших объемов данных ведет свое начало от появления сетей обмена цифровой информацией. Таким моментом можно считать появление локальных сетей и сети интернет. Разница лишь в формулировке и объемах. То, что раньше называли большими данными, на сегодняшний день уже является стандартом. Основной целью данного исследования является изучить область использования и обработки больших объемов данных. Найти эффективные методы обработки информации. И на их основе разработать модель для обработки больших данных. Задачами данного исследования методов анализа и проектирования модели для обработки текстовой информации в больших массивах данных являются: — методы исследования текстовой информации в больших массивах данных; — большие массивы данных; — особенности обработки больших массивов данных; — методы исследования текстовой информации в больших массивах данных; — проектирование модели анализа текстовой информации в больших массивах данных; — анализ больших массивов данных; — алгоритмы обработки больших массивов данных; — математическая модель для обработки больших массивов данных. Объектом исследования являются обмен большими массивами информации, обработка больших массивов данных, методы анализа больших массивов данных. Предметом исследования является модель для обработки больших массивов данных. Методами исследования в данной работе являются изучение предметной области. Получение информации необходимой для проектирования модели для обработки больших массивов данных. Обостряющаяся конкурентная борьба в различных областях человеческой деятельности (бизнесе, медицине, корпоративном управлении и др.) и сложность внешней среды делают крайне востребованными подходы к экспертному использованию имеющихся данных для повышения обоснованности и оперативности принятия управленческих решений. При этом не всегда сегодня возможно непосредственное эффективное применение хорошо проработанного и известного аппарата теории вероятности или математической статистики без учета особенностей конкретной предметной области, компьютерных наук (включая детали хранения и обработки данных, алгоритмов машинного обучения и т.п.), специфики современных информационных технологий. Именно поэтому относительно недавно стала привлекать особое внимание область, связанная с высокопроизводительной интеллектуальной аналитической обработкой данных, направленная на то, чтобы оперативно извлекать из значительных массивов накопленных и поступающих данных ценные экспертные знания, поддерживая эффективную управленческую деятельность. Учитывая междисциплинарный характер этой предметной области, ее глубину и ярко выраженную прикладную направленность, до сих пор существует определенный дефицит систематизированных представлений о ней, на устранение которых в некоторой степени направлено данное пособие. 1. Глава 1. Методы исследования информации в больших массивах данных 1.1. Большие массивы данных Под большими массивами данных подразумевают широкое разнообразие массивов данных, которые не могут быть должным образом обработаны традиционными приложениями из-за их огромного объема или сложного состава [5]. Сложность анализа больших объемов данных заключается в возможности сбора, контроля, совместного использования, хранения, передачи, визуализации и поддержания конфиденциальности информации [12]. Эти данные могут быть полезны для прогнозирования. Точность анализа больших данных помогает принимать оптимальные решения. В свою очередь, принятие лучших решений может повысить эффективность производства, снизить затраты и снизить риски. Предотвращать распространение эпидемий и борьбы с преступностью [15]. Научные и прикладные организации, работающие в сфере СМИ и рекламы, а также органы государственной власти часто сталкиваются с трудностями в работе ученых, особенно метеорологов, врачей, изучающих геномы, исследователей, специалистов в области изучения средств связи, физики, создания сложных тренажеров, также биологической и природоохранной деятельности, часто ограничивается невозможностью обработки огромных объемов данных. Объемы данных с каждым днем растут, поэтому возможность собирать информацию с помощью мобильных устройств, цифровой аэрофотосъемки, камер, микрофонов, радиочастотных считывателей и беспроводных сенсорных сетей. Весь объем информации, которая может храниться всеми современными техническими средствами, составляет примерно каждые 40 месяцев в течение 80-х годов 20-го века, и в настоящее время в Интернете будет получено 2,5 эксабайта (2,5 х 1018) информация [10]. Атрибутивные определения. Данный класс определений происходит от определения «4V», предложенного в 2011 году сотрудниками International Data Corporation (IDC), одного из пионеров и лидеров в области исследования больших данных и их влияния на современные компьютерные технологии[8]. Чтобы быть «большими данными» по определению атрибута, данные должны иметь четыре ключевых свойства, которые перечислены ниже. 1. Объем — «Большие данные» — это сгенерированные или хранимые данные таких объемов, которые стандартное программное обеспечение не может обработать за необходимое время. Объем — это основной показатель, по которому те или иные данные считают «большими данными» [3]. 2. Разнообразие — «Большие данные» — это самые разнообразные данные по своей природе и источникам. 3. Скорость — «Большие данные» — это данные, объемы которых растут с чрезвычайной скоростью. 4. Правдивость — «Большие данные» — это данные, значительная часть которых может быть недостаточной или неточной. Определение атрибутов являются развитием определения «3Vs», которое было предложено еще в 2001 году аналитиком из META Group Inc. Дугласом Лейни. Согласно этому определению, «большие данные» обладают следующими свойствами: объемом, разнообразием и скоростью накопления. Определение 3V теперь считается устаревшим, однако оно пока все еще используется некоторыми из IBM и Microsoft [4].

Конец ознакомительного фрагмента