Пакетная обработка информации предполагает работу в режиме реального времени

1. Пакетный режим автоматизированной обработки информации

2. Диалоговый режим автоматизированной обработки информации

3. Сетевой режим автоматизированной обработки информации

10.1. Пакетный режим автоматизированной обработки информации

Пакетный
режим был
наиболее распространен при централизо­ванной
организации решения экономических
задач, когда большой удельный вес
занимали задачи отчетности о
производственно-хозяйственной
деятельности экономических объектов
разного уровня управления.

Организация
вычислительного процесса при пакетном
режиме строится без доступа пользователя
к ЭВМ. Его функции ограничи­ваются
подготовкой исходных данных по комплексу
(пакету) задач и передачей их в центр
обработки, содержащий задание для ЭВМ
на обработку, программы и нормативно-справочные
данные. Па­кет вводится в ЭВМ и
реализуется в автоматическом режиме в
со­ответствии с приоритетами задач
без участия пользователя, что по­зволяет
минимизировать время выполнения
заданного набора за­дач. При этом
работа ЭВМ может проходить в однопрограммном
или многопрограммном режиме, что
предпочтительнее, так как обеспечивается
параллельная работа основных устройств
машины. В настоящее время пакетный режим
реализуется применительно к электронной
почте и формирование регулярной
отчетности.

10.2. Диалоговый режим автоматизированной обработки информации

Диалоговый
режим
взаимодействия пользователя и ЭВМ
обес­печивает возможность оперативного
вмешательства человека в процесс
обработки информации на ЭВМ.

При
коллективном диалоге с вычислительной
системой управ­ленческий персонал
организации (фирмы) может использовать
в автоматизированном процессе решения
производственно-хозяйственных задач
большой набор слабо формализуемых
факто­ров в соответствии со своим
опытом и знаниями реальной эконо­мической
ситуации. Особенно это касается экспертных
систем.

Диалог
представляет собой обмен информационными
сообще­ниями между участниками
процесса, когда прием, обработка и
вы­дача сообщений происходят в реальном
масштабе времени. Он может быть парным,
когда число его участников равно двум,
и множественным — при большем числе
участников.

В
основе машинной диалоговой технологии
обработки инфор­мации лежит
взаимодействие человека и ЭВМ во время
решения задачи посредством передачи и
приема сообщений через терми­нальные
устройства. При диалоге типа «человек
— ЭВМ» целью пользователя является
получение результатных данных в процессе
решения задачи. Цель использования ЭВМ
— оказание помощи пользователю при
выполнении рутинных операций.

Если
роли участников диалога заданы жестко,
то такой диалог называется жестким,
например, режим работы «вопрос — ответ»
с указанием того, кому из партнеров
принадлежит инициатива. Аль­тернативная
жесткая структура задает множество
предписанных вариантов диалога,
представляемых пользователю в виде
меню, как правило, иерархической
структуры, из которого он выбирает
на­правление решения задачи. Такой
диалог называется гибким.
Свободным
называется диалог, позволяющий участникам
общения обмениваться информацией
произвольным образом.

Эксплуатационные
характеристики диалоговых систем должны
удовлетворять следующим требованиям:

— легкая адаптация
пользователя к системе;

— единообразие
вычислительных, логических процедур и
терми­нологии;

— снабжение
пользователя справочной информацией
и необхо­димыми инструкциями,
выводимыми на экран видеотерминала
или
печатающее устройство с указанием
моментов получения по­мощи от ЭВМ или
необходимости проведения ответных
действий;

— использование
кратких форм диалога;

— наличие
защитных средств информации в системе,
реализуе­мых операционными системами
и специальными программами.

Технология
обработки данных в диалоговом режиме
на ЭВМ предполагает: организацию в
реальном времени непосредственного
диалога пользователя и машины, в ходе
которого ЭВМ информи­рует человека
о состоянии решаемой задачи и предоставляет
ему возможность активно воздействовать
на ход ее решения; обеспече­ние
реактивности, т.е. оперативной циркуляции
сообщений как между функциональными
задачами (программами), так и между
задачами и пользователем; создание для
конечных пользователей — специалистов
управления достаточно прозрачной
диалоговой сис­темы, требующей от них
лишь выполнения привычных служебных
действий.

Для
решения практических задач структура
диалога включает раз­личные возможные
способы обмена информацией между
пользовате­лем и ЭВМ, т.е. диалоговая
система содержит множество запросов и
соответствующих им ответных сообщений.
Каждому запросу соответ­ствует
несколько альтернативных ответных
сообщений. Схема диалога разрабатывается
обычно сразу на весь комплекс решаемых
задач. Ка­ждому пользователю выделяются
отдельные части схемы диалога с це­лью
автоматического контроля его полномочий
и для предотвращения несанкционированного
доступа.

Наиболее
распространенными типами организации
диалога яв­ляются меню, шаблон, команда,
естественный язык.

Реализация
диалога типа «меню»
возможна через вывод на эк­ран
видеотерминала определенных функций
системы.

Выбор конкретной
функции пользователем может осуществ­ляться:

— набором на
клавиатуре требуемой директивы или ее
сокращенного обозначения;

— набором на
клавиатуре номера необходимой функции;

— подведением
курсора в строку экрана с нужной
пользователю
функцией;

— нажатием
функциональных клавиш, запрограммированных
на реализацию данной функции.

Шаблон
— это режим взаимодействия конечного
пользователя и ЭВМ, на каждом шаге
которого система воспринимает только
синтактически ограниченное по формату
входное сообщение пользо­вателя.
Варианты ответа пользователя ограничиваются
форматами, предъявляемыми ему на экране
видеотерминала. Диалог может быть
реализован через:

— указание системой
на экране дисплея формата
вводимого
пользователем сообщения;

— резервирование
места для сообщения пользователя в
тексте
сообщения системы на экране
терминала.

Диалог
«шаблон» используется для ввода данных,
значения ко­торых или понятны (например,
поле для записи даты, фамилии, названия
предприятия и т.д.), или являются
профессиональными терминами, известными
пользователю по его предметной области.

Диалог
типа «команда»
инициируется пользователем. Приэтом
выполняется одна из допустимых на данном
шаге диалога команда пользователя. Их
перечень отсутствует на экране, но легко
вызывается на экран с помощью специальной
директивы или функциональной клавиши
(обычно F1). При вводе ошибочной команд
(нет в списке, не тот формат или синтаксис)
выдается сообщена об ошибке.

Естественный
язык — это
тип диалога, при котором запрос и ответ
со стороны пользователя ведется на
языке, близком к естест­венному.
Пользователь свободно формулирует
задачу, но с набо­ром установленных
программной средой слов, фраз и синтаксиса
языка. Система может уточнять формулировку
пользователя. Раз­новидностью диалога
является речевое общение с системой.

Массовое
применение ПЭВМ в режиме диалога
обеспечивает отказ от использования
традиционных бумажных носителей
ин­формации. Использование ПЭВМ в
местах возникновения информации
(на складах, в цехах, в функциональных
управленческих от­делах и др.) позволяет
автоматизировать процесс изготовления
и заполнения первичной документации.
При составлении первич­ного документа
пользователь в диалоговом режиме с
помощью ПЭВМ выбирает нужную ему из
ряда предлагаемых системой форму
документа и выводит ее на экран монитора.
Последующая работа заключается в
заполнении формы данными, вводимыми с
клавиатуры либо с помощью другого
устройства ввода (светового пера,
манипулятора типа «мышь» и т.п.). Данные
могут быть запи­саны на жесткий или
гибкие магнитные диски. Готовый документ
может быть при необходимости выведен
на печать.

Диалоговая
технология для системы обработки данных
на базе ПЭВМ обеспечивает проведение
автоматизированного сбора, реги­страции
и предварительной обработки данных
непосредственно на рабочих местах
специалистов управления (создание АРМ).

В
режиме диалога на ПЭВМ может работать
не только опера­тор, но и конечный
пользователь, знающий предметную область
решаемой задачи, способный визуально
обнаружить ошибки, как возникшие при
вводе, так и не выявленные ранее
непосредственно в первичных документах.

Соседние файлы в предмете [НЕСОРТИРОВАННОЕ]

• #
• #
• #
• #
• #
• #
• #
• #
• #
• #
• #

Пакетная обработка — данные

Cтраница 1

Пакетная обработка данных — метод выполнения набора программ в ЭВМ, при котором каждая последующая программа начинается после завершения предыдущей.
 [1]

Пакетная обработка данных позволяет увеличить производительность ЭВМ и уменьшить стоимость машинной обработки информации.
 [2]

При пакетной обработке данных с автоматической коррекцией ошибок рекомендуется распечатывать ведомость, содержащую все внесенные исправления.
 [3]

Предусмотрена работа в режимах пакетной обработки данных и разделения времени. Модульный принцип построения ЕС-1011 обеспечивает оптимальное распределение задач между узлами системы, что ведет к увеличению ее производительности.
 [4]

Что характерно для режима пакетной обработки данных.
 [5]

Комплекс технических средств в режиме пакетной обработки данных предназначен для работы, когда пользователи не имеют непосредственного доступа к ЭВМ. Устройства этого комплекса выполняют периодическую обработку больших массивов информации. В состав комплекса в зависимости от объемных и временных характеристик обрабатываемой в пакетном режиме информации могут входить две и более ЕС ЭВМ третьего поколения с полным комплектом периферийного оборудования.
 [7]

Режим разделения времени совместим с режимом пакетной обработки данных, которая предусматривается в ЭВМ для решения задач в отдельные периоды времени, когда пользователи не загружают ЭВМ полностью.
 [8]

Решение задач этого вида должно проводиться в режиме пакетной обработки данных.
 [9]

Второй комплекс технических средств предназначен для работы в режиме пакетной обработки данных, при котором пользователи не имеют непосредственного доступа к ЭВМ. Устройства этого комплекса выполняют периодическую обработку больших массивов информации.
 [10]

Система предназначена для использования в модели ЕС-1021 и ориентирована на пакетную обработку данных в однопроцессорном и однопрограммном режимах. Система представляет собой набор компонент, описаний и инструкций для пользователя. Операционная система МОС ЕС обеспечивает программную совместимость модели ЕС-1021 с остальными моделями ЕС ЭВМ на уровне языка Ассемблер и языков высокого уровня с ограничениями, определяемыми конкретной конфигурацией технических средств. Кроме того, МОС ЕС обеспечивает адекватность массивов данных на внешних носителях.
 [11]

Имеет ли смысл организация базы данных в системе, в которой используется только пакетная обработка данных и нет терминалов.
 [12]

Часто машинная графика используется при решении задач, для которых ранее применялась обычная пакетная обработка данных. При этом иногда возникает возможность автоматизировать процесс решения и тем самым сэкономить средства. Для оценки возможного выигрыша необходимо рассматривать все связанные с этой работой затраты: арендную плату за оборудование, стоимость разработки и запуска системы, эксплуатационные расходы и расходы на профилактические работы. Одновременно следует учитывать все получаемые преимущества типа непосредственного выигрыша в человеко-часах, времени сэкономленного на перфорацию, сокращения числа ошибок и повторных прогонов, сэкономленного машинного времени в режиме пакетной обработки данных.
 [13]

Выбор концепции обработки данных по существу определяет степень использования возможностей системы при пакетной обработке данных, работе в режимах онлайн и реального времени.
 [14]

До сих пор мы обсуждали общецелевые операционные системы, которые в основном применяются при пакетной обработке данных с одним процессором. Многие из рассмотренных концепций построения систем справедливы и для специальных операционных систем, разрабатываемых для обеспечения дистанционной обработки данных, коллективного доступа, обработки в реальном масштабе времени или комбинации этих видов обработки. Помимо сходства, существуют также и некоторые различия, имеющие место частично из-за различной аппаратной конфигурации, но в основном из-за различия целей, в связи с которыми должна осуществляться оптимизация — системы. При пакетной обработке основной целью является достижение максимальной пропускной способности. В случае мультипроцессорной обработки сильный упор делается также и на готовность системы. В системах коллективного доступа и обработки в реальном масштабе времени добиваются даже в ущерб пропускной, способности, чтобы время ответа и готовность системы соответствовали некоторым заданным критериям. Оставшийся материал этой главы посвящен краткому ознакомлению ( большего не позволяют размеры этой книги) с основными особенностями операционных систем для дистанционной и мультипроцессорной обработки, коллективного доступа и обработки в реальном масштабе времени.
 [15]

Страницы:  

   1

   2

   3

   4

Разбираем одну мощнейшую методику обработки данных, позволяющую быстрее работать с большими данными. Это в несколько раз ускоряет бизнес-аналитику, получение отчетности и другие задачи, связанные с обработкой множества файлов.

Что такое пакетная обработка данных

Система пакетной обработки данных — это когда данные обрабатывают пакетами. То есть массив информации, сходной по смыслу или формату, помещают в некоторый контейнер, а потом производят над ней какое-то действие. Например, изменяют или отбирают нужные файлы по заданным критериям. Выбранное действие обязательно применяется сразу ко всем файлам/байтам/записям в пакете.

Как составляются пакеты данных

Существует несколько основных методов группировки информации по разным контейнерам-пакетам:

1. По времени создания. Например, мы кладем в пакет все файлы, поступившие на сервер компании за последние 30 минут. Или все сигналы с сенсоров в турбине самолета за последние четыре полета.
2. По типу данных. Видеофайлы в одну кучку, текст — в другую. Тут все очевидно.
3. По источнику. Записи о перемещениях грузов на складе кладем в один пакет, записи о перемещении грузов внутри магазина — в другой. Каждая строка в этих данных может выглядеть одинаково и представлять собой запись из базы данных, но источники происхождения у них разные.
4. По содержимому. Фотографии котов — в одной папке, фотографии собак — в другой. Современные технологии машинного обучения уже позволяют раскидывать данные по категориям с помощью разных хитрых классификаторов.
5. Вручную по различным критериям — самый трудный метод группировки. Его до сих пор применяют на практике, когда данных не так много, а автоматические критерии не подходят. К примеру, когда надо применить один и тот же метод цветокоррекции к фотографиям с фотосессии. Выбор фотографий — дело творческое, поэтому его делают вручную.

Отобранные данные отправляются в систему пакетной обработки данных, где с ними происходят нужные действия.

Что означает обработка данных в пакетном режиме

По сути, с данными в одном пакете могут происходить всего две вещи:

1. Применение операций. Выбранная операция применяется к каждому элементу пакета. Если это картинки — можно скорректировать цвета или повернуть их на 90 градусов. Если это видео — можно обрезать первые 30 секунд и добавить надпись поверх. Если это двоичный файл — можно его шифровать или дешифровать. Короче говоря, можно сотворить любую операцию, которая придет в голову.
2. Фильтрация. Можно фильтровать файлы внутри пакета — например, оставить в нем только картинки с котами и удалить все остальные. Или фильтровать пакет в целом — пропускать данные на дальнейшую обработку тогда, когда в нем встретились фотки только котов. Если внутри встретится хоть одна фотка собаки — пакет целиком отбрасывается. Настройки обработки могут быть разными.

Пример решения для пакетной обработки данных, собранных в процессе работы бизнеса, — Apache Hadoop и его механизм обработки MapReduce. Он может работать с огромными массивами информации и используется, если в компании хранят big data.

Как можно выполнять операции пакетной обработки данных

Обработка данных в пакетном режиме означает, что все файлы пакета будут обработаны определенным образом: так, как вы выбрали. Происходить это может двумя способами:

1. Последовательно. В таком случае обработка выглядит как конвейерная лента, по которой перемещается пакет записей. На каждом этапе к данным применяется какая-то одна логическая операция: фильтрация или трансформация. А пакет вполне может и не доехать до конца конвейера, если где-то в середине его выкинут фильтры.
2. Параллельно. На вход системы идут несколько пакетов, все они проходят через стадии обработки сразу на нескольких компьютерах (серверах) или несколькими копиями программ.

Зачем нужны системы пакетной обработки данных

1. Для разделения сложных процессов на мелкие, понятные и легко реализуемые операции. Разбивка задач на мелкие подзадачи и применение этих подзадач к группам файлов отлично для этого подходит. Машину на заводе тоже собирают не сразу, а с помощью атомарных последовательных операций. Таким образом, пакеты — это просто способ борьбы со сложностью систем.
2. Для того чтобы ускорить работу с данными. Пакетную обработку данных можно параллелить и запускать в кластерах серверов, то есть сразу на нескольких серверах. Это позволяет производить тяжелые вычисления куда быстрей, чем на одном сервере.
3. Комбинация обеих причин — сложные многоступенчатые вычисления на больших объемах данных. Это когда тяжело, долго, много, но надо побыстрее и попроще.

Кто применяет системы пакетной обработки данных

Пакетную обработку нужно знать и любить всем, кто выстраивает сложные алгоритмы/процессы или работает с большими объемами данных. Обычно это делается в научных системах, проектах с высокими нагрузками или там, где работают с big data.

Как правило, для системы пакетной обработки данных применяют кластеры серверов — с их помощью можно организовать параллельную обработку или построить многоэтапный конвейер.

Вот и всё: теперь вы знаете о пакетной обработке столько же, сколько любой системный архитектор.)