Методы и модели оценки и измерения эффективности АИС
Целью оценки систем информационного поиска является выявление полезности системы на практике.
Оцениваемую систему можно рассматривать как инновацию (т.е. нововведение), степень общественного признания которой определяется рядом признаков:
· Относительное преимущество – степень, в которой инновация воспринимается лучше предшествующей идеи с точки зрения экономической прибыльности, социального престижа, физического удобства и психологического удовлетворения
· Совместимость – степень, в которой инновация воспринимается как наследующая социально-культурные ценности, убеждения и нормы, прошлый опыт, зарекомендовавшие себя идеи, приемы и оборудование, а также осознанные потребности потенциальных пользователей
· Сложность – степень, в которой инновация воспринимается как относительно трудная для понимания и применения с точки зрения существующих знаний и навыков
· Возможность тестирования – степень, в которой инновацию можно предварительно протестировать в ограниченном масштабе, таким образом снижая риск и неопределенность, связанные с внедрением
|
|
· Возможность наблюдения – степень, в которой инновация и эффект от её применения наглядно видны для других.
Стандарты оценки качества информационных систем
В отечественной практике разработки и сопровождения автоматизированных программных систем основным регламентирующим документом является ГОСТ Р ИСО/МЭК 9126-23.
Стандарт определяет шесть характеристик, которые с минимальным дублированием описывают качество программного обеспечения. Данные характеристики образуют основу для дальнейшего уточнения и описания качества программного обеспечения базируются на требованиях ISO 8402.
Определение характеристик и соответствующая модель процесса оценки качества, приведенные в указанном стандарте используются тогда, когда известны требования, предъявляемые к программной продукции и оценивается её качество в процессе жизненного цикла. Эти характеристики могут применяться к любому виду программного обеспечения, включая программы для ЭВМ и данные, входящие в программно-технические средства (встроенные программы).
Характеристики качества программного обеспечения:
1. функциональные возможности – набор атрибутов, относящийся к набору функций и их конкретным свойствам. Функциями являются те, которые реализуют установленные или предполагаемые потребности. Данные признаки задают то, что программное обеспечение выполняет для удовлетворения потребностей, тогда как другие описывают в основном, когда и как это осуществляется.
|
|
2. надежность – набор атрибутов, относящийся к способности ПО сохранять свой уровень качества функционирования при установленных условиях за установленный период времени. Износ или старение программного обеспечения не происходит.
Ограничения надежности возникают из-за ошибок в требованиях, проекте и реализации.
3. практичность – набор признаков, относящийся к объему работ, требуемых для использования и индивидуальной оценки такого использования определенным или предполагаемым кругом пользователей. «Пользователи» интерпретируются как большинство непосредственных пользователей интерактивного программного обеспечения.
Круг пользователей может включать операторов, конечных пользователей и косвенных пользователей, на которых влияет данное ПО или которое зависят от его использования. Практичность должная рассматриваться при всем разнообразии условий эксплуатации пользователем, которые могут влиять на программное обеспечение, включая подготовку к использованию и оценку результатов.
4. эффективность – атрибуты, характеризующие соотношения между уровнем качества функционирования программного обеспечения и объемом используемых ресурсов при установленных условиях. Ресурсы могут включать другие программные продукты, технические средства, материалы (бумага, гибкие диски и др.), услуги эксплуатирующего, сопровождающего или обслуживающего персонала, а также время, используемое для решения задач.
5. мобильность – атрибуты, характеризующие способность ПО быть перенесенным из одного окружения в другое. Окружение может включать организационное, техническое, программное, информационное окружения.
Процесс (модель) оценивания качества ПО состоит из трех стадий (см. табл.) и может применяться в любой подходящей фазе жизненного цикла и для каждой компоненты программного продукта.
Структура модели процесса оценивания ПО
№ | Стадия | Этапы | Результаты |
Установление требований к качеству | -- | Установление требований в терминах характеристик качества и возможных комплексных показателей. Требования к продукции в целом могут отличаться от требованиям к компонентам. | |
Подготовка к оцениванию | Выбор метрик (показателей качества) | Каждый количественный признак и каждое количественно оцениваемое взаимодействие ПО с его окружением могут приняты в качестве метрики | |
Определение уровней ранжирования | Для каждого диапазона количественных значений показателя устанавливается уровень ранжирования (например – отличный, хороший, средний, низкий, пр.) | ||
Определение критериев оценки | Привидение результатов оценивания различных характеристик к некоему общему итогу. Оценщик должен подготовить процедуры, используя, например, таблицы решений. | ||
Процедура оценивания | Измерение | Выбранные метрики применяются к ПО. Результатом являются значения в масштабе метрики. | |
Ранжирование | Для всех измеренных значений устанавливается уровень | ||
Оценка | Заключение о составе ПО. Обобщенное качество сравнивается с такими факторами, как время или стоимость. Результатом является решение руководства о приемке, отбраковке, выпуску или невыпуску продукта |