Приемочные испытания. Программа и методика приемочных испытаний. Разработка исследование и совершенствование методов испытаний программного обеспечения средств измерений Совершенствование программ и методов ускоренных испытаний

На правах рукописи ПАНЬКОВ АНДРЕЙ НИКОЛАЕВИЧ РАЗРАБОТКА, ИССЛЕДОВАНИЕ И СОВЕРШЕНСТВОВАНИЕ МЕТОДОВ ИСПЫТАНИЙ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СРЕДСТВ ИЗМЕРЕНИЙ Специальность 05.11.15 - Метрология и метрологическое обеспечение Автореферат диссертации на соискание ученой степени кандидата технических наук г. Москва 2016 г. 2 Работа выполнена в Федеральном Государственном унитарном предприятии «Всероссийский научно-исследовательский институт метрологической службы» Российской Федерации. Научный руководитель: доктор физико-математических наук, профессор Кудеяров Юрий Алексеевич, Главный научный сотрудник ФГУП «ВНИИМС» Официальные оппоненты: доктор технических наук, профессор Данилов Александр Александрович, Заместитель директора Пензенского ЦСМ доктор технических наук Левин Александр Давидович, ведущий научный сотрудник ФГУП «ВНИИОФИ» Ведущая организация: Московский государственный технический университет им. Н.Э. Баумана Защита диссертационной работы состоится «___» ___________ 2016 г. в ___ : ___ на заседании диссертационного совета Д 308.001.01 в ФГУП «ВНИИМС» по адресу: 119361, Москва, ул. Озерная, д.46. С диссертацией можно ознакомиться в библиотеке ФГУП «ВНИИМС». Автореферат разослан «___» ___________ 2016 г. Ученый секретарь диссертационного совета доктор технических наук, профессор Лысенко В.Г. 1. ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность работы Подавляющее большинство современных средств измерений представляют собой автоматизированные приборы, которые включают в себя или сопровождаются программным обеспечением. Хорошо известно, что использование ПО в СИ приводит к появлению рисков, связанных как с внутренними свойствами самого ПО, так и с возможностью внешнего воздействия на него. Это приводит к тому, что всё чаще ставятся вопросы о доверии к результатам измерений, полученным с применением такого СИ, о степени влияния программного обеспечения на метрологические характеристики СИ и об уровне его защищённости от внешних воздействий, могущих привести к искажению измерительной информации. Отсюда следует, что одной из основных задач работников метрологических служб в современных условиях является задача оценки и минимизации рисков, связанных с использованием ПО в СИ. Актуальность данной проблемы на законодательном метрологическом уровне была в свое время обозначена таким авторитетным деятелем в области законодательной метрологии, как директор МОЗМ J.F. Magana, который в бюллетене МОЗМ v. XLIX, N 2, 2008 отметил, что современные СИ в ряде случаев оснащены таким ПО, которое может радикально расширять и видоизменять функциональные возможности СИ. При этом органы, ответственные за утверждение типа СИ, в ряде случаев по тем или иным причинам не способны дать корректные и исчерпывающие ответы на вопросы, связанные с защищенностью ПО и измеренных данных, а также гарантировать в сложившейся ситуации их достоверность. Эти проблемы являются решающими для законодательной метрологии, чьей задачей является обеспечение доверия к результатам измерений, полученными средствами измерений, функционирующими без систематического и постоянного надзора со стороны компетентных метрологических органов. Если технологии защиты информации не будут использоваться в этих средствах измерений, доверие не может быть обеспечено, и все другие метрологические и технические решения, поставляемые законодательной метрологией, будут иметь очень ограниченный интерес. В отечественных нормативных документах федерального уровня указание о необходимости проведения оценки влияния ПО на метрологические характеристики СИ и уровня его защищенности закреплено в п. 1 и 2 ст. 9 Федерального закона РФ «Об обеспечении единства измерений» и в приказах Минпромторга России от 30 ноября 2009 г. №1081 и Минэкономразвития России от 30 мая 2014 г. № 326. Указанные нормативные документы устанавливают необходимость проведения оценки ПО СИ, но не поясняют механизм и методику ее осуществления. Из сказанного следует, что вопросы, связанные с разработкой, исследованием и совершенствованием методов оценки и испытаний ПО СИ являются актуальными, и их рассмотрение вызвано насущными и реальными проблемами, стоящими перед разработчиками, пользователями и испытателями автоматизированных средства измерений. 4 Таким образом, возникает важная научно-техническая задача научного обоснования, разработки, исследования и совершенствования методов испытаний и оценки характеристик и свойств ПО СИ. Решению этих задач посвящена предлагаемая диссертационная работа. Цель диссертационной работы Целью диссертационной работы является исследование и разработка методов испытаний ПО СИ, в том числе опорного ПО, и выработка критериев оценки характеристик и свойств ПО СИ. Задачи исследования Для достижения поставленной цели необходимо было решить следующие научные и практические задачи: 1. Провести анализ и исследование существующих требований к программному обеспечению СИ, контролируемому законодательной метрологией, с целью обоснования выбора оптимального набора требований. 2. Провести анализ и исследование существующих методов проверки и критериев оценки качества (характеристик и свойств) ПО СИ с целью их дальнейшего совершенствования. 3. Разработать типовую методику проведения испытаний ПО СИ. 4. Разработать опорное программное обеспечение для испытаний ПО СИ цифровых подстанций в соответствии с протоколом IEС 61850-9-2. 5. Исследовать метод испытания программного обеспечения, основанный на перекрестной проверке (кросс-валидации), и сформулировать количественный критерий оценки качества (характеристик и свойств) ПО. 6. Исследовать возможность применения критериев адекватности аппроксимирующих функций (коэффициентов детерминации, информационных критериев и критерия Колмогорова) в методе калибровочных кривых. Объект исследования Программное обеспечение средств измерений. Методы и средства исследования В работе применялись эмпирические и теоретические методы исследования (методы анализа и синтеза, сравнения и моделирования). Теоретические исследования осуществлялись методами программного и математического моделирования с использованием аппарата математической статистики, численных методов математического анализа, которые послужили основой для разработки и реализации программных алгоритмов в средах C Builder, Mathcad, Dreamweaver. Эмпирические исследования проводились в ФГУП «ВНИИМС» и базировались на сравнении полученных теоретических выводов с экспериментальными результатами исследований, проводимых на реальных массивах данных измерений, полученных от компаний ООО «Теквел», ООО «Систел» и ООО «Компания ДЭП» и ООО «ЭнергопромАвтоматизация». Научная новизна работы заключается в следующем: 1. По результатам проведенного анализа и исследований обоснован оптимальный набор требований к ПО СИ и определен порядок проведения испытаний ПО при испытаниях автоматизированных СИ с целью утверждения типа, реализованный в рекомендациях Росстандарта по метрологии Р 50.2.077 – 2014. 2. На основе предложенного набора требований разработан ряд опорных программных продуктов для испытаний ПО СИ, в том числе ПО цифровых подстанций в соответствии с протоколом IEC 61850-9-2. 3. На основе проведенного анализа и полученных результатов исследований разработаны два национальных стандарта, содержащие требования к ПО СИ и усовершенствованный вариант типовой методики испытаний такого ПО. 4. Экспериментально подтверждена возможность использования метода перекрестной проверки (кросс-валидации) при оценке и подборе модельно зависимых параметров качества передаваемой электроэнергии. 5. Наряду с известными информационными критериями показана возможность применения критерия Колмогорова для отбраковки неадекватных модельных функций в методе калибровочных кривых. Основные положения, выносимые на защиту 1. Разработанная методика проверки уровня защищенности и идентификационных признаков ПО позволяет проводить его испытания при испытаниях СИ для целей утверждения типа. 2. Разработанные национальные стандарты и опорные ПП позволяют проводить испытания ПО СИ, в том числе ПО цифровых подстанций в соответствии с протоколом IEС 61850-9-2. 3. Подход, основанный на использовании метода кросс-валидации и количественного критерия оценки качества ПО применим для оценки значений модельно-зависимых параметров. 4. Критерий Колмогорова может быть эффективно использован в методе калибровочных кривых для отбраковки неадекватных модельных функций. Практическая ценность работы Практическая ценность работы заключается в том, что полученные результаты позволяют принципиально усовершенствовать процедуру испытаний в целях утверждения типа средств измерений за счет введения дополнительных методов проверки ПО СИ, что, в свою очередь, позволяет: - повысить доверие к результатам измерений, полученным с применением такого СИ, - убедиться в отсутствии несанкционированного доступа к метрологически значимой части ПО СИ и данным; 6 - установить уровень защищенности ПО СИ; - провести оценку влияния ПО СИ на МХ СИ; - ускорить и удешевить процедуру проверки ПО СИ цифровых подстанций. Достоверность и обоснованность Достоверность и обоснованность защищаемых научных положений, выводов и рекомендаций подтверждается корректностью применения логического и математического аппарата; достаточным объемом и результатами испытаний ПО СИ, выполненных в аккредитованных лабораториях организациями, проводящими испытания в целях утверждения типа средств измерений; достаточным объемом и результатами испытаний ПО, выполненных в СДС ПО СИ ФГУП «ВНИИМС», СДС ПО СИ и АПК АНО «МИЦ»; использованием для тестирования и отладки опорного ПО эталонных пар данных. Реализация и внедрение результатов работы Результаты исследований были использованы при разработке рекомендаций по метрологии, методик института, национальных стандартов и большого количества работ, проводимых в рамках системы добровольной сертификации ПО СИ. В их числе: 1. Национальный стандарт ГОСТ Р 8.654-2015 «ГСИ. Программное обеспечение средств измерений. Требования к программному обеспечению средств измерений. Основные положения»; 2. Национальный стандарт ГОСТ Р 8.883-2015 «ГСИ. Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний»; 3. Рекомендации Росстандарта по метрологии Р 50.2.077-2014 ГСИ. Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения; 4. Методика института МИ 3455-2015 «Требования к программному обеспечению для тестирования средств измерений, осуществляющих генерацию и/или передачу выборок результатов измерений мгновенных значений тока и напряжения в соответствии с стандартом МЭК 61850-92LE»; 5. Методика института МИ 3464-2015 «Требования к структуре Ethernet кадра SV сообщений в соответствии с серией стандартов МЭК 61850»; 6. Опорное ПО, используемое при сертификационных испытаниях ПО СИ цифровых подстанций в рамках СДС ПО СИ ФГУП «ВНИИМС» (работы велись с компаниями ООО «Теквел», ООО «Систел» и ООО «Компания ДЭП»); 7. Методы испытаний ПО СИ и критерии оценки качества (характеристик и свойств) ПО при сертификационных испытаниях ПО в рамках СДС ПО СИ ФГУП «ВНИИМС»; 8. Стандарт организации по испытаниям ПО СИ, проводимых в институте, являющийся составной частью системы менеджмента качества ФГУП «ВНИИМС». Апробация работы Основные результаты работы доложены и обсуждены на региональных, всероссийских и международных конференциях и семинарах: - Международный научно-технический семинар «Математическая, статистическая и компьютерная поддержка качества измерений», г. СанктПетербург, 2006г.; - IV Научно-практическая конференция «Метрологическое обеспечение измерительных систем», г. Пенза, 2007г.; - Отраслевая научно-практическая конференция когенерация 2014», г. Москва, 2014г.; «Теплоснабжение и - XVI Всероссийская научно-техническая конференция «Метрологическое обеспечение энергетических ресурсов», г. Анапа, 2014г.; - 1-я Всероссийская научно-практическая конференция «Современное состояние законодательства в области метрологии, экологической и промышленной и пожарной безопасности», г. Южно-Сахалинск, 2014г.; - Однодневный семинар, посвященный новой версии Рекомендаций к методикам «Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения», Москва, 2014г.; - IX Всероссийская научно-практическая конференция «ВЕСЫ-2014», г. Туапсе, 2014г.; - Региональная конференции ассоциации «Автометхим», г. Нижнекамск, 2014г.; - Региональная научно-практическая конференция «Автоматизация и метрологическое обеспечение технологических процессов», г. Томск, 2015г.; - Всероссийская конференция главных метрологов предприятий химического и нефтехимического комплекса, г. Воскресенск, 2015г.; - XIII Всероссийской научно-технической конференции «Состояние и проблемы измерений», МГТУ им. Н.Э. Баумана, кафедра «Метрология и взаимозаменяемость», г. Москва, 2015г.; 8 - Научная конференция молодых специалистов метрологических институтов, посвященная 90-летию Росстандарта, г. Москва, 2015г.; - Однодневный технический семинар Безопасность», г. Находка, 2015г.; «Автоматизация. Метрология. - Семинар КООМЕТ в рамках PTB - COOMET проекта «Поддержка регионального сотрудничества между странами-членами региональной метрологической организации КООМЕТ», г. Минск, 2015г.; - 9-я научно-практическая конференция «Метрологическое обеспечение измерительных систем», г. Пенза, 2015г.. Публикации Материалы диссертации опубликованы в 16 научных работах, из которых 5 в изданиях, входящих в перечень ВАК. Структура и объем диссертации Диссертационная работа состоит из введения, четырех глав с выводами к каждой из них, выводов, заключения и библиографии из 113 наименований. Общий объем диссертации изложен на 170 страницах машинописного текста, содержит 14 рисунков, 12 таблиц и 2 приложения. 2. ОСНОВНОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ Во введении показана важность и актуальность работы, сформулирована цель и задачи исследования, аргументирована научная новизна исследования и практическая значимость результатов работы, представлены выносимые на защиту научные положения и сведения об апробации работы. В первой главе осуществлено выделение программного обеспечения средств измерений как объекта исследования и рассмотрено его правовое регулирование в существующей системе нормативно-правовых актов РФ. Был проведен анализ состояния вопроса в области регламентации требований к ПО СИ на основе обширного списка отечественных и международных документов (Рисунок 1). Проведенный анализ показал, что: 1. Проблема установления и регламентации требований к ПО СИ нашла свое отражение в большом количестве отечественных и международных документах. 2. Упоминание о необходимости проверки ПО СИ в Директиве Евросоюза по средствам измерений в 2004 г. послужило основой для развития этого направления во всем мире, в результате чего были разработаны основные рекомендательные документы ряда метрологических организаций, таких как МОЗМ, КООМЕТ, WELMEC. 10 3. Отечественные метрологические институты и центры ведут активные работы в рассматриваемой области, используя за основу, как вышеуказанные международные нормативные документы, так и собственные разработки. 4. Обзор отечественных нормативных документов и публикаций, а также анализ зарубежного опыта в рассматриваемой области показали, что существующая отечественная нормативная база в отношении требований к ПО СИ находится на высоком уровне и оптимально гармонизирована с требованиями к ПО СИ, предъявляемых в ведущих странах мира. При этом, отечественные нормативные документы учитывают Российскую специфику применения требований к ПО СИ: отсутствие классов риска, расширенные требования к идентификационным признакам ПО, упрощенную, в оговоренных случаях, процедуру проверки защиты ПО СИ, декларирование ряда характеристик ПО (Рисунок 3). 5. Среди многообразия рассмотренных документов основополагающими для установления требований к ПО СИ и в последствии его испытаний являются документы: - ГОСТ Р 8.654 Требования к программному обеспечению средств измерений. - ГОСТ Р 8.839-2013 Государственная система обеспечения единства измерений. Общие требования к измерительным приборам с программным управлением. - Р 50.2.077-2014 ГСИ. Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения. - МИ 2174-91. Рекомендация. ГСИ. Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения. Результатом исследовательской работы стала актуализация стандарта ГОСТ Р 8.654, который с 1 марта 2016 г. вступил в силу в новой редакции. Вторая глава работы посвящена исследованию существующих и разработке новых методов и методик тестирования ПО СИ, а также выработке критериев оценки качества ПО СИ. Существующие на сегодня методы тестирования ПО не позволяют однозначно и полностью выявить все дефекты анализируемой программы, поэтому все существующие методы тестирования действуют в рамках процесса проверки исследуемого или разрабатываемого программного обеспечения. Такой процесс может доказать, что дефекты отсутствуют с точки зрения используемого метода, а его реализация не сводится к следованию строгим и чётким процедурам или созданию таковых. В первом разделе второй главы был проведён анализ существующих методик, применяемых при испытаниях программное обеспечение средств измерений в результате чего удалось выявить ряд особенностей, их характеризующих: методики проверки должны учитывать особенности, характерные для ПО СИ, а процесс проверки представляться следующими основными этапами: - разработка тестов; - проведение тестирования; - обработка результатов тестирования. При этом, методика проверки ПО должны учитываться требования, предъявляемые к ПО СИ: - ПО должно иметь структуру с выделением метрологически значимой части; - данное ПО реализует алгоритмы, сбора, передачи и обработки данных, т.е. к таким алгоритмам применяются требования к точности; - ПО должно иметь набор идентификационных признаков; - ПО и данные измерений должны иметь средства защиты от несанкционированных и случайных изменений. Исследование существующих методик испытаний ПО СИ показали, что наиболее предпочтительным является подход, изложенный в рекомендациях ФГУП «ВНИИМС» МИ2955-2010 «ГСИ. Типовая методика аттестации программного обеспечения средств измерений», т.к. он учитывает специфику метрологического ПО, носит универсальный характер и не зависит от типа СИ, а также основывается на международном опыте тестирования ПО СИ. Структура документа показана на Рисунке 2. Результатом исследовательской работы стала переработка и актуализация в данного документа, который с 1 марта 2016 г. вступил в силу в статусе государственного стандарта ГОСТ Р 8.883-2015 «ГСИ. Программное обеспечение средств измерений. Алгоритмы обработки, хранения, защиты и передачи измерительной информации. Методы испытаний». 12 Методам тестирования ПО СИ посвящена вторая часть второй главы работы. Проведен обзор существующих методов тестирования ПО СИ, основанных на методах «черного ящика» и «белого ящика». При тестировании программы методом «черного ящика», она подвергается известному набору воздействий, и по его реакции на эти воздействия делаются заключения о некоторых его свойствах. Метод «белого ящика», подразумевает проверку исходного кода ПО и детальное исследование функций. Были рассмотрены такие методы тестирования ПО СИ, как: - метод испытаний, основанный на использовании опорного программного обеспечения; - метод испытаний ПО СИ с использованием моделей исходных данных, либо с применением метода генерации «эталонных» данных; - метод сличения программного вычислительной точности; обеспечения одинакового уровня - метод испытаний, основанный на анализе исходного кода. Для широкого круга метрологических задач по оценке адекватности калибровочных кривых были рассмотрены методы, основанные на вычислении коэффициента детерминации, скорректированного коэффициента детерминации, информационных критериев Акаике, выборочного критерия Акаике и информационного критерия Байеса. Наряду с информационными критериями была предложена возможность применения критерия Колмогорова. При использовании критерия Колмогорова рассматриваются три функции: - функция y = y (x) ,неизвестна и описывает объективно существующую зависимость выходного сигнала от входного; - эмпирическая функция y n = y (x n) , является эмпирическим представлением функции y = y (x) ; - теоретическая функция y€(x | θ) , предлагается для описания функции y = y (x) . Статистика Колмогорова D (максимальное расстояние между функциями) для эмпирической функции y n = y(xn) определяется соотношением D = sup y(xn) − y€(x | θ) , (1) При применении критерия Колмогорова необходимо сформулировать статистическую гипотезу H 0 , заключающуюся в утверждении, что модельная функция отклика y€(x | θ) совпадает с объективной, реальной зависимостью y = y (x) , что можно записать так гипотеза H 0: y€(x | θ) = y (x) . (2) Если же гипотеза Н0 неверна, т.е. справедлива альтернативная гипотеза Н1: y€(x | θ) ≠ y(x) , то величина D будет положительной и не будет стремиться к нулю, т.е. D = sup | y(xn) − y€(x | θ) |> 0. Колмогоровым было показано, что независимо от вида теоретической (модельной) функции от непрерывной случайной величины x в случае неограниченного увеличения числа независимых измерений N вероятность неравенства D N ≤ λ (3) стремится к предельной вероятности, равной p(λ) = ∞ ∑ (−1) e i −2i 2λ2 . (4) i =−∞ Из (3) следует, что для больших значений λ вероятность реализации такого неравенства, т.е. вероятность p (λ) , велика. Если положить эту вероятность равной 0,95, то найденная экспериментально статистика D для адекватной модельной функции будет с такой же большой вероятностью заведомо удовлетворять неравенству (3). В свою очередь, вероятности p (λ) = 0,95 соответствует квантиль распределения (4), равный λ0,95= 1,39. Из сказанного следует, что если найденное из эксперимента критериальное значение λex = D N удовлетворяет условию λex < λ0,95 = 1,39, то нулевая гипотеза Н0 об адекватности модельной функции справедлива. Если же значение λ ex превышает значение λ0,95, то нулевая гипотеза H 0 отвергается. При практическом применении критерия А.Н. Колмогорова критериальный параметр λ ex принимается равным λex = D N . (5) Применение критерия Колмогорова при оценке адекватности модельных функций в методе калибровочных кривых сводится к выполнению следующей последовательности действий: 1. В реальном эксперименте получить эмпирическую зависимость y n = y (x n) выходного сигнала y n от значений входного xn . 2. С помощью экстраполяционной процедуры получить аналитическое выражение для эмпирической функции y (x n) . 3. На основе анализа полученной экспериментальной информации и/или теоретических соображений предложить теоретическую (модельную) функцию, описывающую зависимость выходной реакции анализатора на входные воздействия. 14 4. Методом наименьших квадратов оценить значения параметров θ модельной функции. 5. Графическим или программным образом из сравнения эмпирической и модельной функции найти значение величины D . 6. По формуле (5) вычислить значение критериального параметра λ ex и сравнить его с критическим значением λ0,95 квантиля распределения. Если найденное из эксперимента критериальное значение λex = D N удовлетворяет условию λ < λ0,95 = 1,39, то гипотезу H 0 о соответствии экспериментальной функции модельной следует рассматривать как правдоподобную, не противоречащую опытным данным, а модельную функцию адекватной. В противном случае следует принять гипотезу Н1. Для демонстрации возможностей вышеобозначенных критериев было рассмотрено применение нескольких модельных функций для описания экспериментальных зависимостей, полученных при проведении иммуносорбентного анализа ферментно связанных мононклональных антител и при определении концентрации бензодиазипина методом иммунохроматографии. Рисунок построенные данным 3 Модельные функции, по экспериментальным Рисунок 4 Модельные функции, построенные по экспериментальным данным Из этого перечня модельных функций только экспоненциальные функции имеют простейшее кинетическое обоснование. Из рисунков видно, что адекватные функции (кривые 1 и 3) действительно удовлетворяют всем используемым критериям. В то же время, для линейной функции (кривая 2), обратно пропорциональной функции (кривая 4) и для некоторых других функций критерии, основанные на вычислении коэффициентов детерминации, не позволяют оценить ее неадекватность, в то время как критерий Колмогорова такие функции бракует. Таблица 1 Модельные функции и параметры критериев Модельная функция y = β0 +β1(1 − e−β2x) Номер кривой на рисунке Критерий Колмогорова 1 λ ex =0.73 y = β0e−β1x + β2 2 β1 1 + β2 ⋅ x 0.99 0.97 -2.77 -0.99 λ ex =2.73 0.8 0.77 -0.73 1.27 0.99 0.99 -2.07 -0.22 0.99 0.99 -1.91 0.19 λex > λ0,95 λ ex =1.28 3 λex < λ0,95 4 λ ex =1.52 β0 = 9.14 β1 = 0.30 β2 = 0.02 y= BIC λex < λ0,95 β0 = -0.65 β1 = 4.09 β2 = 220.32 y = β 0 + β 1⋅ x β0 = -0.398 β1 = 0.004 (λ0,95 = 1,39) AIC λex > λ0,95 β0 = 9.65 β1 = 0.03 По результатам проведенных исследований можно сделать вывод, что выбор того или иного метода тестирования ПО зависит, прежде всего, от возможности его применения. При наличии опорного ПО выбор метода сравнительного тестирования будет оптимальным. При отсутствии опорного ПО, а также возможности подачи на вход ПО (программный интерфейс) модельных («опорных») данных может быть выбран метод получения/генерации опорных данных. На выбор методов также влияет и жесткость требований к испытаниям ПО СИ. При высокой жесткости, в большинстве случае необходимо проводить структурное тестирование, т.е. тестированием с применением методов анализ исходного кода ПО. В зависимости от области применения ПО и используемых при его разработке математических алгоритмов возможно применение различных критериев оценки качества ПО. Третья глава посвящена проверке программного обеспечения при испытаниях средств измерений с целью утверждения типа. На основе нормативных документов был проведен анализ правового регулирования ПО СИ в РФ и выделены основные особенности ПО СИ, которые сводятся к следующему: - использование ПО в СИ не должно приводить к искажению измерительной информации; - ПО СИ должно быть защищено от преднамеренных и случайных изменений; 16 - ПО, используемое в конкретных СИ данного типа, должно идентифицироваться и полностью соответствовать ПО, установленному в СИ при испытаниях с целью утверждении типа. Рассмотрена структура и содержание рекомендаций по метрологии Р 50.2.077-2014. «Испытания средств измерений в целях утверждения типа. Проверка защиты программного обеспечения». На Рисунке 3 приведены ее отличительные особенности. Рисунок 5. Отличительные особенности рекомендации Р 50.2.077-2014 Данный документ был разработан специалистами ФГУП «ВНИИМС» в рамках рабочей группы по программному обеспечению СИ, созданной Росстандартом РФ и в него вошла значительная часть наработок и результатов исследований, проведенных в рамках данной диссертационной работой. Сформулированы основные отличительные особенности отечественного подхода к испытанию ПО СИ: - разработчик (изготовитель, заявитель) должен декларировать уровень защиты программного обеспечения, а задача аккредитованной организации - провести работу по установлению соответствия СИ заявленному уровню защиты ПО и зафиксировать это в описании типа СИ; - основными характеристиками программного обеспечения, проверяемыми при испытаниях с целью утверждения типа СИ, являются уровень защиты и идентификация; - допускаются случаи, когда проверку защиты ПО СИ и оценку ее уровня допускается не проводить; - разработчик (изготовитель, заявитель) должен декларировать отсутствие недокументированных возможностей ПО, полноту представленной документации. Сформулированы выводы относительно текущего состояния состояние нормативной базы в области законодательно контролируемого программного обеспечения: - рекомендация Р 50.2.077-2014 отражает основные особенности национального подхода к тестированию программного обеспечения технических средств, входящих в сферу государственного регулирования в области обеспечения единства измерений, при этом, она максимально гармонизирована с международными рекомендациями, относящимися к программному обеспечению средств измерений: документом МОЗМ D31 и рекомендацией WELMEC 7.2. - рекомендации Р 50.2.077-2014 стали заключительным звеном в цепочке документов, состоящих из методик институтов, рекомендаций и национальных стандартов, определяющих требования к ПО СИ, процедуре их оценки и тестированию. - текущее состояние нормативной базы в области законодательно контролируемого программного обеспечения позволяет проводить оценку ПО СИ с учетом передового мирового опыта в данной области и при этом учитывать специфику Российского законодательства со своими особенностями. В четвертой главе проведена апробация рассмотренных в диссертационной работе требований, методов и методик испытаний ПО СИ на примере разработки опорного программного продукта для целей тестирования технических средств и ПО СИ, функционирующих в соответствии с протоколом IEС 61850-9-2 и дополнительными рекомендациями МЭК 61850-9-2LE. Рассмотрены особенности применяемых стандартов. В соответствии с ГОСТ Р 8.654-2009 (ГОСТ Р 8.654-2015) установлены требования к опорному ПО: - документации; - разделению программного обеспечения; - идентификации программного обеспечения; - защите программного обеспечения и данных; - интерфейсу пользователя; - синхронизации данных и обнаружению потерь; - структуре Ethernet кадра для приема SV сообщений. 18 Приведено описание опорного программного продукта, его функций и интерфейсов. Описана процедура оценки вычислительных возможностей программных продуктов с использованием опорного ПО. (тестирование проводилось на реальных массивах данных измерений, полученных от компаний ООО «Систел», ООО «Компания ДЭП» и ООО «ЭнергопромАвтоматизация», а также генераторах цифровых SV сообщений Volcano и iMerge). Описаны этапы проведения оценки, структурная схема (Рисунок 6) испытательного стенда и результаты испытаний Таблица 2 Рисунок 6 Структурная схема испытательного стенда Таблица 2 ООО «Теквел», Volcano, SV80 IA = 1000 А UA = 63500 В ωA = 50 Гц ϕA0= 1.047197551 рад ООО «Теквел», IMerge, SV80 IA = 1000 А UA = 110000 В ωA = 50 Гц ϕA0 = 0,5235987760 рад ООО «Компания ДЭП», SV 80 IA = 5 А UA = 100 В ωA = 50 Гц ϕA0 = 1,832595715 рад ООО «Систел», SV 256 UA = 220 В ωU = 50 Гц ϕU0 = 1,570796327 рад ООО «Систел», SV80 UA = 220 В ωU = 50 Гц ϕU0 = 1,570796327 рад Опорное ПО IA = 999,999593 А UA = 63499,994968 В ωA = 49,999999999998806 Гц ϕA0 = 1.046878141 рад Относительное расхождение, % 0.00004070001656447 0.00000792441007826 0.00000000000240163 0.03051071442706810 IA = 999,999593 А UA = 109999,996102 В ωA = 50,000000000009479 Гц ϕA0 = 0,5231536660 рад 0,00004070001656447 0,00000354363648502 0,00000000001880096 0,08508207605679400 IA = 4,998652 А UA = 100,010244 В ωA = 49,997491649562726 Гц ϕA0 = 1,832985405 рад 0,02696727037609590 0,01024295071212920 0,00501695256010878 0,02125983103968060 UA = 219,995601 В ωU = 50,000000004993794 Гц ϕU0 = 1,5707963286 рад 0,00199958543716812 0,00000000998740290 0,00000010185915775 UA = 219,895029 В ωU = 50,0000009633535 Гц ϕU0 = 1,5707963335 рад 0.04773686812174650 0.00000192670696304 0.00000041380284210 Для задач оценки качества подбора значений модельно-зависимых параметров при применении моделей интерполяции в опорном ПО было предложено использовать метод кросс-валидации в совокупности с количественным критерием оценки качества. Метод основан на проведении оценки для части данных, выбранных из основного набора по остальным данным с последующим вычислением ошибки оценки. После оценок по всем наборам или выборкам оценивается среднее значение полученных оценок. По нему сравниваются различные методы или выбираются наилучшие параметры модели. Процедура кросс-валидации сводится к следующему: Исходная выборка разбивается N различными способами на две, где: непересекающиеся подвыборки - обучающая подвыборка длины m, - контрольная подвыборка длины k = L- m, n=1,…,N - номер разбиения. Далее, для каждого разбиения n строится алгоритм, где наборы параметров модели вычисляется значение функционала качества. В качестве количественного критерия оценки качества используется относительное расхождение между параметрами модели, описывающими на n-ом разбиении обучающую и контрольную подвыборки. На примере генератора SV сообщений, разработанного компаний ООО «Компания ДЕП», было продемонстрировано применение метода K-кратной кросс-валидации (Рисунок 7) для оценки качества подбора значений модельнозависимых параметров при разработке опорного ПО для тестирования ПО СИ цифровых подстанций. Блок 1 Блок 2 … Блок K-1 … Блок K Контрольная Обучающая подвыборка Точность подвыборка Шаг 1 Блок 1 Блок 2 … … Блок K-1 Блок K Q1 Шаг 2 Блок 1 Блок 2 … … Блок K-1 Блок K Q2 . . . . . . . . . . . . Шаг K-1 Блок 1 Блок 2 … … Блок K-1 Блок K QK-1 Шаг K Блок 1 Блок 2 … … Блок K-1 Блок K QK Итоговая оценка точности 20 На основании проведенных испытаний сделаны выводы о правильности реализации опорного ПО и его пригодности для использования в качестве инструмента при подтверждении соответствия ПО. ВЫВОДЫ И ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ Проведенные исследования показали возможность и целесообразность применения новым методов тестирования СИ, в частности его программной составляющей с целью обеспечение доверия к результатам измерений, полученными средствами измерений. Изучение литературных источников, нормативной и технической документации показали перспективность создание новых технических и нормативно-методических решений, обеспечивающих повышение качества испытаний СИ и его программной составляющей. В результате проведенных исследований был обоснован оптимальный набор требований к ПО СИ и разработана рекомендация по метрологии Р 50.2.077-2014, отражающая особенности национального подхода к тестированию программного обеспечения технических средств, входящих в сферу государственного регулирования в области обеспечения единства измерений и максимально гармонизированная с международными рекомендациями, относящимися к программному обеспечению средств измерений. Кроме того, были разработаны два национальных стандарта ГОСТ Р 8.6542015, ГОСТ Р 8.883-2015 и ряд методик института, устанавливающих требования к ПО СИ цифровых подстанций. Обоснована возможность применения критерия Колмогорова для оценки качества ПО СИ для задач, связанных с отбраковкой неадекватных модельных функций. Был разработан и опробован метод проверки программного обеспечения, основанный на использовании метода кросс-валидации и количественного критерия оценки качества ПО. Было разработано «опорное» ПО для целей тестирования ПО СИ, осуществляющих генерацию и/или передачу выборок результатов измерений мгновенных значений измерений тока и напряжения в соответствии с стандартом МЭК 61850-9-2LE. Разработка и тестирование «опорного» ПО осуществлялась с учетом требований к ПО СИ. Результаты испытаний «опорного» ПО отражают правильность его реализации и пригодность для использования в качестве инструмента при подтверждении соответствия ПО СИ. Тестирование и опробование «опорного» ПО проводилось на реальных массивах данных измерений, полученных от компаний ООО «Систел», ООО «Компания ДЭП» и ООО «ЭнергопромАвтоматизация». Разработанные рекомендации, стандарты и методики успешно используются при разработке ПО СИ и проведении испытаний СИ с целью утверждения типа. «Опорное» ПО применяется как инструмент тестирования ПО в рамках работ, проводимых в СДС ПО СИ ФГУП «ВНИИМС». 3. ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ Публикации в ведущих рецензируемых научных журналах, рекомендованных Высшей аттестационной комиссией Министерства образования и науки Российской Федерации: 1. Кудеяров Ю.А., Паньков А.Н. Структура и особенности Руководства WELMEC 7.2 (The Structure and Features of Guidance WELMEC 7.2) // Измерительная техника. 2008. №5. C. 69 – 72, 2. Козлов М.В., Кудеяров Ю.А., Паньков А.Н. Тестирование программного обеспечения средств измерений и информационно-измерительных систем // Приборы. 2009. №3, 3. Паньков А.Н. Подтверждение соответствия программного обеспечения. Сертификация и аттестация программного обеспечения. Система добровольной сертификации программного обеспечения // Приборы. 2015. №1. C. 26 – 28, 4. Кудеяров Ю.А., Паньков А.Н. Новая редакция рекомендаций по метрологии Р 50.2.077-2014 // Приборы. 2015. №1. C. 29 – 33, 5. Кудеяров Ю.А., Паньков А.Н. Критерии оценки адекватности аппроксимирующих функций в методе калибровочных кривых // Измерительная техника. 2015. №7. C. 43 – 46. Публикации в иных рецензируемых научных изданиях: 6. Дудыкин А.А., Кудеяров Ю.А., Паньков А.Н. Проблемы аттестации встроенного программного обеспечения средств измерений // Законодательная и прикладная метрология. 2007. №4 C. 22 – 26. 7. Акимов А.А., Козлов М.В., Кудеяров Ю.А., Паньков А.Н., Раевский И.А., Стефанов А.Ю., Стефанов Ю.В. Стенд для тестирования (испытаний) программного обеспечения средств измерений // Законодательная и прикладная метрология. 2008. №6. C. 25 – 27. 8. Бурдунин М.Н., Кудеяров Ю.А., Паньков А.Н. Оценка качества ПО счетчика - расходомера РМ-5 и счетчика количества теплоты КМ-5 // Главный метролог. 2007. №3. C. 32 – 39. 9. WELMEC 7.2. Руководство по программному обеспечению (основано на Директиве по измерительным приборам 2004/22/EC). – М.: АНО «РСККонсалтинг», 2009. – 183 с. 10. Акимов А.А., Кудеяров Ю.А., Паньков А.Н. Еще раз о проверке программного обеспечения средств измерений в целях утверждения типа // Законодательная и прикладная метрология. 2011. №2. C. 38 – 43. 11. Кудеяров Ю.А., Паньков А.Н. Новая редакция рекомендации по метрологии Р 50.2.077-2013 // Законодательная и прикладная метрология. 2014. №2. C. 13 – 16. 12. Кудеяров Ю.А., Паньков А.Н. Критерии выбора аппроксимирующих функций в методике градуировочных характеристик (Criteria for selection of 22 approximating functions in the method of calibration curves) // Законодательная и прикладная метрология. 2014. №6. C. 22– 27. 13. Кудеяров Ю.А., Паньков А.Н. Criteria for Assessing the Adequacy of Approximating Functions in the Method of Calibration Curves // Measurement Techniques, издательство Instrument Society of America (United States), том 58, №7 14. Кудеяров Ю.А., Паньков, Стефанов Ю.В. Аттестация программного обеспечения средств измерений // Компетентность. 2009. №3. C. 22 – 28. 15. Ю.А. Кудеяров, А.Н. Паньков. Испытания ПО СИ методом перекрестной проверки (кросс-валидации). Главный метролог, №6, 2016, 12-14. 16. В.В. Киселев, Ю.А. Кудеяров, А.Н. Паньков Нормативные основы тестирования технических средств, осуществляющих передачу мгновенных значений измерений в соответствии с серией стандартов МЭК 61850 (ФГУП «ВНИИМС»). Журнал Законодательная и прикладная метрология. №6, 2015. С. 18-24

Ускоренные испытания – испытания, методы и условия проведения которых обеспечивают получение необходимой информации о характеристиках свойств объекта в более короткий срок, чем при нормальных испытаниях или, что то же самое, при проектных условиях эксплуатации. Ускоренные испытания подразделяются на сокращенные и форсированные.

Сокращенные испытания – ускоренные испытания без интенсификации процессов, вызывающих отказы или повреждения. Проведение сокращенных испытаний оправдано в случаях, когда возможен обоснованный прогноз поведения объекта при наработке, превышающей длительность проведенных испытаний.

Форсированные испытания – ускоренные испытания с интенсификацией процессов, вызывающих отказы или повреждения. Результаты форсированных испытаний представительны для нормальных условий эксплуатации объекта тогда, когда имеются однозначные зависимости между воздействующим фактором и показателем надежности. Такие зависимости называю базовыми зависимостями.

Ускорение испытаний характеризуется коэффициентом ускорения – числом, показывающим, во сколько раз продолжительность ускоренных испытаний меньше продолжительности нормальных испытаний (по наработке или по календарному времени). Форсируемый в испытаниях параметр называется ускоряющим фактором испытаний .

На практике применяются различные методы ускоренных испытаний:

Метод линейного возрастания нагружения – метод испытаний, в котором ускорение достигается при линейном повышении нагрузки во времени. Метод применим при линейной зависимости определяющих параметров от времени и постоянной скорости деградационных процессов в условиях эксплуатации.

Метод экстраполяции по нагрузке – метод испытаний при нескольких повышенных уровнях нагрузки и последующей экстраполяции результатов на нормальный уровень нагрузки. Метод применим, когда имеется однозначная зависимость определяемого показателя надежности от нагрузки.

Метод экстраполяции по времени – метод испытаний при нормальных нагрузках в течение времени, за которое накапливаются сведения о накоплении повреждений, достаточные для их экстраполяции на заданную наработку или до наступления отказа. Экстраполяцию нежелательно распространять на интервалы времени, превышающие время испытаний более чем в 1,5 раза.

Метод одноступенчатого нагружения («доламывания») – метод испытаний, в котором объект подвергается повышенной нагрузке после длительной работы при нормальной нагрузке. Применение этого метода правомерно при условии корректности принципа суммирования повреждений. На практике этот режим реализуется следующим образом: после нормальных испытаний объект подвергают форсированным испытаниям до исчерпания ресурса работоспособного состояния. Оценивают остаточный ресурс при форсированном режиме. Сравнивают его с полным средним ресурсом объекта в форсированном режиме. Если этих сведений нет, то проводят испытания новых объектов в форсированном режиме для оценки среднего ресурса. Сравнение полного и остаточного ресурса позволяет оценить степень исчерпания ресурса в проведенных нормальных испытаниях объекта и его полный ресурс в условиях эксплуатации.

Метод интенсификации приработки – метод испытаний, в котором форсируется период приработки. Применим, когда объекту присущ длительный период приработки.

Метод эквивалентных испытаний – метод, в котором испытания проводятся при повышенных нагрузках с анализом влияния на надежность каждого вида нагружения.

Методы уплотнения графика испытаний – методы, в которых сокращаются промежутки между циклами испытаний или увеличивается скорость нагружения. В этом методе есть вероятность получить консервативную оценку показателя надежности.

Метод усечения спектра нагрузок – метод испытаний, в котором исключаются режимы нагружения, характерные для условий эксплуатации, но слабо влияющие на надежность. Применение этого метода правомерно, когда есть полная уверенность относительно слабого влияния на надежность исключенных из графика испытаний режимов.

Метод сравнения с аналогами – метод испытаний в форсированных режимах со сравнением результатов испытаний с результатами, полученными на аналогичных объектах. Выводы по результатам сравнения могут распространяться на эти же режимы или на нормальные условия, в зависимости от объема и полноты имеющейся информации по аналогам.

Результаты ускоренных и нормальных испытаний должны быть сопоставимы, т.е. при идентичной природе отказа получаемые в этих испытаниях значения показателей надежности должны быть одинаковы. Например, равенство вероятности безотказной работы, получаемой в ускоренных (индекс «у») и нормальных (индекс «н») испытаниях, при экспоненциальном законе ее распределения означает выполнение равенства: ехр (-λ н t н )=ехр (-λ у t у ). Получив в ускоренных испытаниях значение интенсивности отказов, можно оценить интенсивность отказов в нормальных условиях из соотношения λ у =λ н k , полагая при этом, что коэффициент ускорения испытаний по времени k=t н/ t у при выбранных нагрузках эквивалентен коэффициенту ускорения испытаний по показателю надежности (вероятности безотказной работы).

Основной вопрос планирования ускоренных испытаний заключается в наличии базовой зависимости, отражающей влияние воздействующего фактора или нагрузки на показатель надежности. Источниками базовых зависимостей могут быть доступные сведения об аналогах. Если таковых нет, то для нахождения базовой зависимости проводятся исследовательские испытания в требуемом диапазоне изменения параметров испытаний. Следующий шаг – выбор ускоряющего фактора и режима ускоренных испытаний. В любом случае при планировании и проведении ускоренных испытаний учитываются результаты всех видов испытаний, проведенных при разработке и постановке на производство данного изделия.

Основное условие при выборе ускоряющего фактора – неизменность по сравнению с нормальными условиями физико-химических процессов, влияющих на надежность. Ускоряющий фактор должен хорошо контролироваться, легко меняться и воспроизводиться. Чаще всего этим требованиям удовлетворяет повышенная температура. Например: При отказах под воздействием термоактивируемых процессов средняя интенсивность отказов (и средняя наработка до отказа тоже) зависит от температуры по закону Аррениуса: λ=λ 0 ехр (-Е/kТ ). Или, общепринятая зависимость длительной прочности от температуры Т и напряжения σ при сроке службы более 100 тыс. часов имеет вид: Т р =аТ 2 σ -n ехр (b-сσ ).

В последние годы вопрос о приемочных испытаниях стоит очень остро. Многие считают, что стандарты в нашей стране используются на добровольной основе, а Технический регламент не дает прямых указаний на необходимость приемочных испытаний. Встречаются и такие суждения: зачем вкладывать лишние средства, если все равно нужно оформлять сертификат. Или: разрешение на применение можно не получать, приемочные испытания тоже лишняя процедура, и т. д.

Попробуем разобраться.

Технический регламент

С середины февраля 2013 года вступил в силу документ, который долго ждали: "О безопасности машин и оборудования" ТР ТС 010/2011. В нем прописаны прямые указания по гарантии безопасности при проектных работах и последующем изготовлении. То есть разговор идет о том, что необходимо определить и установить допустимый для машины и/или оборудования риск. При этом уровень безопасности должен быть обеспечен:

комплексом расчетов и испытаний, которые основаны на проверенных методических разработках;
полнотой опытно-конструкторских и научно-исследовательских работ;
изготовление машины и/или оборудования должно сопровождаться испытаниями, прописанными в прилагаемой конструкторской (проектной) документации.

То есть понятно, что и проектная организация, и производитель обязаны произвести испытания объекта. Они предусматриваются проектной документацией, их необходимо осуществить до сертификации (процедуры, подтверждающей соответствие). Очевиден факт декларирования - наличия документа о собственных испытаниях, проведенных до процедуры подтверждения. Но непонятно, какие испытания имеются в виду.

Понятие «испытание»

Оно означает техническое действие, которое дает возможность проверить инженерные характеристики объекта (изделия), определить степень износа, качество и пригодность к длительному использованию. Испытывать опытный образец разрешено как по отдельным элементам, так и в комплексе.

Этапы испытаний

Выделяют ведомственные, межведомственные и государственные приемочные испытания. ГОСТ 34.601-90 устанавливает следующие их виды:

предварительные;
опытные;
приемочные.

Любой из них требует соблюдения определенной процедуры, для которой разрабатываются специальный документ - программа приемочных испытаний. Ее должен утвердить заказчик. В программе прописывается объем испытаний, причем как необходимый, так и достаточный, обеспечивающий назначенную полноту получаемых результатов и их достоверность.

Предварительные испытания должны проводиться после тестирования и предварительной отладки оборудования.

Опытные испытания проходят с целью определения готовности оборудования (машины, системы) к постоянной эксплуатации. Без этих испытаний запрещено проводить приемочные тесты.

Завершающий этап

Это приемочные испытания. От них зависит путевка в жизнь разрабатываемого оборудования (машины, системы). Этот этап дает ответы на вопросы, поставленные перед проектировщиками. В первую очередь, это соответствие заданному назначению, производительности и технико-экономической эффективности, то, будет ли она соответствовать современным требованиям техники безопасности и способствовать улучшению труда рабочих.

Еще в ходе приемочных испытаний проверяют:

оценку успешности пройденных опытных испытаний;
принятие решения о возможности запуска оборудования (машины, системы) в промышленную эксплуатацию.

Проводятся приемочные испытания на объекте заказчика (причем уже действующем). Для этого издается приказ или распоряжение об исполнении необходимых работ.

Оба этих документа пишутся по действующим положениям и стандартам, разработанным для отдельных видов объектов. Утверждаются они министерствами, курирующими проектирующие организации.

В программе подробно прописываются:

цель предстоящих работ и их объем;
критерии приемки как объекта в целом, так и его частей;
перечень объектов, подлежащих испытаниям, а также список требований, которым объект должен соответствовать (обязательно с указаниями на пункты технического задания);
условия прохождения испытаний и сроки;
материальное и метрологическое обеспечение предстоящих работ;
средства проведения испытаний: технические и организационные;
методика проведения приемочных испытаний и обработки полученных результатов;
фамилии лиц, назначенных ответственными за проведение испытательных работ;
перечень необходимой документации;
проверка ее качества (в основном эксплуатационной и конструкторской).

В зависимости от технических и прочих характеристик объекта исследования, документ может содержать указанные разделы, но при необходимости они могут быть сокращены или введены новые.

Пакет документов для разработки Программы и методики

Требования к оформлению и содержанию этих документов регламентируются ГОСТ 13.301-79.

Перечень документов для создания Программы и методики не является постоянным. Он изменяется в зависимости от отношения тестируемого объекта к тому или министерству или организации. Но в общем случае потребуются следующие документы:

руководство по эксплуатации;
нормативно - техническая документация: технические условия, стандарты и пр.;
паспорт принимаемого объекта;
документы о пройденной регистрации от предприятия-изготовителя;
чертежи и описания;
протоколы заводских испытаний (для иностранных производителей).

Составленные и заверенные Программа и методика испытательных работ заказчиком и специалистами Ростехнадзора регистрируется в Федеральном Агентстве.

Комиссия

Для приемочных испытаний она формируется соответствующим указом по предприятию. В комиссию должны входить представители поставщика комплектующих частей, заказчика, проектной организации, разработчика, органов технадзора и организаций, занимающихся монтажными и Утверждается комиссия профильным министерством.

В своей работе комиссия использует следующие документы:

техническое задание на создание оборудования (машины, системы);
протокол предварительных испытаний;
исполнительную документацию по проведению монтажа;
программу приемочных испытаний;
акты (при необходимости);
рабочие журналы с опытных тестов;
акты приемки с них и завершения;
техническую документацию на оборудование (машину, систему).

Перед приемочными испытаниями системную документацию и техническую дорабатывают согласно замечаниям протокола проведения предварительных испытаний и акта о завершении опытных тестов.

Предприятие-производитель и проектирующая организация должны предоставить приемочной комиссии:

материалы проведенных предварительных испытаний;
опытные объекты, удачно прошедшие предварительные испытания;
рецензии, заключения экспертов, патенты, авторские свидетельства, оформленные в процессе приемочных испытаний на образец разработки;
прочие материалы, утвержденные методиками испытаний для определенных видов объектов и типовыми программами.

Проверка

Это один из главных пунктов приемочных испытаний. Они не должны дублировать предыдущие этапы, а сроки их проведения сжаты.

Приемочные испытания включают в себя проверку:

качества и полноты реализации функций оборудования (машины, системы) в соответствии с техническим заданием;
работы обслуживающего персонала в диалоговом режиме;
исполнения любого требования, относящегося к оборудованию (машине, системе);
комплектности эксплуатационной и сопроводительной документации, и их качества;
методов и средств, необходимых для восстановления работоспособности объекта после возможных отказов.

Если испытываются два и более объекта, обладающих сходными характеристиками, то для испытаний создаются одинаковые условия.

На протяжении приемочных испытаний не проводятся исследования на долговечность и надежность, но полученные по ходу тестов показатели должны заноситься в соответствующие акты.

Окончание испытаний

Приемочные испытания завершаются технической экспертизой. То есть, объект разбирается, и устанавливаются техническое состояние его элементов (узлов), а также трудоемкость разборки и сборки всего объекта исследования.

По окончании работ комиссия разрабатывает и составляет протокол проведённых испытаний. На его основе далее будет приемки. В случае необходимости комиссия определяет объем доработки оборудования (машины, системы) и/или технической документации, а также дает рекомендации по запуску тестируемого объекта в серийное производство.

Если это невозможно, то акт проведения приемочных испытаний дополняется предложениями по совершенствованию изделия, повторному приемочному испытанию или требованием по прекращению работ над объектом.

Акты и результаты

Акты о приемке объекта утверждает руководство предприятия, назначившее комиссию для проведения испытаний.

Методика приемочных испытаний рекомендует в случае необходимости рассмотреть результаты проведенных испытаний на научно-техническом совете профильного министерства или предприятия, разрабатывающего объект совместно с заказчиком (то есть еще до утверждения акта приемки).

Решение о запуске испытанных объектов в серию принимается на основании материалов и рекомендаций приемочной комиссии и/или научно-технического совета приказом по министерству. В нем обязательно указывается объем производства, и даются рекомендации по внедрению.

Акт приемочных испытаний

Четыре года назад были отменены унифицированные формы первичных документов. Это дало организациям право разрабатывать собственные шаблоны любого документа. Главное, при этом соблюдать следующие требования:

Подписывается документ всеми лицами, его составившими. Если одно из них действует по доверенности, это необходимо отразить в акте.
На законность акта не влияет, оформлен он на обычном листе писчей бумаги или на фирменном бланке. Как, кстати, и то, от руки написан документ или набран на компьютере (главное - «живые» подписи).
Штампы и печати ставятся на документ, если это прописано в уставе и/или учетной политике организации.
Логически акт имеет три части: начало (так называемую шапку - дата, название, место составления), основную часть и заключение.

Количество экземпляров документов равно количеству подписавших его сторон. Каждый из них имеет одинаковый правовой статус и идентичный текст. Информация об акте заносится в специализированный журнал учета документации организации.

Ошибок и описок в документе о проведении приемочных испытаний быть не должно. Потому как он может быть не только основанием для постановки объекта на баланс организации или его списания, но и основным подтверждающим документом при обращении с исковым заявлением в судебную инстанцию.

По центру страницы пишется название документа, ниже - место составления (город, поселок и т. д.) и дата.

Основная часть акта содержит следующую информацию:

Состав комиссии . Указывается предприятие (организация, министерство), представители, которых будут подписывать документ, далее их должности и полные фамилия, имя и отчество.
Наименование объекта и реальный адрес его монтажа.
Подробно расписанный перечень испытательных работ (оформляется в виде списка или таблицы) с информацией об условиях прохождения испытаний.
В случае обнаружения недостатков их, как и предложения по устранению, вносят либо ниже, либо оформляют приложение к акту.
Акт приемочных испытаний (образец приведен ниже) заканчивается выводами комиссии о дееспособности или недееспособности испытуемого объекта.

Мнение какого-либо члена комиссии, отличное от остальных, обязательно прописывается либо в самом акте (отдельным пунктом), либо в приложении к нему. Все сопровождающие акт бумаги тоже перечисляются в нем.

И только после этого все участники составления документа ставят свои подписи и расшифровывают их.

Завершение работ

Подписанный акт входит в комплект объект, который проходит испытания. Хранится акт либо в соответствии с действующим законодательством, либо в порядке, установленном нормативными актами организации.

ГОСУДАРСТВЕННЫЙ КОМИТЕТ СССР ПО СТАНДАРТАМ

МЕТОДИЧЕСКИЕ УКАЗАНИЯ

НАДЕЖНОСТЬ В ТЕХНИКЕ. УСКОРЕННЫЕ ИСПЫТАНИЯ.
ОСНОВНЫЕ ПОЛОЖЕНИЯ

РД 50-424-83

Москва

ИЗДАТЕЛЬСТВО СТАНДАРТОВ

РАЗРАБОТАНЫ Государственным комитетом СССР по стандартам ИСПОЛНИТЕЛИ

В.Ф. Курочкин, А.И. Кубарев, Е.И. Бурдасов, И.З. Аронов, Ж.Н. Буденная, К.А. Криштоф, Н.А. Сачкова, Т.Н. Дельнова, А.И. Кусков, Р.В. Кугель, В.П. Важдаев, К.И. Кузьмин, Л.Я. Подольский, Л.П. Лозицкий, А.Н. Ветров, В.Ф. Лопшов, В.Н. Любушкина, В.К. Медвежникова

ВНЕСЕНЫ Государственным комитетом СССР по стандартам

УТВЕРЖДЕНЫ И ВВЕДЕНЫ В ДЕЙСТВИЕ Постановлением Государственного комитета СССР по стандартам от 10 октября 1983 г. № 4903

РУКОВОДЯЩИЙ НОРМАТИВНЫЙ ДОКУМЕНТ

Утверждены Постановлением Госстандарта от 10 октября 1983 г. № 4903, срок введения установлен с 1 января 1985 г.

Настоящие методические указания распространяются на изделия машиностроения и приборостроения и устанавливают основные принципы ускорения испытаний на надежность, которые рекомендуется применять при разработке нормативно-методической (программы и методики) и технической (испытательное оборудование) основ системы государственных испытаний продукции по ГОСТ 25051.0-81.

Основные понятия в области ускоренных испытаний на надежность и их определения приведены в справочном приложении.

. ОБЩИЕ ПОЛОЖЕНИЯ

где CN,N и - срок службы N -гo объекта в выборке объема N , упорядоченной по возрастанию, при нормальных и ускоренных испытаниях, соответственно;

М - оператор математического ожидания.

Коэффициент пересчета показателей надежности, выраженных через календарную продолжительность, определяют по методу равных вероятностей (черт. 1), который заключается в следующем. На стадии предварительных исследований берут две случайные выборки из одной и той же партии изделий. Одна из них испытывается в нормальных условиях, другая - в режиме ускоренных испытаний. В процессе испытаний фиксируются моменты отказа изделий. По полученным экспериментальным данным находится функция K 1,p (см. черт. ) как геометрическое место точек, соответствующих равным квантилям р. Чтобы убедиться, что функция K 1,p, будет инвариантом производства, необходимо повторить эксперимент на нескольких партиях. При наличии функции K 1,p результаты ускоренных испытаний любой другой выборки приводятся к нормальным условиям.

Если же показатель надежности подсчитывают по наработке, то коэффициент пересчета равен единице.

Пересчет показателей надежности по методу равных вероятностей

С и С* - срок службы при нормальных и ускоренных испытаниях, соответственно; Р - вероятность недостижения предельного состояния; K 1,p - функция пересчета

где αi , αj - доли наработки в i -м нормальном и j -м форсированном режимах, соответственно;

Kji = 1 / Kij - коэффициент пересчета от j -го форсированного режима к i -му нормальному;

Ki - коэффициент пересчета от комплексного форсированного режима к i -му нормальному;

Kj - коэффициент пересчета от j -го форсированного к комплексному нормальному.