软件可信评估系统的建立方法.ppt

软件可信评估系统的建立方法 Trustie课题组 2010.8.19 报告内容 国际上几种典型软件评估系统 建立软件可信评估系统的关键问题及解决方案 几种典型的软件评估方法 Open Source Maturity Model (OSMM) – Navica，2004 Qualification and Selection of Open-Source software (QSOS) ，2004 Open Business Readiness Rating for Open Source (OpenBRR)，2005 Open Business Quality Rating (OpenBQR),2007 软件评估系统的评估对象与作用 国外对于免费、开源软件的评估系统 Free and open source software,简称F/OSS, FOSS, or FLOSS 对于用户——支持软件的选择 对于开发人员——支持对新版本成熟度的判定 对软件开发具有指导作用 OSMM 软件成熟度评估模型 成熟度由6个条件来判定： Software, Support, Documentation, Training, Integration, Professional Services 软件评估结果由6个条件分值的加权求和得到 OpenBRR 定义了一种评估模型与评估过程 评估分为四个阶段： OpenBRR评估模型 OpenBRR的软件评估模型的标准 完全的，简单的，可适应的，一致的（Complete, Simple, Adaptable, and Consistent ——CSAC) 完全的：能够突出软件的每一个主要特性，保证评估的正确性，不会产生误导。 简单的：易于理解和易于使用。 可适应的：是开放的，可定制的和易于扩展的。 一致的：对于不同类型软件，在级别与度量尺度定义上应是统一的。 QSOS OpenBQR 将OpenBRR和QSOS进行集成和扩展 评估过程分为三个阶段： Quick Assessment Filter Data Collection Processing Data Translation 软件评估系统的要素 评判指标 确定基本结构 确定指标项权重 指标项度量与综合方法 评估证据数据 评估执行软件 建立软件可信评估系统的关键问题 建立软件可信评估指标 软件可信评估指标项的度量与综合 软件可信评估系统的建立 软件可信评估指标的建立 软件可信属性模型 软件可信证据模型的建立 软件可信指标的建立 软件评估指标示例 建立软件可信指标中注意的问题 指标项要清晰的内涵，尽量避免模糊不清 语义模糊：Stability,popularity,support… 语义清晰：time for installation, number of critical bugs opened,… 指标项对应的原始数据要能够实际获得 软件可信评估指标项的度量与综合 软件可信分级的确定 指标项的度量尺度 指标度量值的综合 软件可信等级的确定 软件可信等级划分的重要依据是软件对用户所期望的可信属性的满足程度 对规范中现有的可信级别定义进行扩展，在第3，4级下面再定义子级，如3.A,3.B,3.C;4.A,4.B,4.C等。 指标项的度量尺度 一般采用离散的度量尺度 OpenBRR，5级——{1，2，3，4，5} QSOS，3级——{0，1，2} 建议指标项的度量尺度与评估级别的划分一致 可采用5级——{1，2，3，4，5} 指标度量值的综合 计算加权和方法 最大频率法 计算加权和方法 确定被综合指标项的权重weight weight∈[0,1],且 综合结果result= 如果valuei ∈[1,5],则result∈[1,5] 权重可根据经验直接指定，也可利用AHP(Analytic Hierarchy Process)法计算得到 使用比较广泛 OSMM,OpenBRR,QSOS等都采用 最大频率法 为每个级别定义各指标项的阈值 多指标项的综合结果取出现频率最大的级别 简单但不能全面反映各指标项的作用 例SQO-OSS模型（Aristotle University of Thessaloniki, Greece） 最大频率法示例：SQO-OSS模型 可信评估软件的建立 可信评估软件实现软件可信等级的评估过程 软件应具有很强的灵活性，从而支持各类软件的可信评估 指标的可配置性 权重的可配置性 典型示例——OpenBRR系统 * 可信 共享 协同 软件初步过滤 剪裁与确定评估指标模板 搜集评估原始数据并度量 通过加权和计算软件的评估值 评估条件分