验证及确认
验证及确认(Verification and validation)两者是独立的过程,若两者一起使用,可以用来检查产品、服务或系统满足需求和规格并且符合其原来预期的目的[1]。这些是品质管理系统(例如ISO 9000)的关键组件。有时会在“验证及确认”前面加上“独立”(independent)一词,表示验证及确认是由公正的第三方执行的。“独立验证及确认”可以简称为“IV&V”。
在实务上,在质量管理方面,验证及确认的定义可以不一致。有时甚至可以交换使用[2][3][4]。
电气电子工程师学会(IEEE)采用的标准PMBOK指南中在第 4 版中的定义如下 [5]:
- “确认(Validation):保证产品、服务或系统满足客户和其他已识别的利益相关者的需求。它通常涉及外部客户的接受度和适应性。与验证形成对比。”
- “验证(Verification):评估产品、服务或系统是否符合规定、需求、规格或其他附加条件。多半是组织内部的流程。与确认形成对比。”
简介
验证(Verification)的目的是要确认产品、服务或系统(或其中的一部分,或是多个形成的组合)是否符合一系列的设计规范[6][7]。在开发阶段的验证包括对产品、服务或系统(或其中的一部分)的专门测试,可能是针对样品测试,也可能是用模拟的方式测试。再针对测试结果进行分析或检查。在开发阶段后的验证是定期性进行的测试,确认当时的产品、服务或系统符合原始的设计需求、规格及法规要求[7][8]。验证是确认产品、服务或系统符合在法规、规格化,或是其他在开发初期提出的条件。验证可以在开发阶段进行、批量进行,也可以在量产时进行。验证多半是内部流程。
确认(Validation)的目的是要确认产品、服务或系统(或其中的一部分,或是多个形成的组合)是否符合使用者的操作需求[7][9]。针对新的开发流程或是验证流程,确认程序是针这两个流程建模,用模拟方式来预测是否有错误或是不足之处,可能会造成产品、服务或系统的开发或是验证出现失效或是不完整的情形。一组的确认需求(由客户定义)、规格以及法规就可以做为评估产品、服务或系统(或其中的一部分,或是多个形成的组合)的开发流程或是验证流程是否有效时的基准。另外也可能会有确认过程中的变更、开发流程或是验证流程的变更是否仍可以让产品、服务或系统(或其中的一部分,或是多个形成的组合)符合原始的设计需求、规格以及法规。确认流程有助于让开发流程或是验证流程符合相关规定[来源请求]。确认流程可以建立高度准确的证据,确保产品、服务或系统符合原始的需求。这常常和终端客户或其他产品利益相关者的接受程度及适用性有关。确认多半是外部流程。
可以将确认描述为这个问句“你做的是正确的事吗?”(Are you building the right thing?)[10],而验证则是“你有把事情做正确吗?”(Are you building it right?)[10]。“做正确的事?”是回归到客户的需要,而“把事情做正确”则是检查系统是否有正确的实现规格中的内容。有些情形下,需要在判定是否相容的正式程序或是协定上有明文列出的需求。
有可能一个产品通过验证(符合规格),但无法通过确认(不符合客户需求)。例如产品是依规格所建立,但规格没有充份说明客户的需求。
活动
机械及设备的验证一般会包括设计验证(design qualification、DQ)、安装验证(installation qualification、IQ)、操作验证(operational qualification、OQ)及性能验证(performance qualification、PQ)。设计验证可以由制造商或是客户来进行,透过审核及测试来确认设备符合书面的采购规格。若机械及设备的相关文件是由制造商提供的,后面的三个验证需要由熟悉工业法规的用户,完整的进行验证。不然,IQ, OQ及PQ的程序就是确认相关的任务。常见的例子是针对一些没有制造商文件(或文件已遗失)的老旧设备,或是一些DIY的组件(例如车辆配件、电脑等),若是可以,使用者需设法找到制造商的文件。DQ、IQ、OQ及PQ程序的样本多半都可以在网络上找到,而机械及设备的DIY验证资料可能可以透过制造商的训练课程教材及指南中取得,或是已发行的指导书。这类DIY的作法也适用于软件验证、电脑操作系统的验证,以及生产程序的验证。活动的最后一步,也是最重要也最关键的步骤,是产生机械及设备的验证报告,并且归档,若是有相关法规强制要求的话,此报告是之后审核的依据。
机械及设备的验证也和其所在的场所有关,特别是一些对振动敏感,需要调整平衡或是校正的设备,这类设备若进行了位置的移动,需要再重新验证。若一些消耗品(例如滤网)需更换,或是已使用一定的期间,可能需要进行完整的验证[11][12]。若有进行零件更换,和其他设备耦合使用、安装新的应用软件或是重新调整电脑,影响到预设定资料时(例如BIOS、注册表、GUID磁盘分割表、动态连结数据库、或是INI文件等),也需要再重新验证。这些情形下,不论零件/设备/软件是否是原厂的,其规格以及重新调整的提案也应该附在验证报告中。Torres和Hyman曾讨论过在实务上,非原厂零件的适用性,并且提供了指南,让用户可以选择适当的替代品,并且可以避免负面影响[13]。若是因为法规要求,需要使用原厂的零件/设备/软件,就不能针对非原厂的零件进行重新验证,而且该资产不符合法规要求,需要回收。
若机械及设备的验证是由第三方的标准公证组织,例如针对特殊领域的国际标准化组织标准认证公司,此程序则称为认证(certification)[14][15]。
确认的分类
确认工作一般可以分为以下几类:
- 前瞻性确认:在新的产品发布之前进行的确认,目的是确认所关注的特性可以正常运作,并且符合安全标准[16][17]。可以用在法规、指南以及提案[18][19][20]、方法[21]、原理/假说/模型[22][23]、产品以及服务[24][25]。
- 回顾性确认:针对已在使用、发布或是正式生产的事物的确认。确认会针对书面规范或是预定决定的期望,依照其历史资讯或事件的文件或记录来进行。若有短少关键的资料,就无法进行完整的确认,可能只会进行局部的确认[16][26][27]。若在以下情形时,需要进行回顾性确认:
- 没有前瞻性确认的资料,之前的确认方式不适当,或是有造假。
- 法规或是标准的变化,影响到已经发布给大众或是市场上的产品相容性。
- 重新使用一些已不用的事物。
- 完全确认
- 局部确认:常用在时间受限时的研究以及先期计划。会测试最重要以及最明显的效应。若以分析化学的观点,这些效应是选择性、准确度、可重复性、线性以及其范围。
- 交叉确认
- 再确认/定位或是定期确认,针对已被淘汰、修复、和其他设备整合或是耦合的设备,更换过位置的设备,或是针对设备定期进行的确认。这类的例子有驾照的定期重新考核、重新认证过期或是有更动位置的分析天平、其至是专业人士的定期资格考核[33][34]。再确认也会发生在活动中出现变化的情形下,例如科学研究或是临床试验要进入下一个阶段。这些变化可能包括
- 在GLP认证的实验室中,常常依照欧洲药典或国际药典的专著来进行验证或再确认,以满足不同国家的需求,也有可能只考虑单一国家的需求,以美国药典或英国药典为准[43]。这些实验室也需要进行方法的确认[44]。
- 并行确认:在服务、制造或工程进行中同时进行的确认,以下是一些例子
确认的项目
确认工作中最常需要确认的项目可能包括以下几项:
- 灵敏度和特异度
- 准确与精密
- 重复性
- 重现性
- 检测极限:特别针对痕量元素。
- 定量限
- 曲线拟合以及其范围
- 系统适用性:是系统中各元件之间的坚固性测试,或是测试系统的故障容许度[45][46][47]。此一系统也可能包括测试程序,待测物质种类以及相关设备等。美国食品药品监督管理局(FDA)曾经定义过系统适用性[48]。目前这种方式只限于药物药典方法,侦测不纯物质或是待测物浓度会关系到性命的情形。这可能是因为
产业标准
这些词语广泛的用在不同的产业及组织中。针对不同的产品、法规以及产业,也可能会有不同的意义以及需求。以下是一些例子:
- 软件及电脑系统
- 食品及药物
- 药品的设计、制造以及运送都受到高度的监管。其中也包括相关的软件系统。例如美国的食品药物管理局(FDA)就在联邦法规的第21篇有其相关的规定[50]。药品生产流程有计多不同的确认主题[51]。有些公司中有人很了解法规要求,会以风险为基础的处理方式,确认其GAMP,大部分的公司则是使用传统的作法[52][53]。这些是GxP管理的一部分。若有出现偏离规格(OOS)的情形,其验证及确认的层面会更密集,也会更加重视[54]。常常会需要针对OOS的检测,在测试实验室进行多次样品的分析
- 医疗器械:FDA(21 CFR)有针对医疗器械有验证及确认的要求,列在ASME V&V 40[50][55][56][57]以及ISO 13485。
- 美国食品药品监督管理局也规定要进行制造程序以及清洁度的确认,是强制性的[58][59][60][61]
- 食物卫生,例如[62]
- 临床实验医学:ISO 15198:2004,有关体外医学诊断设备的确认方式
- 医疗卫生:例如[63]
- 温室气体:ISO 14064 ANSI/ISO,温室气体验证及确认机构的要求
- 交通运输
- 建模[65]
- 镍镉电池:例如[66]
- ICT产业:例如[67]
- 土木工程
- 经济学
- 会计学
- 农业:应用范围很广,从验证农业的方法论及生产流程,到确认农业的建模[68][69][70][71][72]
- 房地产评估:审计报告及验证[73]
- 军备控制
相关条目
参考资料
- ^ Global Harmonization Task Force - Quality Management Systems - Process Validation Guidance (GHTF/SG3/N99-10:2004 (Edition 2) page 3
- ^ Ad Sparrius. Everything You Thought You Knew about Validation and Verification is Probably Dodgy (PDF). 12th INCOSE SA Systems Engineering Conference. 2016 [2018-04-30]. (原始内容 (PDF)存档于2018-08-06).
There are some authors who apparently regard these two terms as synonymous, others who seem to be only vaguely aware of the differences. Some even appear to believe that V&V is one word! ... There is such a fundamental difference between these models that the term validation has many years ago been selected to be different from the term verification. Nevertheless, it is debatable whether the distinction between validation and verification should be continued.
(页面存档备份,存于互联网档案馆) - ^ James D. McCaffrey. Validation vs. Verification. 2006-04-28 [2018-04-30]. (原始内容存档于2018-08-06).
Two terms that sometimes confuse software test engineers are "validation" and "verification". ... Obviously the two IEEE definitions are so close to each other it’s hard to determine the difference.
(页面存档备份,存于互联网档案馆) - ^ Difference between Verification and Validation. Software Testing Class. [2018-04-30]. (原始内容存档于2018-04-26).
In interviews most of the interviewers are asking questions on “What is Difference between Verification and Validation?” Lots of people use verification and validation interchangeably but both have different meanings.
(页面存档备份,存于互联网档案馆) - ^ IEEE. IEEE Guide--Adoption of the Project Management Institute (PMI®) Standard A Guide to the Project Management Body of Knowledge (PMBOK® Guide)--Fourth Edition: 452. [28 March 2017]. doi:10.1109/IEEESTD.2011.5937011 (不活跃 2019-07-11). (原始内容存档于2019-04-19). (页面存档备份,存于互联网档案馆)
- ^ "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | verification 5. ...product, service, or system complies with a regulation, requirement, specification, or imposed condition.
- ^ 7.0 7.1 7.2 IEEE 1012-2004, IEEE: 9, 2004
- ^ "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | verification 6. ...comply with requirements (e.g., for correctness, completeness, consistency, and accuracy) for all life cycle activities during each life cycle process (acquisition, supply, development, operation, and maintenance)
- ^ "Systems and software engineering - Vocabulary," ISO/IEC/IEEE std 24765:2010(E), 2010. | validation (especially 1. & 2.)
- ^ 10.0 10.1 Barry Boehm, Software Engineering Economics, 1981
- ^ Analytical & Precision Balance Co. Welcome. [18 March 2008]. (原始内容存档于2008-04-12). (页面存档备份,存于互联网档案馆)
- ^ Scientech. External Calibration. [18 March 2008]. (原始内容存档于2020-01-29). (页面存档备份,存于互联网档案馆)
- ^ Torres, Rebecca E.; William A. Hyman. Replacement Parts-Identical, Suitable, or Inappropriate?. 2007 [29 March 2008].
- ^ AppLabs. ISV, IHV Certification Programs. [26 March 2008]. (原始内容存档于16 February 2008). (页面存档备份,存于互联网档案馆)
- ^ AppLabs. AppLabs attains ISO27001:2005 accreditation. [26 March 2008]. (原始内容存档于2008-03-12). (页面存档备份,存于互联网档案馆)
- ^ 16.0 16.1 Guideline on general principles of process validation. U.S. Food and Drug Administration. [12 July 2008]. (原始内容存档于6 June 2009). (页面存档备份,存于互联网档案馆)
- ^ Prospective validation. Groupe Novasep. [24 September 2008]. (原始内容存档于2008-11-15). (页面存档备份,存于互联网档案馆)
- ^ Quinn, James; McDermott, D; Stiell, I; Kohn, M; Wells, G; et al. Prospective Validation of the San Francisco Syncope Rule to Predict Patients With Serious Outcomes. Annals of Emergency Medicine (Elsevier). 2006, 47 (5): 448–454. PMID 16631985. doi:10.1016/j.annemergmed.2005.11.019.
- ^ Sangiovanni, A.; Manini, M; Iavarone, M; Fraquelli, M; Forzenigo, L; Romeo, R; Ronchi, G; Colombo, M; et al. Prospective validation of AASLD guidelines for the early diagnosis of epatocellular carcinoma in cirrhotic patients. Digestive and Liver Disease (Elsevier). 2007, 40 (5): A22–A23. doi:10.1016/j.dld.2007.12.064.
- ^ Germing, U.; et al. Prospective validation of the WHO proposals for the classification of myelodysplastic syndromes. Haematologica. 2006, 91 (12): 1596–1604 [24 September 2008]. PMID 17145595. (原始内容存档于2010-11-12). (页面存档备份,存于互联网档案馆)
- ^ Sciolla, Rossella; Melis, F; Sinpac, Group; et al. Rapid Identification of High-Risk Transient Ischemic Attacks: Prospective Validation of the ABCD Score. Stroke (American Heart Association). 2008, 39 (2): 297–302. PMID 18174479. doi:10.1161/STROKEAHA.107.496612.
- ^ Pfisterer, Matthias; et al. Drug-eluting or bare-metal stents forlarge coronary vessel stenting? The BASKET-PROVE (PROspective Validation Examination) trial: Study protocol and design. American Heart Journal (Mosby-Year Book Inc.). 2008, 115 (4): 609–614. PMID 18371466. doi:10.1016/j.ahj.2007.11.011.
- ^ Van Geest-Daalderop, Johanna H. H.; Hutten, Barbara A.; Péquériaux, Nathalie C. V.; Levi, Marcel; Sturk, Augueste; et al. Improvement in the regulation of the vitamin K antagonist acenocoumarol after a standard initial dose regimen: prospective validation of a prescription model. Journal of Thrombosis and Thrombolysis (Springer). 2008, 27 (2): 207–14. PMID 18270659. doi:10.1007/s11239-008-0203-4.
- ^ Ames, D.; Keogh, A.M.; Adams, J.; Harrigan, S.; Allen, N.; et al. Prospective validation of the EBAS-DEP – A short sensitive screening instrument for depression in the physically ill elderly. European Psychiatry (Elsevier). 1996, 11 (Supplement 4): 361s. doi:10.1016/0924-9338(96)89148-6.
- ^ Kidwell, Chelsea S.; Starkman, S; Eckstein, M; Weems, K; Saver, JL; et al. Identifying Stroke in the Field: Prospective Validation of the Los Angeles Prehospital Stroke Screen (LAPSS). Stroke (American Heart Association). 2000, 31 (1): 71–76 [24 September 2008]. PMID 10625718. doi:10.1161/01.str.31.1.71.[永久失效链接]
- ^ U.S. Food and Drug Administration. Ch. 4 PROCESS VALIDATION in Medical Device Quality Systems Manual. [6 August 2009]. (原始内容存档于2013-09-27). (页面存档备份,存于互联网档案馆)
- ^ Groupe Novasep. Retrospective validation. [24 September 2008]. (原始内容存档于2008-11-15). (页面存档备份,存于互联网档案馆)
- ^ Vieth, Erich. Who changed the Bible and why? Bart Ehrman's startling answers. [28 August 2013]. (原始内容存档于2013-10-10). (页面存档备份,存于互联网档案馆)
- ^ Arlandson, James M. Domestic violence in Islam. [17 October 2008]. (原始内容存档于2020-02-29). (页面存档备份,存于互联网档案馆)
- ^ Hart, D.; S.W. Smith. Retrospective Validation of a Clinical Decision Rule to Safely Rule Out Subarachnoid Hemorrhage in Emergency Department Headache Patients. Annals of Emergency Medicine. 2007, 50 (3): S102–S103. doi:10.1016/j.annemergmed.2007.06.388.
- ^ Kluger, Michael D.; et al. Retrospective Validation of a Surveillance System for Unexplained Illness and Death: New Haven County, Connecticut. American Journal of Public Health. 2001, 91 (8): 1214–1219. PMC 1446748 . PMID 11499106. doi:10.2105/AJPH.91.8.1214.
- ^ Fine, Leon G.; et al. How to evaluate and improve the quality and credibility of an outcomes database: validation and feedback study on the UK Cardiac Surgery Experience. BMJ. 2003, 326 (7379): 25–28 [26 September 2008]. PMC 139501 . PMID 12511458. doi:10.1136/bmj.326.7379.25. (原始内容存档于2003-06-27). (页面存档备份,存于互联网档案馆)
- ^ Department of Health. The White Paper Trust, assurance and safety: The regulation of health professionals. [30 September 2008]. (原始内容存档于2012-10-05). (页面存档备份,存于互联网档案馆)
- ^ Merkur, Sherry. Physician revalidation in Europe. Clinical Medicine (Royal College of Physicians). 2008, 8 (4): 371–6. PMC 4952927 . PMID 18724601. doi:10.7861/clinmedicine.8-4-371.
- ^ Australian Pesticides & Veterinary Medicines Authority. Guidelines for the Validation of Analytical Methods for Active Constituent, Agricultural and Veterinary Chemical Products (PDF). 2004 [12 July 2009]. (原始内容 (PDF)存档于2011-02-20). (页面存档备份,存于互联网档案馆)
- ^ Bressolle, Françoise; Brometpetit, M; Audran, M; et al. Validation of liquid chromatographic and gas chromatographic methods Applications to pharmacokinetics. Journal of Chromatography B. 1996, 686 (1): 3–10. PMID 8953186. doi:10.1016/S0378-4347(96)00088-6.
- ^ Peptisyntha S.A. Commercial scale production. 2009 [12 July 2009]. (原始内容存档于31 May 2009). (页面存档备份,存于互联网档案馆)
- ^ del Rosario Alemán, María. Downstream Processing: A Revalidation Study of Viral Clearance in the Purification of Monoclonal Antibody CB.Hep-1. 2007 [12 July 2009]. (原始内容存档于2011-07-11). (页面存档备份,存于互联网档案馆)
- ^ El Eman, Khaled; Brown, A; Abdelmalik, P; et al. Evaluating Predictors of Geographic Area Population Size Cut-offs to Manage Re-identification Risk. Journal of the American Medical Informatics Association. 2009, 16 (2): 256–266. PMC 2649314 . PMID 19074299. doi:10.1197/jamia.M2902.
- ^ Tollman, Stephen M; Kahn, Kathleen; Sartorius, Benn; Collinson, Mark A; Clark, Samuel J; Garenne, Michel L; et al. Implications of mortality transition for primary health care in rural South Africa: a population-based surveillance study. Journal of the American Medical Informatics Association. 2008, 372 (9642): 893–901. PMC 2602585 . PMID 18790312. doi:10.1016/S0140-6736(08)61399-9.
- ^ United States Department of Health & Human Services. Warning Letter (WL No. 320-08-04) (PDF). 2009 [12 July 2009]. (原始内容存档 (PDF)于2017-02-22). (页面存档备份,存于互联网档案馆)
- ^ Health Canada. Validation Guidelines for Pharmaceutical Dosage Forms (GUIDE-0029). 2004 [12 July 2009]. (原始内容存档于2017-01-21). (页面存档备份,存于互联网档案馆)
- ^ Food and Drug Administration. Guidance for Industry: Bioanalytical Method Validation (PDF). May 2001 [12 July 2009]. (原始内容存档 (PDF)于2019-01-19). (页面存档备份,存于互联网档案馆)
- ^ Method Validation; Archived copy. [19 September 2011]. (原始内容存档于11 September 2011). (页面存档备份,存于互联网档案馆)
- ^ Health Sciences Authorit. Guidance Notes on Analytical Method Validation: Methodology (PDF). [29 September 2008]. (原始内容 (PDF)存档于2012-02-18). (页面存档备份,存于互联网档案馆)
- ^ Heyden, Y. Vander; S.W. Smith; et al. Guidance for robustness/ruggedness tests in method validation. Journal of Pharmaceutical and Biomedical Analysis (Elsevier). 2001, 24 (5–6): 723–753. PMID 11248467. doi:10.1016/S0731-7085(00)00529-X.
- ^ Ermer, Joachim; John H. McB. Miller. Method Validation in Pharmaceutical Analysis: A Guide to best Practice. Wiley-VCH. 2005: 418. ISBN 978-3-527-31255-9.
- ^ Calibration of dissolution test apparatus (USP apparatus 1 and 2) – SOP.
- ^ 日本药局方. Japanese Pharmacopoeia. [29 June 2009]. (原始内容存档于2008-04-09). (页面存档备份,存于互联网档案馆)
- ^ 50.0 50.1 GUIDELINE ON GENERAL PRINCIPLES OF PROCESS VALIDATION. FDA. May 1987. (原始内容存档于6 June 2009). (页面存档备份,存于互联网档案馆)
- ^ Nash, Robert A.; et al. Pharmaceutical Process Validation: An International Third Edition. Informa Healthcare. 2003: 860. ISBN 978-0-8247-0838-2.
- ^ De Caris, Sandro; et al. Risk-based equipment qualification: a user/supplier cooperative approach (PDF). [15 June 2008]. (原始内容存档 (PDF)于2016-10-25). (页面存档备份,存于互联网档案馆)
- ^ Ocampo, Arlene; Lum, Steven; Chow, Frank; et al. Current challenges for FDA-regulated bioanalytical laboratories for human (BA/BE) studies. Part I: defining the appropriate compliance standards – application of the principles of FDA GLP and FDA GMP to bioanalytical laboratories. The Quality Assurance Journal (John Wiley & Sons). 2007, 11 (1): 3–15. doi:10.1002/qaj.399.
- ^ Guidance for Industry: Investigating Out-of-Specification (OOS) Test Results for Pharmaceutical Production (PDF). Food and Drug Administration -->美国食品药品监督管理局. 2006 [12 July 2009]. (原始内容存档 (PDF)于2017-08-30). (页面存档备份,存于互联网档案馆)
- ^ Guidance for Industry: Cybersecurity for Networked Medical Devices Containing Off-the Shelf (OTS) Software (PDF). Food and Drug Administration. 14 January 2005 [12 July 2009]. (原始内容存档 (PDF)于2018-12-30). (页面存档备份,存于互联网档案馆)
- ^ General Principles of Software validation; Final Guidance for Industry and FDA Staff (PDF). Food and Drug Administration. 11 January 2002 [12 July 2009]. (原始内容存档 (PDF)于2019-03-02). (页面存档备份,存于互联网档案馆)
- ^ Guidance for Industry and FDA Staff: Medical Device User Fee and Modernization Act of 2002, Validation Data in Premarket Notification Submissions (510(k)s) for Reprocessed Single-Use Medical Devices (PDF). Food and Drug Administration. 25 September 2006 [12 July 2009]. (原始内容存档 (PDF)于2019-01-11). (页面存档备份,存于互联网档案馆)
- ^ Guideline on general principles of process validation. Food and Drug Administration. May 1987 [12 July 2009]. (原始内容存档于20 July 2009). (页面存档备份,存于互联网档案馆)
- ^ Guide to inspections validation of cleaning processes. Food and Drug Administration. July 1993 [12 July 2009]. (原始内容存档于2019-04-23). (页面存档备份,存于互联网档案馆)
- ^ Nassani, Mowafak. Cleaning validation in the pharmaceutical industry. [20 March 2008]. (原始内容存档于2012-05-31). (页面存档备份,存于互联网档案馆)
- ^ Bharadia, Praful D.; Jignyasha A. Bhatt. A review of current implementation strategies for validation of cleaning processes in the pharmaceutical industry. [20 March 2008]. (原始内容存档于2012-05-31). (页面存档备份,存于互联网档案馆)
- ^ Discussion Paper on Proposed Draft Guidelines for the Validation of Food Hygiene Control Measures (PDF). [10 February 2011]. (原始内容 (PDF)存档于2010-10-11). (页面存档备份,存于互联网档案馆)
- ^ Archived copy (PDF). [14 June 2008]. (原始内容 (PDF)存档于12 October 2007). (页面存档备份,存于互联网档案馆)
- ^ Archived copy (PDF). [7 September 2007]. (原始内容 (PDF)存档于27 September 2007). (页面存档备份,存于互联网档案馆)
- ^ Service Unavailable. (原始内容存档于13 October 2007). (页面存档备份,存于互联网档案馆)
- ^ Manzo, M.A.; Strawn, D.M.; Hall, S.W. Aerospace nickel-cadmium cell verification-final report. Sixteenth Annual Battery Conference on Applications and Advances. Proceedings of the Conference (Cat. No.01TH8533). 7 August 2002: 59–66. ISBN 978-0-7803-6545-2. doi:10.1109/BCAA.2001.905101.
- ^ Improving the efficiency of verification and validation. Inderscience.com. [19 September 2011]. (原始内容存档于2012-02-12). (页面存档备份,存于互联网档案馆)
- ^ Masako, Tsujimoto. Verification of genetic recombination by hypha fusion of Pyricularia oryzas using transducing gene as marker. (the Ministry of Agriculture, Forestry and Fisheries Natl. Agricultural Res. Center S).. [20 March 2008]. (原始内容存档于2012-02-17). (页面存档备份,存于互联网档案馆)
- ^ Vollmer-Sanders, Carrie Lynn; et al. Implications of the Voluntary Michigan Agriculture Environmental Assurance Program (MAEAP) Verification on Livestock Operations, 2000–2004. [20 March 2008]. (原始内容存档于2011-07-11). (页面存档备份,存于互联网档案馆)
- ^ Haboudane, Driss; et al. Hyperspectral vegetation indices and novel algorithms for predicting green LAI of crop canopies: Modeling and validation in the context of precision agriculture. Accreditation and Quality Assurance (爱思唯尔). 2004, 90 (3): 337–352. Bibcode:2004RSEnv..90..337H. doi:10.1016/j.rse.2003.12.013.
- ^ Thorp, Kelly; et al. Using cross-validation to evaluate ceres-maize yield simulations within a decision support system for precision agriculture. [20 March 2008]. (原始内容存档于2016-08-28). (页面存档备份,存于互联网档案馆)
- ^ Randolph, Susan; et al. Monitoring the Realization of the Right to Food: Adaptation and Validation of the U.S. Department of Agriculture Food Insecurity Module to Rural Senegal. [20 March 2008]. (原始内容存档于2016-01-21). (页面存档备份,存于互联网档案馆)
- ^ Pruitt, Kirk; Ryan Paul Chamberlain. Method and system for authenticating appraisal reports. [15 September 2008]. (原始内容存档于2011-06-29). (页面存档备份,存于互联网档案馆)
延伸阅读
- Majcen, N.; Taylor, P. Practical examples on traceability, measurement uncertainty and validation in chemistry 1. European Union. 2010: 217. ISBN 978-92-79-12021-3.