光影中国网

标题: 由DxOMark评分论画质量化指标合理性 [打印本页]

作者: 小草 时间: 2012-10-6 18:22
标题: 由DxOMark评分论画质量化指标合理性
　　spot 在《从佳能CMOS技术进步猜测5D3能达到的水平》文中又以“到底什么样的量化指标，才能更合理的描述数码相机的画质？”引申出更多观点。

　　在DXO网站上，还有一个传感器指标Tonal Range，因为没有进入最终的算总分过程，也没有单独的排行，所以一直没有怎么重视。看到网络上有人提到这个TR指标，但大多都不太清楚DXO的计算方法，就对这个指标专门研究了一下。

　　DXO网站给出的Tonal Range定义，是在某个ISO下，能区分的灰度层次数量。一个可区分的灰度层次，就是对一个灰度比例，考虑它对应的信噪比，让它占有一个特定的灰度比例区间，使其与相邻区间的灰度差大于噪声。DXO列出的计算公式参见　[url]http://www.dxomark.com/index.php[/url] ... /Measurements/Noise　，具体引用如下：

　　这个公式发扬了DXO一贯语焉不详的风格，采用的是很有点迷惑人的表述，其中最严重的就是分母上那个max(stddev,1)了，没给出任何量化单位，你怎么表达这个1呢？

　　经过计算核对，其实这个指标的计算过程也是非常清楚的，就是从100%灰度比例开始，按对应的SNR算出噪声对应的灰度比例，Gn=G/(10^(SNR/20))，然后用当前灰度减去噪声灰度，得到下一个区间的开始值，再重复这个过程一直到超出SNR>=0的范围为止，累计出来的区间数量就是Tonal Range，最终指标表示为以2为底的对数（也就是二进制表达需要的位数）。

　　以D800为例，ISO100下Full SNR曲线DXO一共提供了253项Gray Scale-SNR数据，从100%开始，到0.01%结束。100%对应的SNR是43.3，对应灰度比例是Gn=100/(10^(43.3/20))=0.684，那么下一级可分辨灰度区间就是99.316，以此类推，直到SNR=0dB，总计可以数出368个可分辨的灰度区间，再取2的对数，就是8.524，而DXO在100%像素D800在ISO100的TR指标就是8.53，再加上所谓像素增益，就是最终结果9.63。

　　这个计算过程也可以从暗部往上加，结果与从亮部往下减有千分之五左右的差异，但是与DXO结果核对，似乎往下减的方法更接近。

　　下表是按我计算的结果（与DXO的数据有大约千分之一的误差），计入像素增益后ISO100下前20位的结果：

　　 1 IQ180 10.19
　　 2 P65 10.10
　　 3 P40 9.79
　　 4 D4 9.65
　　 5 D800 9.62
　　 6 D3X 9.47
　　 7 645D 9.33
　　 8 H3D50 9.22
　　 9 5D2 9.18
　　10 A75S 9.16
　　11 1DS3 9.16
　　12 D3S 9.13
　　13 H3D39 9.13
　　14 P45 9.12
　　15 A580 9.06
　　16 A850 9.04
　　17 NEX5N 9.03
　　18 D5100 9.02
　　19 D7000 9.01
　　20 A900 8.97

　　如果用这个指标表示ISO100下的画质排序，看起来似乎更靠谱一些。

　　不过，这个指标虽然引用了所有灰度范围的SNR进行计算，比动态范围只看最暗部要合理一些，但仍然是比较注重暗部的，以D800为例，368个可分辨灰度区间，在5%灰度比例以下的暗部就有86个，占23%，而实际上对画质的重要性来说，暗部一般没有这么大的比例。

　　其中第10位的A75S是Leaf Aptus75S的简写。包括它在内，还有一些中画幅机型，在ISO50时的TR指标要好于ISO100，为了便于比较没有列在一起，下面是几个ISO50下TR比较高的机型：
　　H3D50 9.70
　　A75S 9.64
　　H3D39 9.60
　　P45 9.55
　　ZD 9.05

作者: 小草 时间: 2012-10-6 18:22
　DXO提供的Tonal Range（影调范围？）这个指标，意义远大于它所计算出的Dynamic Range（动态范围）。
　　TR计算的是可分辨的灰度层次，DR则只是能识别的亮暗信号绝对数值的比值。在计算过程中，DR只考虑了最暗部信噪比，TR则以暗部为主，综合考虑了全灰度范围信噪比。TR可以说全面反映了照片的过渡，层次，也反映了动态范围，如果暗部信噪比不好，那么TR结果也会受到很大影响。

　　另外，缩图对TR的影响是明显的，因此像素增益在TR上也是相对合理的。想象一下一个拍摄目标是从明到暗分成数百个亮度等级的竖条纹，这个目标的空间密度很低，在全副上也不到10lp/mm，因此平均像素缩图只对边缘的反差有影响，但是对条纹内部基本没有影响，那么缩图（如果比例不特别大）带来的降噪效果必然能使更多的竖条纹能被识别。

　　如果一个相机只有高的DR，而没有好的TR，则由于缺乏过渡和层次，实际照片的效果要比DR数字显示出来的差很多。

　　就拿5D2和D7000来说，虽然D7000在DXO上的DR指标远高于5D2，但是5D2在ISO100时的TR指标100%像素下与D7000基本相同，计入像素增益后则高于D7000，到ISO200以后D7000完全不如5D2，而且越拉越远，直到ISO800以后相差一档（0.5bit）以上。这个跟人们对5D2和D7000的画质感觉应该是一致的。

　　不知道为什么，DXO既然提供了TR指标可以查看，却不在总分计算中把它计算进去，也不提供一个单独的排序。

　　下表是根据从DXO下载的Full SNR数据以及Tonal Range（影调范围或色阶范围）计算方法得到的ISO100下TR指标排序，已经计入了像素增益（像素总数加倍则TR增益0.5bit），随机找了十几个跟DXO提供的数据（在详细数据查看里）进行了比对，误差最大在千分之1到2左右（少数在小数点后第二位可能有数值为1或2的差异）。（DXO还没有公布5D3和1DX的数据，D700从ISO200开始，TR指标是8.95）

作者: 小草 时间: 2012-10-6 18:22
　信噪比是整个帖子的中心话题，可能很多人对信噪比缺乏一个直观印象。信噪比是数码相机画质的一个关键指标，包括层次，过渡，颜色准确性等等，最终都可以归结到信噪比指标上。但是实际照片中，因为有不同的亮度和色彩分布，因此如何应用信噪比指标去判断完整照片的画质，是一个比较复杂的问题。
　　至于说到人眼对信噪比的感觉问题，那的确是有识别阀值的。

　　ISO100下，中等亮度输出对应的实际曝光量较高，一般的数码相机，在ISO100下都能在中灰亮度（18%）达到30dB左右（当然暗部信噪比是要低得多）。而这个信噪比，基本上就是人眼对噪声的一个识别界限，低于30dB，人眼可以很容易在较大面积的色块中发现噪声存在，高于30dB则较难发现，而到达40dB（相当于信号强度是噪声强度的100倍），人眼基本无法识别出噪声了。

　　附图是一个图像噪声试验中使用的例子，0号原图（最右边的图片）是用(127,127,127)填充的，噪声为0，信噪比为无限大，然后从4号到1号，分别加入了不同等级的噪声，1号信噪比为10dB，2号为20dB，3号就是30dB，4号是40dB。基本上，3号大多数人都能看到一些轻微的噪声，4号绝大多数人已经看不出噪声存在了。

　　很多人认为5D3有细节涂抹的问题，主要原因来自于后处理软件（包括机内直出jpg）的问题。不仅仅是DPP有问题，ACR 6.7也有类似的问题（比DPP稍好一点点）。

　　我试过的程序中，处理5D3的RAW文件，效果最好的是RawTherapee（网址是http://rawtherapee.com），一个非常好的RAW文件处理免费软件。虽然它现在的版本4.0.8.3还不能直接处理5D3的RAW文件（色彩模板不对），不过可以用Adobe的DNG Converter 6.7（这个软件可以从Adobe网站下载）先转换成DNG（Adobe通用RAW文件格式），然后再用Rawtherapee处理，其结果远远好于现在的ACR 6.7。也许ACR出正式版后会好一些。

作者: 小草 时间: 2012-10-6 18:22
　　附图是对比，原图都是从IR下载的E5D3hSLI003200.CR2，左边那个是用ACR 6.7的Auto模板生成的，右边是用RawTherapee从DNG用Default模板生成的。可见原来所谓的5D3红色（粉色）涂抹问题，在5D3的RAW文件里实际上是不存在的，根本上的原因都是处理软件的差异。

　　网络上很多5D3的JPG图片，包括IR网站上提供的5D3相应JPG图片，如果用于进行100%像素的细节对比，根本就没有任何意义。

　　从RAW文件的数据分析上看，5D3不存在高ISO涂抹细节的问题，ISO3200和ISO6400几乎都能与ISO100保持相同的分辨能力。

　　附图是一个简单的不同ISO下细节描述的对比，原图都是从IR上下载的RAW文件，然后转换成DNG格式，再用RawTherapee的default模板解码。原图中没有什么真正的高频部分，所以找了个相对空间密度大一点的区域，主要是从波形图的数据上分析一下细节描述能力的区别。

　　左边上下两图分别是D800的ISO100和ISO3200，右边上下两图分别是5D3的ISO100和ISO3200。每个图中的黄色选区都对应传感器上大约0.45mm的宽度。由于两机使用的构图基本相同，因此这也就基本对应相同大小的实际目标物体。

　　下图是前面截图区域的空间波形图。

　　可以看到，5D3的ISO100和ISO3200保持了几乎完全相同的波形图，并且与D800的ISO100也基本完全一样。但是，D800的ISO3200细节描述能力则有了一定的衰减，除了多出一些毛刺（噪声的影响），还可以注意图上用红色箭头和蓝色箭头指出的两个位置，D800的ISO100以及5D3的ISO100和ISO3200在这些位置都有一个明显的波峰，但是D800的ISO3200已经没有了。

　　这个波形图能让实际照片的特征表现得更清楚。如果在前面的截图中仔细分辨也可以看到，D800在ISO3200下，黄色选区中心部分有一个相对较大的色块，这说明某些细节已经被噪声淹没了。这些被淹没的细节，无论是缩图或者其它降噪手段，都不可能再还原出来。从这个角度来说，信噪比是个硬指标，只有空间密度很低的区域（类似天空），降噪才能改善画质，对于细节多的区域，降噪是没有太多实际意义的。

　　从这个例子可以清楚看到，5D3的ISO3200相对于其ISO100，除了噪声大了一些，几乎没有损失细节描述能力。当然，前提是使用正常工作的解码软件。

总结
　　DXO发表了5D3的评测结果，从总分和分项的得分上看，似乎从5D2到5D3进步不大，79分提高到81分，与5D的71分相比，看起来好像从5D到5D2进步更大一些。我们都已经知道DXO算分基本上可以说是完全乱来的，那么真实的情况又如何呢？我用DXO提供的数据，对5D3、5D2、5D这三代相机的进步程度进行了对比，结果非常明显，可以说5D3当之无愧地比5D2进步了一代。

作者: 小草 时间: 2012-10-6 18:22
　　下面的数据对比完全按照DXO的标准，分成信噪比SNR 18%，动态范围Dynamic Range，色阶范围Tonal Range，以及色彩准确性Coloe Sensitivity四项，每项都按DXO的方法计算像素增益。

　　数据中的ISO值，也按DXO的标准，取的是其实际测量的ISO，也就是Measured ISO，这个就相当于DXO提供的所有指标图上的横坐标，因此不同型号的相机是完全相同的曝光标准。

　　信噪比SNR 18%

　　这是衡量相机在各档ISO下CMOS技术水平最重要的指标，对画质起着决定性作用。

　　下表是按照DXO提供的数据进行的对比，单位是dB。可以看到，5D3比5D2在各档ISO上信噪比都提高了1.5dB左右，与5D2和5D的进步情况基本相同，甚至在ISO3200还要明显进步更大一些。如果去DXO网站查看详细数据就会知道，5D2实际上在100%像素下信噪比是不如5D的，只是靠像素总数带来的增益，取得了优势。而5D3在比5D2更多一些像素的情况下，100%像素的信噪比已经超过了5D。

　　因此，从信噪比提高程度来说，5D3的CMOS确实比5D2进步了整整一代。由于信噪比提高是1.5dB左右，因此5D3的QE达不到52%（理论上应提高1.9dB左右），49%是合理的结果。

　　动态范围Dynamic Range

　　DXO的这个指标是只考虑最暗部噪声的，这方面是佳能相机的弱项。

　　下表是相关数据的对比。从表中可见，5D2相对于5D来说进步巨大，而5D3在低ISO（100-400）略低于5D2，而从ISO800开始，5D3也相对5D2有了提高，在ISO3200之后，提高的幅度也不小于5D2相对于5D的进步。

　　可以说，由于佳能传感器结构的特点，在极暗部动态范围上可能很难大幅提高了，因此5D3把重点放在了高ISO上。在动态范围上，5D3算是进步了半代吧。

色阶范围（或称为影调范围）Tonal Range

　　实际上这个指标更全面反映了相机各档ISO下的画质，相对于只考虑暗部信噪比的动态范围，色阶范围指标全面计算了整个照片能达到的灰度层次，毕竟，一张照片并不是只想要一个干净的黑块，丰富的层次才是对画质影响更重要的因素。

　　下表是三个机型的TR指标对比。同样可以明显看到，5D3相对于5D2的进步幅度，完全达到了5D2相对于5D的程度，从ISO400以后甚至进步幅度还更大一些，更不用提更高的ISO了。

　　因此，在色阶范围指标上，5D3相对于5D2，毫无争议地取得了整整一代的进步。

　　色彩敏感度（色彩准确性，色彩深度范围）Color Sensitivity

　　从理论上来说这个指标应该是用RGB三个通道的信噪比单独计算，但是DXO并没有提供任何相关原始数据和具体计算方法，下述数据是完全从DXO提供的结果得到的。

　　对比的结果也非常明显，5D3同样相对于5D2取得了整整一代的进步幅度，而且在ISO400以后进步幅度明显加大。

作者: 小草 时间: 2012-10-6 18:23
结论：

　　相比起5D2对5D的进步，5D3相对于5D2来说，除了低ISO的动态范围基本相当，在所有四项传感器性能指标上，可以说是全面提高了，尤其是高ISO（ISO1600及以上），各项性能指标提高幅度非常巨大，大大超过了5D2在低ISO上相对5D的进步幅度。

　　5D3作为佳能5D系列的新一代产品，虽然在像素总数上并没有太大提高，但在传感器性能上确实当之无愧是进步了一代。

　　按18%信噪比30dB为可用标准，计入像素增益后，根据DXO数据计算出来的可用ISO（实际测量值）为：
　　5D3：2701
　　5D2：1951
　　基本上就是半档，跟1.5dB的信噪比提升是相当的，QE也因此从33%提高到49%。

　　前面提到DPreview最近的测试草草了事，觉得有必要用DP提供的样张测一下具体的分辨率。因此下载了DP上5D2、5D3和D800的分辨率测试照片，用程序进行了分辨率计算。

　　附图是5D2和5D3机内直出JPG的分辨率测试结果对比。左为5D2，右为5D3。

　　对比以MTF50为主，附带了MTF20的数据。MTF50就是反差衰减50%对应的分辨率读数，而人眼判读对应的反差大约在5%-20%，因此MTF50的数据要低于人眼识别的极限，但是这个指标基本不受锐化、噪声等处理的影响，因此更适合进行对比。

　　可以看到，5D3机内直出JPG的MTF50分辨率指标是2521LW/PH（线/图像高度），而5D2为2361，5D3直出JPG比5D2的MTF50分辨率高7%左右。

　　这意味着，即使用机内直出JPG，在相同拍摄条件下，5D3都能比5D2获得更多的细节。

　　再看看D800和5D3的对比，这次都用从DP下载的RAW分辨率测试照片。

　　附图是对比结果，左为5D3，右为D800。

　　可以看到，MTF50分辨率读数，5D3为2701LW/PH，D800为2955LW/PH，D800比5D3高出9%左右。

　　DP的测试说明中，指出了D800获得这个分辨率是对拍摄条件要求很高的，而且实际上看EXIF就可知道，D800用的是50mm镜头，拍摄距离更近，实际上还有利于获得更高的读数，而5D3跟5D2一样，用的都是85mm镜头。

作者: 小草 时间: 2012-10-6 18:23
总结来说：

　　D800比5D3多了56%的总像素，按边长多了25%，ISO100下RAW的MTF50分辨率读数高出9%。
　　5D3只比5D2多了10%的总像素，按边长多了5%，ISO100下直出JPG的MTF50分辨率读数高出7%。
　　5D3机内直出JPG的MTF50读数为2521，RAW的读数则为2701，相差超过7%。
　　可以看到，5D3的机内直出JPG算法，到底损失了多少细节。
　　有些人可能对我前面介绍的MTF50对比结果感到不够直观，附图是实际标板测试照片截图，从左到右分别是5D2，5D3直出，5D3的RAW。另外附带说一句，DP上的分辨率测试标板，是按照ISO12233标准制作的，关于标板使用的具体介绍可以去参考相关国际标准。

　　不知道什么原因，DP确实没有提供5D2分辨率标板测试的RAW文件。

　　为了搞清楚5D2和5D3直出JPG和RAW转换在分辨率上的区别，我在网上搜索了主要相机测试网站，只有IR有一些可下载的5D2标板测试RAW文件，虽然用的跟DP不是同一种类型的标板，但可以作个相对的比较。因此我用IR的标板测试文件作了对比分析。

　　IR原图RAW文件连接是http://www.imaging-resource.com/ ... MULTII00100.CR2.HTM
JPG文件连接是http://www.imaging-resource.com/ ... 5D2hMULTII00100.HTM

　　5D2的RAW使用ACR的default模板转换。

　　附图是用SFR做的MTF50以及MTF20分析。

　　可以很明显看出，IR的5D2标板测试照片，RAW和JPG的MTF50指标极为接近，只不过RAW的MTF20指标大大提高。

　　下图是DP上的5D3分辨率测试照片RAW和JPG的MTF对比。

　　可以很容易看出，5D3的机内直出JPG有极其明显的过度锐化现象（MTF曲线中超过1的部分，其含义是由于过度锐化，造成黑白区域边缘的亮度差别甚至高于两个区域中心之间的差别），不但损失MTF50代表的主要细节，而且还造成了低反差部分不干净。

　　我一直认为5D3的直出JPG算法大概是5D3最大的缺陷，这个对比图正好说明了这一点

　　这些数据如何理解呢？这涉及到MTF50和MTF20的区别。

　　MTF50反映了反差衰减到50%时能得到的细节识别能力。这个值所对应的细节，在照片中占有明显的视觉效果，基本上人眼马上就能感受到这些细节，而且MTF50对应的细节，不受摩尔纹和杂色影响。因此，很多测试网站（比如镜头测试的PHOTOZONE）都是将MTF50作为主要分辨率测试指标。

　　MTF20反映了反差衰减到20%时的细节识别能力。这个指标相对比较接近人眼的识别极限。也就是说，达到这个细微程度的细节，由于反差相对较小，对人眼视觉来说，可以识别，但效果不明显，需要仔细看，离近看，或者放大看，才能注意到这些细节。

　　从我前面贴过的数据来看，D800的MTF50指标相对5D3只高出9%，这说明，在一眼可感受到的细节方面，D800比5D3要好，但好的并不多，跟5D3对5D2的提高差不多。

　　但是D800的MTF20指标相对5D3高出将近15%，那么在一些需要仔细看，放大看的低反差细节上，D800优势要更大一些。

　　这样就可以比较好的解释一些实际中的现象。比如某些照片，要局部放大100%甚至300%才能看到的区别。

　　而5D2的RAW文件和JPG文件，在MTF50指标上差别不大，5D2的机内JPG算法并未由于过度降噪和锐化牺牲主要细节，而5D2的RAW文件其MTF20指标明显高于JPG，这说明从5D2的RAW里确实也能还原出一些低反差的细节。

作者: 小草 时间: 2012-10-6 18:23
　　附图是从cameralabs直接引用的对5D2的RAW和JPG分辨率测试的对比，原连接在http://www.cameralabs.com/review ... II/resolution.shtml。

　　可以很明显看到，5D2的RAW虽然在高分辨率区域有更多的线条结构，但是杂色和摩尔纹也同样严重。这些都会降低线条之间的反差，因此会被排除在MTF50之外，但是却可能满足MTF20的反差要求。

　　所以，这个图直观说明了两种不同的分辨率指标MTF50和MTF20的区别，MTF50给你的是干净完整明显的细节，而MTF20的细节则可能存在各种数码相机固有的缺陷，但却是也能对人眼的视觉反应起作用，尤其是仔细看，离近看，或者放到很大看。

　　cameralabs的判读结果就在上面图片底部的小字说明。RAW是3050，JPG是3000。

　　这是IR上对5D2分辨率的分析，原文在http://www.imaging-resource.com/PRODS/E5D2/E5D2IMAGING.HTM。

　　当然，由于标板不一样，具体数值不能直接跟其他测试结果直接比较，但是相对RAW和JPG的结论是一致的：
　　Very high resolution, 2,000 ~ 2,200 lines of strong detail from in-camera JPEG, about the same from RAW file processed through Adobe Camera Raw.
　　非常高的分辨率，机内JPEG具有大约2000-2200线非常强的细节，跟用ACR处理的RAW文件基本上一样。
　　We weren't able to extract much more resolution by processing the 5D Mark II's CR2 files using Adobe Camera Raw, although there were fewer artifacts than the JPEGs near the resolution limits.
　　用ACR处理5D2的RAW文件，我们也没法得到更高的分辨率，不过在分辨率极限附近，杂色比JPEG少一些。

　　我用一个实际例子来说明缩图根本不能增加动态范围。

　　下图是从IR上下载的D800测试照片局部。最左边是ISO100的，可以清楚看到，瓶子反映出了摄影师的形象，包括白色的短袖上衣，浅色短裤，以及两条腿。

　　左边第二张是ISO6400的，相同场景，可以看到，摄影师的形象受到噪声的干扰，大为模糊，最明显的就是只有短裤，两条腿已经基本消失在噪声里。左边第三张开始是按比例进行缩图，分别是缩小到总像素的1/2，1/4，1/16。

　　很明显，随着缩图比例加大，图越小，信噪比确实得到了改善，局部显得更干净光滑一些，但是，没有增加任何细节。

　　摄影师的两条腿，在任何比例的缩图中都不存在。这两条腿有足够的大小，缩图本身是不会因为细节太小而给弄没的。

　　这个例子清楚说明，认为缩图能提升暗部细节，从而改善图像动态范围，无论从理论还是实践上，都是完全荒谬的。

　　DXO对动态范围按像素总数进行增益，可以说对相机的使用者完全是一种误导。

　　结论就是，动态范围就是动态范围，拍摄完成就固定存在于RAW文件里，后续的数字处理，可以改变它的展示效果，但无论放大缩小都不会增加动态范围。

转自色影无忌

作者: 时光章【光影】 时间: 2012-10-6 18:32
学习，支持了{:soso_e179:}

作者: 一个从 时间: 2012-10-6 21:37
有点深奥，慢慢的研究研究。

作者: 小草 时间: 2012-10-6 21:42

一个从发表于 2012-10-6 21:37
有点深奥，慢慢的研究研究。

呵呵，说实话，我转的时候我也没看懂

作者: 云追月 时间: 2012-10-7 08:27
好久没有算过这种高数题了挺难的

作者: 时光章【光影】 时间: 2012-10-7 17:46
支持了，支持了。学习{:soso_e179:}

欢迎光临光影中国网 (http://sy.01ny.cn/)