沉香的香气是由各种气味自然组合而成，其中绝大部分是非常迷人的，在众多香气中，甜香是最常见的，但沉香的香气绝对不是单一的，是标准的混合香气，里面也会偶带一些不好闻的腥味、骚味等。
包括未清洗的原始野生香材，也包括从高到低的各种等级的沉香，未经过清理的沉香，会带有一些杂质，可能是土壤/沼泽中的泥土、昆虫的排泄物、分泌物、昆虫尸骸、腐朽物的残留、污水的残留等等，这些杂质附在沉香表面，或浸入香体，都会产生不好闻的气味。
杂味较小的是惠安系沉香。很少听说越南、柬埔寨、海南等地的沉香中会有明显难闻的味道。 即使偶带，也多在上炉后的初香阶段，在最初的加热时，杂质因高温散发出稍纵即逝的味道，不过很少会影响香韵的品鉴，反而能够增添品闻的乐趣。
杂味较多的是星洲系沉香。特别是新兴产区的沉香，多产自沼泽地带，如果水中含有腐质物，难闻的气味就会浸入整个香体，伴随整个结香过程，这种杂味、异味是很难通过理香而清理干净的，那么这样的沉香即使油脂再好，也没有任何价值。
有一些杂味虽然会影响沉香的等级，但不影响品香的大体，它们是：木味、土味、焦味、油味、焦味；还有一些味道出现，那么整个沉香就不能用了，甚至用来制作珠串把件都不值得赏玩，这些味道有：腐味、臭味、骚味，有这样味道的沉香不能要！
