English Abstract A so-called benchmark exercise was initiated in which
the results of five sets of tools available in the Netherlands would be
compared. In the benchmark exercise a quantified risk analysis was
performed on a -hypothetical- non-existing hazardous establishment located
on a randomly chosen location in the Netherlands. The plant was chosen as
to cover many of the scenario's that will be part of a real analysis such as
the release of flammable and toxic clouds; liquids, gases and liquefied
gases; vessels and pipes etc. Using each participating method a complete
risk analysis was performed. The participants were asked to perform a risk
analysis according to the guidelines given in the coloured books. All
participants however had deviations, sometimes due to the available software
sometimes due to arguments of practicality, sometimes due to matters of
principle. It should be noted that in practice, these differences between
consultants using different (software) tools will also occur, as the
application of the methods as described in the coloured books is not
prescribed by law. It is not to be expected that the competent authorities
will be able to detect these deviations nor that they would consistently
insist that the coloured books are followed religiously. Not many
differences were found in the consequences and frequencies used for those
events that are listed in the coloured books. The less the methodology for
the calculation of the effects of certain scenario's is established the
larger the differences that were found between the results of the
participants as could be expected. The results for all participants were
found largely within one order of magnitude. Since the earlier benchmark
exercises the situation with respect to the spread in the results has
improved tremendously and more improvements are difficult if at all
obtainable unless the application of the prescriptions of the coloured books
is made a legal requirement.
Rapport in het kort
Een zogenaamde benchmark studie is ondernomen, waarin
de resultaten van vijf gereedschappen zijn vergeleken, die in Nederland
verkrijgbaar zijn. Deze gereedschappen zijn combinaties van methoden en
software. In deze benchmark studie is een risico analyse uitgevoerd van een
denkbeeldige inrichting met gevaarlijke stoffen die zich op een willekeurig
gekozen plaats in Nederland bevindt. De inrichting was zo gekozen dat veel
van de scenario's die in een werkelijke analyse zullen voorkomen aan bod
komen, zoals het vrijkomen van brandbare en giftige stoffen; vloeistoffen,
gassen en tot vloeistof verdichte gassen; vaten en leidingen etc. Met
ieder gereedschap is een volledige risico analyse uitgevoerd. De deelnemers
werd gevraagd om deze analyse uit voeren overeenkomstig de richtlijnen uit
de gekleurde boeken. Iedere deelnemer week echter op een of meer plaatsen
van de voorschriften af. Soms omdat de beschikbare software dat nodig
maakte, soms omdat men het voorschrift te moeilijk uitvoerbaar vond en soms
omdat men principieel een andere methode voorstond. Opgemerkt wordt dat
deze verschillen ook in de praktijk zullen voorkomen. Immers het toepassen
van de gekleurde boeken is geen wettelijk voorschrift. Het kan niet worden
verwacht dat het bevoegd gezag zulke afwijkingen zal ontdekken. Ook kan
niet worden verwacht dat men consequent het toepassen van de gekleurde
boeken zal verlangen. Toch zijn er tussen de deelnemers geen grote
verschillen gevonden in de effectberekeningen en de frequentietoewijzing,
wanneer de scenario's in de gekleurde boeken zijn behandeld. Hoe slechter
echter de toe te passen methode bekend is, of is beschreven, hoe groter de
afwijkingen tussen de deelnemers, zoals kon worden verwacht. De uitkomsten
van de deelnemers lopen ongeveer een orde van grootte uiteen. Dit is in
vergelijking met eerdere benchmark studies een aanzienlijke verbetering.
Verdere verbeteringen zijn moeilijk te realiseren zonder de voorschriften in
de gekleurde boeken tot wettelijk vereiste te maken.