Trigger

bammobInternet and Web Development

Dec 4, 2013 (3 years and 11 months ago)

106 views

System selekcji zdarzeń
eksperymentu ATLAS

dr Krzysztof Korcyl

zakład XIV eksperymentu ATLAS

Instytut Fizyki Jądrowej PAN

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS



Fizyka oddziaływań pp

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS



CERN Site (Meyrin)

SPS

LHC

pp 7 TeV x 7 TeV; L
nom

~ 10
34

cm
-
2
s
-
1

Ib= 0.53A
, czas życia

~
10
godzin

Pierwszy światowy projekt akceleratorowy


2835
pęczków po

10
11

cząstek każdy

Akcelerator LHC w CERN

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS



W maju 2007 zakończył się dwuletni okres
instalowania 1746 nadprzewodzących magnesów
w tunelu LHC.

17
-
to metrowy dipol


jeden z 1232


jest
opuszczany przez specjalnie skonstruowany
szyb. Dipole wytwarzają pole zakrzywiające
wiązki w 27
-
mio kilometrowym akceleratorze.



natężenie pola: 8 T, temp. 1.9 K, prąd: 11.7 kA

Akcelerator LHC w CERN

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Finał budowy i przygotowań

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Ostatnie kroki instalacyjne

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Ostatnie kroki instalacyjne

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS



L
arge

H
adron

C
ollider

CERN

European Organisation for
Nuclear Reseach

LHCb

Atlas

Alice

CMS

Eksperymenty LHC

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS



ATLAS
w zestawieniu z

5
piętrowym budynkiem
40

w CERN

Eksperyment ATLAS

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Stan w lutym 2007

Eksperyment ATLAS

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Hala jest gotowa i wykorzystywana przy integracji

detektorów i w trakcie naświetlań kalibracyjnych

z wykorzystanie promieniowania kosmicznego


Dane z takich naświetlań rejestrowane są przez

elementy finalnego systemu wstępnej selekcji

(Trigger) i rejestracji danych (DAQ).

Eksperyment ATLAS

hala sterowania i monitorowania

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

60

godzin stabilnej
pracy przy częstości
zdarzeń L1
10 kHz
i
DAQ
500 Hz

ATLAS


panel operatora

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Combined Cosmic run in June 2007

In June we had a 14 day
combined cosmic run. Ran
with no magnetic field.

Included following systems:


Muons


RPC
(~1/32)
,


MDT
(~1/16),



TGC
(~1/36)

Calorimeters



EM (LAr )
(~50%)

&

Hadronic (Tile)
(~75%)

Tracking


Transition
Radiation Tracker (TRT)
(~6/32 of the barrel of the final
system)

Only systems missing are
the Silicon strips and pixels
and the muon system CSCs

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

307

3.7x10
5

TRT

110

6.2x10
6

SCT

60

1.4x10
8

Pixels

Fragment
size
-

kB

Channels

Inner
Detector

48

10
4

Tile

576

1.8x10
5

LAr

Fragment
size
-

kB

Channels

Calorimetry

6

4.4x10
5

TGC

12

3.5x10
5

RPC

256

6.7x10
4

CSC

154

3.7x10
5

MDT

Fragment
size
-

kB

Channels

Muon
Spectrometer

28

LVL1

Fragment
size
-

kB

Channels

Trigger

Atlas total event size: 1.5 Mbytes

140 Mio Channels.

40 MHz * 1.5 Mb = 60 TB/s

~ 300 MB/s is affordable

(s
till
3 PetaBytes/year to store)

ATLAS will record at ~200 Hz

ATLAS
-

rozmiar przypadku

Reduce data online by 5*10
-
6

from 60 TB/s down to 300 MB/s

Need a fast, highly selective

and yet efficient trigger system

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

40 MHz

bunch crossing

100
-
200 Hz

storage rate

100 kHz

Level 1 Accept

1
-
2 kHz

Level 2 Accept

dominating



c
alorimeter and muon trigger chambers



c
ounts multiplicities of clusters, jets, and muon
tracks
, compares to various threshold levels



synchronous with LHC, latency:
2.5
μ
s

Hardware

Level 1



a
ccess to full granularity detector data



u
ses only regions around level 1 trigger objects as
seed for reconstruction (10% of detector)



asynchronous
-

10 ms per event

Software

Level 2



a
ccesses complete detector data (after events are
fully built)



asynchronous
-

r
uns offline algorithms (1s per event)

Event Filter



At LHC energies interesting events are rare 1 in 10
7



10
9

(except b
b
)



@
40 MHz bunch crossing

event rate beyond current offline processing and storage capabilities

ATLAS


organizacja systemu

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS


Sychronous with LHC


Latency 2.
5


s


Hardware based


Calorimeter
s

and
muons

only


Coarse granularity
detector data


Output rate up to



~75 kHz


Output data:


decision LVL1Acc


256 bit pattern


RoIs

120 GB/s

1 PB/s

Event Size
~1.5 MB



















H


L


T

75 kHz

2 kHz

200 Hz

40 MHz

RoI data

LVL1 Acc.

ROD

ROD

ROD

LVL1




2.5

s

Calorimeter

Trigger

Muon

Trigger

Event Builder



EB

3 GB/s





ROS

ROB

ROB

ROB

Calo Mu

Trig

Other
detectors

Event Filter




EFP

EFP

EFP

~1sec

EFN

300 MB/s

LVL2






~10ms

L2P

L2SV

L2
N

L2P

L2P

ROIB

LVL2 Acc.

RoIs

CTP

Pipelines

2.5

s

EF Acc.

RoI

requests

Trigger


DAQ

Pierwszy poziom systemu filtracji

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Level
-
1 Calorimeter EM/Tau Trigger



The central 2x2 "core" cluster (EM+had) is a
LocalETMaximum.

This
ensures that overlapping clusters cannot both produce RoIs.



The most energetic of the 4 2
-
tower EM clusters is greater than the EM
cluster threshold (EM trigger), OR the sum of the most energetic EM cluster
plus the central 2x2 hadronic towers is greater than the Tau cluster threshold
(Tau trigger).



The summed ET in the outer ring of 12 EM towers is less than or equal to
the EM isolation threshold



The summed ET in the outer ring of 12 had towers is less than or equal to
the hadronic isolation threshold



The summed ET in the central 2x2 had towers is less than or equal to the
hadronic veto threshold (EM trigger only)

The algorithm is based on a sliding
4x4 window of TriggerTowers (~7200
objects with 0.1x0.1 granularity:
analogue sum of calo cells).

An Em/Tau RoI is produced if the
window satisfies all of the following
conditions:

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

ATLAS Level
-
1 Muon Trigger

Dedicated muon chambers

with good

timing resolution



Barrel: Resistive Plate
Chambers

(RPC)


Endcaps: Thin Gap
Chambers

(TGC)


Looking for coincidences in chamber layers
within programmable
roads

(road width
related to momentum)


6 programmable coincidence windows
determine momentum threshold (using B
-
field deflection)

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Key features of ATLAS trigger strategy


HLT uses Regions of
Interest


Reduce data bandwidth at
LVL2


Reduce processing time



Early rejection


Three level trigger


Steps

within LVL2 and EF


Reduce
s

processing time


Reduce
s

decision latency

Regions of
Interest

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS


Asynchronous


software
based


~500 nodes
: four dual
-
CPU 2GHz cores


Full detector granularity in
Regions of Interests (
RoIs
)
seeded by LVL1


Fast reconstruction


Average execution time
~
1
0 ms


Output rate up to ~
3.5

kHz


Event Builder: ~100
node
s
dual
-
CPU 2GHz cores

120 GB/s

1 PB/s

Event Size
~1.5 MB



















H


L


T

75 kHz

3.5

kHz

200 Hz

40 MHz

RoI data

LVL1 Acc.

ROD

ROD

ROD

LVL1




2.5

s

Calorimeter

Trigger

Muon

Trigger

Event Builder



EB

3 GB/s





ROS

ROB

ROB

ROB

Calo Mu

Trig

Other
detectors

Event Filter




EFP

EFP

EFP

~1sec

EFN

300 MB/s

LVL2






~10ms

L2P

L2SV

L2
N

L2P

L2P

ROIB

LVL2 Acc.

RoIs

CTP

Pipelines

2.5

s

EF Acc.

RoI

requests

Trigger


DAQ

Drugi poziom systemu filtracji

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS


Modelowanie architektury LVL2



skalowalność (ROBIN)



niezawodność



liczba i typ przełączników



granularność ruchu sieciowego



potencjalne miejsca przeciążeń

Switch based

Bus based

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

TDAQ bus
-
based architecture

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Foundry EI

Foundry

FastIron 800

SFI(O)1
-

16

SFI01

ROS19

L2P01

L2P14

L2SV06

L2SV01

pROS

DFM

ROS01

ROS18





ROS24

BATM T6

Testbed setup (Combined)

up to 18 ROSs

up to 16 SFIs

up to 12 L2PUs

ROS emulated

Slink input

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

3x2 combined system
0
500
1000
1500
2000
2500
3000
3500
4000
4500
5000
1
3
5
7
9
11
L2PU
EB rate (Hz)
3% 2GHz ROS
5% 2GHz ROS
3% 3GHz ROS
5 % 3GHz ROS
simulation
Measurement vs simulation

Plateau: ROS cpu limit

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS


Asynchronous


software based


~500 nodes
: four dual
-
CPU 2GHz
cores


Full detector granularity in
Regions of
Interests (
RoIs
) seeded by LVL1


Fast reconstruction


Average execution time ~
1
0 ms


Output rate up to ~
3.5

kHz


Event Builder: ~100
node
s dual
-
CPU
2GHz cores

120 GB/s

1 PB/s

Event Size
~1.5 MB



















H


L


T

75 kHz

3.5

kHz

200 Hz

40 MHz

RoI data

LVL1 Acc.

ROD

ROD

ROD

LVL1




2.5

s

Calorimeter

Trigger

Muon

Trigger

Event Builder



EB

3 GB/s





ROS

ROB

ROB

ROB

Calo Mu

Trig

Other
detectors

Event Filter




EFP

EFP

EFP

~1sec

EFN

300 MB/s

LVL2






~10ms

L2P

L2SV

L2
N

L2P

L2P

ROIB

LVL2 Acc.

RoIs

CTP

Pipelines

2.5

s

EF Acc.

RoI

requests

Trigger


DAQ

Wyższe poziomy systemu filtracji

Event Filter (EF):



~1600 nodes

four dual
-
CPU

2GHz cores



Seeded by level 2



Full detector granularity



Potential full event access



Offline algorithms



Average execution time ~
1
s



Output rate up to ~200 Hz


Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

ATLAS
HLT steering


RoI mechanism


Each trigger level or sub
-
step

is seeded by the result of the
previous one


Early rejection


Drop event as soon as it cannot pass the trigger


Minimise average processing time


Fast


Leave most time for event
-
selection algorithms


Flexible


Enable/disable triggers


Construct complex menus from simple building blocks


Instrumented for monitoring


Work in both online and offline s/w environments


Online data taking


Offline development/debugging and simulation

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Steering concepts

Sequence

Fex

Hypo

TE’

TE

Step

TE

Chain

step

step

step

predecessor

successor

Trigger Element

LVL1

item

LVL2

chain

EF

chain

Generic

name

e10

L2_e10

EF_e10

L1_EM8

L2_e10cl

L2_e10tr

L2_e10

L1_EM8

EF_e10

L2_e10cl

L1_EM8

L2_e10cl

L2_e10tr

L2_e10

L2_e10tr

L2_e10

clustering

tracking

combine

TE

TE

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Algorithms

Sequence

Typical feature extraction
(Fex) algorithm:


Seeded by previous
step or RoI


Retrieves detector data


Finds “feature” e.g.
cluster, track


Updates RoI position


Runs once per RoI

Typical hypothesis
(Hypo) algorithm:


Follows Fex algorithm


Compares features to
hypothesis


Marks TE’ as valid or
not


Runs once per
threshold

Example
Hypotheses:

Calo cluster: Cut on
cluster shape
parameters

Electron: cut on
cluster
-
track
matching variables

Most cases: apply E
T

or p
T

threshold

Other types of algorithm available for more complex logic.

Fex

Hypo

TE’

TE

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Caching

Two sequences: same fex, different hypo:

L2_e5cl

L1_EM3

L2_e10cl

L1_EM8

1) Steering will run fex only once;


Second time, results are taken from cache

2) Same sequence in different chains is also cached

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Benefits of caching

Time to process an event

Without caching ~1040ms

With caching ~580ms

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

HLT steering
-

overhead time

Steering framework only


~37ms

With algorithms

~300ms

3GHz Xeon

No rejection:
worst case
scenario.

Code is not yet
optimised:
expect to reduce
steering time.

400 top events:
atypical with
average 16 RoIs
per event rather
than the usual 2.


Time to process an event

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Level
-
2 Calorimeter Triggers



The LVL2 algorithms are seeded by the LVL1 calorimeters ROIs.



The LVL2 calorimeter algorithms, depending on the trigger menus, will extract
features like total energy in a cluster and shower shape properties for that
cluster.



They run in a limited region with full detector granularity.


The TrigT2Calo set of packages is composed of the
following packages :




TrigT2CaloCommon

: Common framework functionalities, such as Region
Selector Access and ByteStream conversion



TrigT2CaloEgamma
: electron/gamma (EM) Feature extraction. Shower
shape variables in the EM calorimeter (with Had isolation) calculation.



TrigT2CaloTaus

: Taus Feature extraction.



TrigT2CaloJets

: Jets Feature extraction.


Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Level
-
2 Calorimeter Triggers

all the RoIs detected by the
LVL1 E25i were used by the
LVL2 to perform the
T2CaloEgamma algorithm

Eff (%)

Rate

LVL1

96.2

6.5 KHz

LVL2 calo

95.1

1.2 KHz

EF calo

91.8

710 Hz

LVL1

96.2

6.5KHz

EF calo

92.1

810Hz

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Muon LVL2 Triggers


Fast


呩汥


Comb

TrigDiMuon


䥳Il


䍯浢

2 kHz

~75KHz

10 ms latency
time

Low
-
Pt

muFast



RPC, TGC and MDT detectors to verify
and estimate the position (in η
-

φ) and
transverse momentum of the LVL1 muon
candidate

muComb




to refine the measurement of the
properties of the muon, the muon track
reconstructed in the Muon Spectrometer
is combined with the
corresponding track
in the Inner Detector
.

muIso




to further reject muons coming from
beauty and charm semileptonic decays and
increase the number of muons from W and Z
decays, a
calorimetric isolation algorithm
has been implemented
.

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Muon LVL2 Triggers

89.5% rejection @ 95% efficiency

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

EF Triggers

Calorimeter:

EF
TrigEgammaRec


It is an specific wrapper to execute the egammaRec offline
algorithm as an HLT algorithm.

Muon:

The offine packages ``Muon Object Oriented REconstruction''
(
MOORE
) and ``MuonIdentification'' (
MuId
) have been developed for
the purposes of muon reconstruction and identification in ATLAS.


The former performs track reconstruction in the
Muon Spectrometer

while the latter extrapolates the track to the interaction point (
MuId
Standalone
) and combines the muon and Inner Detector track
segments (
MuId Combined
).

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

MissingE
T

trigger

Detector

Trigger level 1

L1
MissingEt

coarse calorimeter cells

8 MET thresholds

4 SumET thresholds

Trigger level 2

L2 MET

L2
Muon

algo

Refine L1 MET by adding

all L2 muons

L2 Hypo 1

Check energy against

hypothesis

L2 Jet
algo

L2 Jet/MET

Calculate
Δφ

btw. hardest jets & MET

L2 Hypo 2

Cut on angles

Trigger level 3 (EF)

Start from fine granularity calorimeter cells

Then again, add EF
muons



Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Farmy PC dla LVL2 i EF

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

SFI

SFI

SFI

PF

Local Event
Processing Farms

Back End
Network

SFOs

mass

storage

Eksperyment

CERN Computing Center

Copenhagen

Edmonton

Krak
ó
w

Manchester

PF

Remote

Processing Farms

PF

PF

PF

Packet

Switched

WAN:

GEANT

Switch

lightpath

PF

Zdalne przetwarzanie danych systemu
filtracji ATLASa

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Europejska sieć naukowa GEANT

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Polska sieć optyczna PIONIER

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Testy infrastruktury sieciowej
pomiędzy CERN
-
em a Krakowem

CERN

RB

SM

WN

WN

PIONIER

Edmonton

Manchester

Copenhagen

CYFRONET
-
Kraków

GEANT

SFI

SFO

Node n

EFD

SFO


PT


#1

P

T

I

O


PT


#n

P

T

I

O

SFI

1001110101000100100100010001010001
1110100010010100100010010100010000
1000100101010111100000101110011001
0010010010100110101010001000100010
0010010001001010001000010001001010
1011110000010111001100100100100101
0011010101000100010001010101010101
0001011110100110100111000101000111

Ev

y

SharedHeap

Ev

x

Ev

z

CERN

ResourceBroker

SiteManager


RealTimeDispatcher

Grid farm


Grid farm

WN
-

PT RemoteWorker

WN
-

PT RemoteWorker

WN
-

PT RemoteWorker

WN
-

PT RemoteWorker

Wykorzystanie zasobów Gridu w przetwarzaniu danych
ATLAS
-
a


ATLAS operator

Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Komputery Cyfronetu jako farma HLT

[rozmiar przypadku - 1.6 MB, wątki - 30]
0
10
20
30
40
50
60
150
250
350
450
550
650
750
850
950
1050
czas procesowania [ms]
częstotliwość [Hz]
2 EFD 8 PT
3 EFD 8 PT
4 EFD 8 PT
Krzysztof Korcyl, IFJ PAN, 8.04.2008, System selekcji zdarzeń eksperymentu ATLAS

Podsumowanie


Wydaje się, że udało się znaleźć rozwiązanie
dla fundamentalnego problemu LHC


selektywnego wyboru przypadków w czasie
rzeczywistym, pozwalającego uzyskać
redukcję ~10
7


Zaproponowana architektura jest skalowalna
-

zwiększanie selektywności wymagające
zwiększenia mocy obliczeniowej realizowane
jest przez zwiększanie liczby PC w HLT.

The ATLAS Trigger

Configuration System

Design and Commissioning

P.Bell, D.Berge, J.Haller, S.Head, T.Kohno, S.Li,
M.Nozicka,
J. Stelzer
, T.Wengler, W.Wiedenmann

The ATLAS

High Level
Trigger Steering

Simon George

Royal Holloway,

University of London