Bak enhver selvkjørende lastebil ligger et samspill av teknologi som må fungere i takt, til enhver tid. Systemet kan deles inn i fem hovedkomponenter:
- sensorene som fanger opp omgivelsene
- datamaskinene som analyserer informasjonen
- programvaren som styrer beslutningene
- nettverksforbindelsene som holder kjøretøyet tilkoblet
- grensesnittene som gjør det mulig for mennesker å samhandle med maskinen.
La oss se nærmere på hvordan hvert av lagene bidrar.
Lag 1: Sensorer - Sansene til autonome lastebiler
Autonome lastebiler benytter et bredt spekter av sensorer
for å oppfatte omgivelsene. De fleste benytter flere sensorsystemer som
overlapper hverandre. Alle sensorene kommer med styrker og begrensninger. Det er først når disse sensorene kombineres at man får et komplett
bilde av omgivelsene, der hver sensor supplerer de andres svakheter.
Nedenfor ser du de vanligste sensorene som benyttes for
autonome kjøretøy.
Kameraer:
- Kameraer er kjøretøyets visuelle sensorer. Lastebilens øyne,
om du vil. Disse gir rik fargeinformasjon, tekstur og har evnen til å
gjenkjenne objekter langs veibanen semantisk – altså at de kan lese skilt,
oppdage veimerking og lignende.
- Det er vanlig å ha flere kameraer, som plasseres flere
steder rundt hele kjøretøyet for å gi full oversikt. En akilleshæl for kameraer
er at de er sårbare for dårlige lysforhold og vanskelige lysforhold – som sterkt
gjenskinn, mørke, eller lav kontrast.
Radar:
- Elektromagnetiske pulser som måler refleksjoner for å
oppdage avstand til objekter, fungerer som et godt supplement til kameraer. De
fungerer godt der optiske sensorer kommer til kort – som under dårlige
værforhold med tåke, regn og snø.
- Det er gjerne flere radar-sensorer på kjøretøyet – både langdistanseradarder
i fornten som dekker 200 meter og lenger rett fremover, og kort- og
mellomdistanse-radarer rundt hjørnene for å dekke nærområdet 360°.
LiDAR:
- LiDAR står for "Light Detection and Ranging" og er en
teknologi som benytter pulserende laserlys for å bygge et høyoppløst
3D-punktkart av omgivelsene.
- LiDAR kan gi nøyaktige målinger av avstand til objekter i
alle retninger, og dermed “se” veien tredimensjonalt i opp mot flere hundre
meters avstand. LiDAR gir svært detaljert form- og avstandsdata, uavhengig av
lysforhold – systemet fungerer like godt i mørke (infrarøde lasere) og
oppdager for eksempel veimerking og hindringer som er vanskelig å se for
kamera. De fleste har flere LiDARer (foran, bak og på sidene eller
taket) for overlappende 360° dekning. Ulempen er at LiDAR kan påvirkes av
miljøforhold som støv, tett tåke eller kraftig snøvær (laserstrålene kan
reflekteres eller absorberes).
Ultralydsensorer:
- Ultrasoniske sensorer (sonar) brukes for kort hold –
typisk noen meter. Dette er den teknologien du kjenner igjen fra moderne
personbiler når man skal parkere og som har kollisjonsvarsling i lav hastighet.
- På autonome lastebiler kan ultralyd være nyttige for å
manøvrere tett på hindringer. Disse sensorene gir rimelig nærdeteksjon, men har for kort
rekkevidde og for grov oppløsning til å brukes i høyere hastigheter.
IMU og GNSS:
- Autonome systemer inkluderer også interne måleinstrumenter
og spesialsensorer. IMU (Inertial Measurement Unit) og GNSS (f.eks.
GPS) er avgjørende for å vite kjøretøyets egen bevegelse og posisjon. En
presis GNSS mottaker med RTK (centimeter-presisjon) kombinert med IMU gir
kontinuerlig posisjon og retning, som igjen korrigeres mot kart og
LIDAR/visuelle landemerker.
Mikrofoner:
For å fange opp viktige lyder benytter man mikrofoner som “ører”. Ikke minst lytter de etter sirener fra uttrykningskjøretøy, slik at
kjøretøyet kan kjøre inn til siden av veien selv om sirenen og utrykningskjøretøyet
er utenfor synsrekkevidden til kameraene og LiDAR-systemet.
IR-kameraer:
- Noen kjøretøy har også IR-kameraer som kan
registrere varme, som gir en varmesignatur fra fotgjengere, dyr eller motorer. (f.eks. varme fra fotgjengere eller motorer) i
mørket og gi bedre sikt under nattkjøring.
Sensorfusjonen
Det å kombinere data fra alle sensorer i sanntid –
kjent som sensorfusjon – er kritisk for å oppnå et pålitelig “situasjonsbilde”.
Systemet må sammenstille kamerabilder, radar-ekko og LiDAR-punktskyer i et felles
koordinatsystem på millisekund-nivå. Dette gir en mer robust forståelse enn
noen enkelt sensor kan oppnå alene. For eksempel kan kameraet klassifisere et
objekt som en “motorsykkel”, LiDAR kan gi nøyaktig avstand og form, mens radar
gir dens hastighet – kombinert gir de full innsikt i hva objektet er og hvordan
det beveger seg.
Sensorfusjonen håndterer også sensordefekter: Om ett system
er blendet av sollys eller midlertidig blokkert, vil andre sensorer “se”
hindringen. Dette flerlags sansesystemet danner grunnlaget for all videre
beslutningstakingen.
Lag 2: Datamaskiner og prosessorer - Hjernen i kjøretøyet
Når en selvkjørende lastebil skal forstå og navigere i trafikken, må den håndtere enorme mengder sanntidsdata fra de ulike sensorene vi har nevnt tidligere. Alt dette må tolkes og omsettes til trygge beslutninger i løpet av milisekunder. Derfor er autonome kjøretøy utstyrt med svært kraftige datamaskiner – spesialdesignet for sikkerhetskritiske oppgaver.
Disse systemene – ofte kalt domenekontrollere – gir den nødvendige regnekraften til å behandle sensordata og kjøre avansert programvare som står for objektdeteksjon, ruteplanlegging og kjørekontroll. Selve beslutningene tas i neste lag (lag 3) – programvarearkitekturen – men uten denne kraftige maskinvaren hadde det ikke vært mulig.
Nvidia er markedsleder i dette segmentet, og leverer databrikker som kan beregne enorme datamengder hvert sekund. Andre aktører som er velkjent i dette segmentet er Mobileye (eid av Intel) og Qualcomm.
For sikkerhets skyld har de fleste høyautomatiserte kjøretøy doble datasystemer ombord – både for å øke kapasiteten og for å sikre at én datamaskin kan ta over hvis noe går galt.
Så sentralt i dette "laget" er kraftige prosessorer, lynraske og stabile forbindelser mellom de ulike komponentene og gjerne også gode kjølesystemer så ikke systemene slås ut av varmgang.
Lag 3: Programvarearkitektur - Den kunstige sjåføren
I temapakken vår har vi nevnt selskaper som Aurora Innovation og Holo (som samarbeider med Ruter i Oslo). Det er i dette tredje "laget" at disse aktørene opptrer, der de i praksis er de som leverer den "virtuelle sjåføren".
Oppå maskinvaren kjører programvaren som får lastebilen til å “se”, “tenke” og “handle” – altså det som gjør autonom kjøring mulig i praksis. Denne arkitekturen består av flere moduler som samarbeider i sanntid.
Først kommer persepsjonen, som tolker rådata fra sensorer og gjenkjenner biler, fotgjengere, veikanter og kjørefelt. Systemet bygger en dynamisk 3D-modell av omgivelsene, basert på sensorfusjon fra kamera, radar og LiDAR. Deretter følger prediksjonen, som anslår hvor andre trafikanter sannsynligvis er på vei de neste sekundene.
Med dette som grunnlag tar kjøretøyet beslutninger: Skal det bytte fil, bremse, vente? Det evalueres i lys av trafikkregler og sikkerhet, før planleggingsmodulen beregner nøyaktig kjørebane og fart. Til slutt konverterer kontrollsystemet disse planene til konkrete kommandoer til rattet, bremsene og gassen.
De fleste systemer er bygd etter prinsippet om “dobbelt sett med øyne”, der kamera og LiDAR tolker verden uavhengig av hverandre. Dette øker sikkerheten – særlig ved feil eller usikker sensorinput.
Kart er også viktig: De fleste L4-lastebiler bruker høyoppløselige HD-kart for å navigere med centimeters presisjon. Og bak alt ligger støttefunksjoner som fjernoppdateringer, datasikkerhet og simuleringsbasert testing – der millioner av scenarier prøves ut før programvaren slippes på veien.
Lag 4: Nettverkskommunikasjon - Når lastebilen kobles til verden
Det autonome systemet skal alltid kunne kjøre trygt også uten nettverk. Kritiske funksjoner – som bremsing, styring og kollisjonsunngåelse – skjer lokalt. Når vi snakker om nettverk er det dermed noe som gir ekstra lag av innsikt og funksjonalitet, men som ikke er en forutsetning for sikker drift.
Selv om en autonom lastebil kan kjøre helt på egen hånd, er den som regel også koblet til omverden. Det gir store fordeler. Nettverkskommunikasjon gjør samspill med infrastruktur og skybaserte tjenester. For eksempel kan kjøretøyet få input om værdata, veiarbeider, kø, etc.
I dette teknologilaget er det i praksis snakk om tre hovedteknologier som spiller inn: 5G, V2X og edge computing.
5G og fjernstyring: Med rask og stabil mobiltilkobling kan lastebilen sende og motta data i sanntid. Det brukes til flåtestyring, diagnostikk, oppdateringer – og til fjernassistanse. Da vi var på Ørje i september i fjor i forbindelse med en Einride-transport som gikk via tollen, måtte en Einride-operatør steppe inn og gripe inn manuelt da kjøretøyet ble vinket inn til tollkontroll. Dette ble muliggjort via 5G-nettverket. Slike kontrollsentre kan gi råd eller ta styring dersom lastebilen støter på noe den ikke håndterer selv. Selskaper som Telenor og Telia har en rolle i en slik verdikjede i Norge.
V2X: Vehicle to Everything (X) refererer til kjøretøy som "kommuniserer med" omgivelsene. Det betyr at kjøretøyet kan kommunisere med andre biler, trafikklys og veiinfrastruktur. Eksempler inkluderer sanntidsvarsler om rødt lys lenger fremme, eller at en lastebil får informasjon fra et kjøretøy rundt svingen den ennå ikke ser. Dette gjør kjøringen tryggere og mer effektiv, og er særlig nyttig i konvoikjøring (platooning). Et annet eksempel er kommunikasjonen på tollstasjonen, der kjøretøyet får beskjed om det må inn til tollkontroll eller om det kan kjøre videre. Norske Q-Free er en velkjent aktør i dette tech-segmentet.
Edge computing er på sin side en litt mer fancy måte å omtale "datakraft der det trengs". Autonome kjøretøy trenger ikke alltid å få data tilsendt fra en fjern sky. I stedet kan deler av informasjonsflyten med fordel håndteres lokalt - via lokale servere ved trafikklys eller lignende - der informasjonen faktisk er relevant. La oss si varsler om hindringer eller kø. Denne informasjonen trenger ikke sendes til hele nettet eller alle biler – bare til de som er i nærheten. Det er informasjon som kommer til nytte for kjøretøy som befinner seg lokalt, men ikke for alle andre. Det gir to store fordeler: rask respons og mindre datatrafikk.
Lag 5: Menneske–maskin-grensesnitt
Selv om autonome lastebiler i prinsippet kjører uten sjåfør, må de fortsatt kunne kommunisere tydelig – både med mennesker i og rundt kjøretøyet, og med dem som overvåker dem på avstand. Det er dette teknologilaget man kaller Menneske-maskin-grensesnitt eller HMI (Human-Machine-Interface).
Intern HMI handler om skjermer og varsler som viser systemstatus til teknikere eller sikkerhetssjåfør. Selv i førerløse kjøretøy finnes ofte en enkel skjerm som viser om bilen kjører selv, venter, eller trenger assistanse. Og under testing kan den gi varsler om at føreren må ta over. En fysisk “nødknapp” er ofte på plass – enten i førerhuset eller i kabinen – slik at mennesker alltid kan gripe inn.
Fjernstyring og tilsyn krever egne grensesnitt. Hos aktører som Einride sitter fjernoperatører i kontrollsentre med oversikt over video, kart og kjøretøystatus. Her kan én person følge med på flere biler og gripe inn ved behov. Systemene er laget for å være enkle og oversiktlige, og kun be om hjelp når det trengs.
Man har også det som omtales som eksternt HMI - altså hvordan kjøretøyet kommuniserer med andre trafikanter. Her er man fortsatt bare i en sped begynnelse på utviklingen. Tenk bare på hvordan vi i det daglige, uten at vi tenker på det, hele tiden kommuniserer med omgivelsene når vi sitter bak rattet. For eksempel der man med enten lyssignaler eller håndbevegelser signaliserer til en medtrafikant - enten til et barn at vi har sett at det skal over veien eller til en medtrafikant at man har laget en luke til de å kjøre i (kryss/filskifte, etc). På dette feltet eksperimenteres det mye med lyssignaler, skjermer og LED-striper som viser intensjon og hvordan vårt kjøretøy tilpasser seg et annet trafikksubjekt. Slike løsninger er mest aktuelt i bymiljø og terminaler – på motorvei holder det som regel med vanlige blinklys og bremselys.
