Artiklene i SNL har ulike artikkeltyper. Artikkeltypene påvirker faktaboksene og visningen av artiklene. I mai kom det en rekke nye artikkeltyper, som første del av et prosjekt for å gjøre større designtilpassinger for ulikt innhold.

Denne informasjonen er først og fremst skrevet for fagansvarlige og forfattere i SNL. Informasjonen er mindre relevant for andre.

Du kan se hvilken artikkeltype en artikkel har når du er logget inn i leksikonet (og har rettigheter til å endre en artikkel). Artikkeltypene er det siste valget i artikkelredigeringsmenyen på toppen av sidene.

Hvorfor flere artikkeltyper?

Fram til nå har det vært ca 10 ulike artikkeltyper i leksikonet. I løpet av de neste årene regner vi med at det blir langt, langt flere. Artikkeltypene vil bli brukt til flere formål:

• Tilpasse designet til innholdet i større grad enn i dag. Et enkelt eksempel er å lettere kunne vise utbredelseskart for fuglearter sammen med annen tabellinformasjon.
• Identifisere artikler som er egnet for automatisert oppdatering. Et eksempel her er å plukke ut artikler om norske virksomheter med organisasjonsnummer, der informasjon om nøkkelpersoner kan oppdateres automatisk.
• Struktur og orden: Alle artikler i SNL hører til i en kategori, som gir en hierarkisk og oversiktlig inndeling av leksikonet. Artikkeltypene er et annet aspekt, der for eksempel alle biografier er entydig identifiserbare på tvers av 12 000 kategorier.

Artikkeltyper i dag

Per nå er det rundt 50 artikkeltyper i SNL. De mest relevante er:

• Vanlig artikkel (brukes til «alt annet»)
• Person (biografi)
• Norsk organisasjon, bedrift e.l.
• Utenlandsk organisasjon, bedrift e.l.

Geografi m.m.

• Land
• Norsk kommune/fylke
• By/tettsted i Norge
• Administrativt nivå / delstat / region utenfor Norge
• By/tettsted utenfor Norge
• Elv
• Fjell
• Øy
• Innsjø
• Hav
• Annet geografisk sted/område

Biologi

• Taksonomisk nivå (biologi)
• Art (biologi)
• Kulturplanter

Kultur og samfunn

• Lov/forskrift
• Språk (enkeltspråk)
• Språkfamilie
• Personnavn
• Kunstverk
• Bokverk
• Byggverk
• Musikkverk, sang eller liknende
• Gruppe, band eller liknende
• Bunad/folkedrakt
• Scenekunst (teater, opera, musikal etc)
• Film

Natur m.m.

• Grunnstoff
• Mineral
• Bergart
• Kjemisk forbindelse
• Konstant/enhet
• Partikkel (fysikk)
• Planet
• Astronomisk objekt (stjerne, asteroide etc.)
• Romsonde/satellitt

Dette er ei svært teknisk oppsummering av erfaringane med å avvikle allkunne.no. Korleis bør ein leggje opp eit omdirigeringsregime (redirect), kor ærleg bør ein vere andsynes Google og andre bottar?

Vi skriv denne bloggposten fordi vi sjølv har sett etter liknande skriftlege oppsummeringar av omdirigering av heile nettstader, utan å finne noko. Kanskje andre har bruk for desse erfaringane?

Vi har gjort store omdirigeringar av store nettstader to gongar dei siste åra:

• I 2020 avvikla vi nettstaden denstoredanske.dk og omdirigerte trafikken til denstoredanske.lex.dk og med heilt ny URL-struktur. Dette var ein del av samarbeidet vårt med det danske leksikonet. Vi trur at vi gjorde nokre tabbar med det danske leksikonet: Vi omdirigerte all trafikk til det nye domenet. Der vi hadde rett URL til den nye artikkelen, omdirigerte vi dit, men alle førespurnader som vi ikkje klarte å mætsje til rett URL vart omdirigert til ei statisk side på lex.dk (https://om.lex.dk/denstoredanske.dk). Vi trur at vi mista ein del PageRank for det danske leksikonet i samband med omdirigeringa, og lurte på om Google kanskje oppfatta at vi forsøkte å omdirigere for mykje av trafikken.
• Då vi skulle avvikle allkunne.no tenkte vi å forsøke ein annan strategi: Å berre omdirigere førespurnader vi var heilt sikre på at vi kunne sende til rett side på snl.no. For eksempel å omdirigere https://allkunne.no/framside/biografiar/p/vladimir-putin/99/14074/ til https://snl.no/Vladimir_Putin. Alle andre førespurnader skulle gje responskodane 404 og 410, sjå nedanfor. Vi valde òg å fylgje alle Googles retningsliner for omdirigering frå eitt domene til eit anna (vi er usikre på om det var ein god idé eller ikkje).

Kva er ein responskode?

Dei fleste kjenner responskoden 404 – Sida vart ikkje funnen. I HTTP-protokollen er det mange statuskodar, som blir brukt for ulike føremål. Kodane blir brukt for å utveksle standardisert informasjon mellom tenaren (servaren, i dette tilfellet allkunne.no) og lesaren.

Den vanlegaste statuskoden er 200 OK. Då har ein lesar bede om å få innhaldet frå ein bestemt URL, servaren forstod kva innhald han skulle vise og alt gjekk ok med å finne fram innhaldet. Dersom det ikkje går bra, for eksempel fordi servaren ikkje klarte å forstå førespurnaden, sender han 404 Ikkje funnen, eller kodar som 500 Intern servarfeil.

Responskodar frå allkunne.no

For allkunne.no bestemte vi oss for å bruke berre nokre få statuskodar:

• 301 Omdiriger (redirect) for innhald som både fanst i Allkunne og SNL. Slik kunne vi flytte trafikken frå dei gamle artiklane på allkunne.no til tilsvarande artikkel på snl.no. Eksempel: https://allkunne.no/framside/biografiar/a/ivar-aasen/112/1030/
• 403 Forbode (forbidden) for innhald som berre bottar ser etter (i svært stor grad spam, og forsøk på hackar-åtak). Eksempel: https://allkunne.no/edit_frame.asp (eit forsøk på å finne CMS-et til Allkunne)
• 410 Fjerna (gone) for innhald som vi heilt medvite har fjerna. Dette gjeld mellom anna Fylkesleksikon for Sogn og Fjordane, som er avlevert til Fylkesarkivet i Vestland (dei har ikkje publisert det enno). Eksempel: https://allkunne.no/framside/fylkesleksikon-sogn-og-fjordane/historie-i-sogn-og-fjordane/historie/drap-og-avretting-pa-eggja/1901/79003/

Når ein omdirigerer ein heilt nettstad til ein annan er det ikkje vanleg å sende 404 eller 410. Det er lett å tenkje at ein vil ha med seg så mykje trafikk som mogleg, og omdirigere alt ein ikkje heilt forstår kva er med med 301 til ei statisk infoside eller framsida.

På grunn av erfaringane med omdirigering av det danske leksikonet bestemte vi oss for å bruke både 404 Ikkje funnen (for Allkunne-artiklar vi ikkje hadde klart å mætsje med rett SNL-artikkel) og 410 Forsvunne for artiklar vi ikkje ville ha på snl.no.

Erfaringane så langt

Til no, snaue tre månader etter at vi slo av allkunne.no, er det er registrert 1,1 millionar førespurnader til servaren. 67 % var etter artiklar, 94 % var frå bottar.

Vi veit ikkje om bot-trafikken til allkunne.no er representativ, men det er ganske tankevekkjande at 94 prosent av trafikken til ein stor norsk nettstad er frå bottar.

Kva er ein bot?

Ein søkjerobot (crawler, spider) er ein internett-bot som systematisk surfar internett, og blir som regel brukt for å indeksere nettsider til søkjemotorar. Søkjerobotane lastar ned lokale kopiar av nettsidene for analyse. Søkjerobotane har eksistert nesten like lenge som internett og alle søkjemotorar er avhengig av ein slik søkjerobot.

Det aller meste av trafikken til allkunne.no (94 prosent) er frå robotar. Det meste av trafikken er søkjerobotar (Google, Bing, Yandex m.fl.), ein del er frå ulike indekseringstenester, noko ser ut til å vere statleg etterretning (?) og ganske mykje er heilt uforståeleg trafikk.

Førespurnader til allkunne.no

I løpet av dei snaue tre månadene som har gått sidan vi slo av allkunne.no og slo på omdirigeringsmotoren vår (sjå nedanfor), har vi registrert 1 178 034 førespurnader til servaren.

Slik har vi svart:

301 Omdirigering	629 251	53 %
403 Forbode	69 079	6 %
404 Ikkje funnen	88 465	8 %
410 Sletta	391 226	33 %

Alle 301 har gått til riktig artikkel på snl.no.

Vi har altså gått «glipp» av 548 770 førespurnader som vi kunne omdirigert til snl.no.

Kvifor ville vi ikkje ha denne trafikken? For det fyrste er ein svært stor andel bottar, og vi vil ikkje at dei skal indeksere ei tilfeldig «omdirigeringsinformasjonsside» på snl.no. For det andre er det betre for brukarane om dei får klår og tydeleg informasjon om kva som har skjedd. Vi trur at dersom vi omdirigerer berre relevante ting, kan vi kanskje halde på PageRank m.m. hos Google.

Ein stor del av denne trafikken var etter bilete. Bileta på allkunne.no hadde så låg oppløysing av det var vanskeleg å få flytt dei til snl.no, så vi bestemte oss tidleg for ikkje å overføre bileta.

Slik har fordelinga av trafikk frå bottar og «folk» (d.v.s. alt vi ikkje har klart å identifisere som bottar) til allkunne.no vore dei siste tre månadene:

Det vi ser er at bot-aktiviteten auka etter at vi slo av alkunne.no. Google m.fl. ville altså finne ut kva som har skjedd med sidene som ligg i indeksane deira. Så roa det seg litt etter nokre dagar, men trafikken har halde seg relativt høg. Trafikken frå faktiske folk gjekk raskt ned etter at vi slo av allkunne.no: Etter ei veke var dei alle fleste brukarane vekke.

Responskodar som er sendt

Rett etter at vi slo av allkunne.no såg vi at det var mange som forsøkte å opne bilete på allkunne.no. Vi ser at biletsøket til Google er mykje treigare til å oppdatere innhaldet sitt enn det vanlege nettsøket. Den absolutt størstedelen av førespurnadane til allkunne.no frå vanlege brukarar var til bilete.

Då vi slo av allkunne.no var det mange URL-ar som vi ikkje visste om, og vi sende ut mange 404-kodar dei fyrste dagane. Vi sette i gang eit relativt stort arbeid med å manuelt omdirigere førespurnader etter einskild-URL-ar på allkunne.no til rett side på snl.no. Denne innsatsen fungerte:

Om vi ser på korleis vi har svart robotane er biletet veldig annleis:

Vi ser at nokre, særleg Google, testar dei same URL-ane mange gongar for å sjekke om vi verkeleg meiner at sida er omdirigert (301) eller borte (410).

404-førespurnadane auka kraftig etter eit par dagar: Søkjerobotane forsøkte å hente sidene mange gongar for å sjekke om sida verkeleg var 404, eller om vi hadde fiksa problemet.

Og ja: Vi fiksa problemet for mange sider. Auka i 404 overraska oss litt, og to studentar på sumarjobb fekk i oppgåve å sitje éin dag kvar for å leggje inn rette omdirigerings-URLar. Dei starta på jobben på føremiddagen 13. juni, og vi la ut endringane kvelden 13. juni. Oppdateringane hadde momentan effekt: Dagen etter var førespurnadane til 404-sidene langt lågare.

Korleis oppfører bottane seg?

Vi loggar kva bottar som er innom allkunne.no.

Rundt 40 prosent av bot-trafikken er Google , 19 prosent Bing, 10 prosent Apple. Det er lite overraskande.

Meir overraskande er at 7 prosent av bot-trafikken er frå eitt eller anna elevprosjekt hos Oslo kommune, at 4 prosent ser ut til å vere kinesisk etterretning eller eitt eller anna statleg kinesisk (?) og 4 prosent er ein servar hos tyske Bertelsmann som lastar dei same sidene om att og om att.

Rundt halvparten av bot-trafikken ser ut til å ta omsyn til responskodane vi sender. Den andre halvparten ignorerer svara dei har fått tidlegare, og hentar dei same sidene dag etter dag. Sjølv om vi altså har fortalt for eksempel Bertelsmann at ei side er fjerna (410) forsøker dei å opne den same sida dag etter dag. Feedcheck forsøker å laste RSS-feeden på allkunne.no kvart tiande minutt, heile døgnet, sjølv om dei har fått beskjed om at RSS-en er fjerna 48 160 gongar (!).

Kor lenge bør ein omdirigeringsmotor stå på?

Vi er usikre på kor lenge omdirigeringsmotoren som no ligg på allkunne.no bør vere i drift. Vi såg for oss at dei fleste søkjebottane ville få med seg at innnhaldet har flytta til snl.no relativt raskt, men dette viste seg å ikkje stemme: Google er framleis innom 10–20 prosent av allkunne.no-artiklane kvar einaste dag, tre månader etter at vi byrja omdirigere all trafikken.

Effekt på snl.no

Vi har knapt sett innverknad på lesinga av snl.no etter omdirigeringa, og er usikre på den faktiske effekten av omdirigering.

Dette er også svært vanskeleg å måle: Vi veit kor mange førespurnader til allkunne.no som har blitt omdirigert til snl.no, men ser samtidig at dette knapt har hatt innverknad på for eksempel sidevisningstala som blir registrert i Google Analytics for sidene vi har omdirigert til. Det er òg vanskeleg å få systematisk målt om PageRank er overført eller ikkje.

Vi fylgjde Googles retningsliner for omdirigering frå eitt domene til eit anna og varsla Google om omdirigering i Search Console, i tillegg til omdirigering gjort på artikkelnivå. I dag: Tre månader etter at allkunne.no vart slått av, har Google framleis tusenvis av Allkunne-URL-ar i indeksen sin, men alle ser ut til å ha SNL-innhald i seg (basert på snippetane som er i søkjeresultata).

Denne posten er myntet på fagansvarlige, fagmedarbeidere og forfattere i Store norske leksikon.

Hvis du er en av dem som oppdaterer mange artikler i SNL er du sikkert enig i at det tar lang tid å legge inn internlenker til andre artikler. Tennisalbue kan man også pådra seg 🙂

Vi har fått laget et verktøy som gjør lenkejobben veldig, veldig mye raskere.

Verktøyet er en utvidelse til Chrome. For å bruke verktøyet må du altså bruke nettleseren Chrome, det fungerer ikke i andre nettlesere. Last ned utvidelsen «SNL internlenker» fra Chrome nettmarked.

For å legge inn en internlenke trykker du Alt+Q (Windows) eller Ctrl+Q (Mac) mens du står i et ord. Du trenger ikke å merke ordet først.

Det finnes også hurtigtaster for mange andre funksjoner.

Det er sikkert fleire som sit og klør seg i hovudet over den nye kommunestrukturen. Nesten alle kommunane har fått nye nummer, og det er mange databasar som må oppdaterast.

Etter det vi kan sjå er det ingen som har lagt ut konverteringstabellar frå gamle til nye kommunenummer. Mange har sikkert laga dei, men det finst få spor av det på nettet.

Vi held på å oppdatere alle dei nye kommuneartiklane våre, og har sjølvsagt laga konverteringstabellar. Då tenkjer vi at vi like godt kan dele dei med resten av verda.

Finn du feil? Send dei til redaksjonen@snl.no.

Konvertering frå gamle til nye kommunenummer

Denne posten er retta mot fagansvarlege og fagmedarbeidarar i leksikonet.

Redaksjonen skal evaluere kvalitetsvurderingssystemet i løpet av dei neste vekene, og vi vil gjerne ha innspel frå dykk!

Rett før sumaren 2017 innførte vi eit nytt kvalitetsvurderingssystem i leksikonet. Redaktørar, fagansvarlege og fagmedarbeidarar kan leggje inn vurderingar av artiklar. Artiklar med kvalitetsvurdering 4 Trenger gjennomgang og 5 Kritiske problemer hamnar i arbeidslistene til dei fagansvarlege. Artiklar med kvalitetsvurdering 1 og 2 vil bli vist fram under andre artiklar i det nye designet som er på veg.

På eitt år er det er lagt inn 17 872 kvalitetsvurderingar i 15 492 artiklar.

Vi har lært ein del det siste året. Eg har lyst til å peike på seks viktige ting:

1. Kvifor kvalitetsvurderingar? Vi har nesten 200 000 artiklar i leksikonet. Vi må flytte kunnskapen om kva som er gode artiklar og kva som er mindre gode artiklar ut frå hovudene til redaktørane og dei fagansvarlege inn i produksjonssystemet. Dette er den einaste måten vi kan få systematisk oversikt og kontroll over artikkelbasen. Vi har mange eksempel på at dårlege artiklar ikkje blir fiksa fordi dei går i gløymeboka. No finst ikkje gløymeboka meir, og det blir lettare å få kontroll. På sikt bør alle artiklar få ei kvalitetsvurdering.
2. Vurdering av artiklar – ikkje av forfattaren: Det er viktig å hugse på at kvalitetsvurderingane er ei vurdering av sjølve artikkelen – ikkje av forfattaren. Kvalitetsvurderinga er heller ikkje ein «karakter» frå redaksjonen.
3. Vurder dine eigne artiklar! Alle fagansvarlege kan vurdere alle artiklane i leksikonet, og det vil vi gjerne at du gjer. Legg inn vurderingar kvar gong du er innom!
4. Har du fiksa ein artikkel? Legg inn ny kvalitetsvurdering! Dersom ein artikkel har fått 4 eller 5 og du har fiksa problemet – legg inn ei ny kvalitetsvurdering sjølv.
5. Er du stolt av ein artikkel – legg inn vurdering 2. Er du usikker? Snakk med redaktøren din.
6. Har du spørsmål om ei kvalitetsvurdering – snakk med redaktøren din, ikkje den som har lagt inn vurderinga. Redaksjonen har vaktturnus der vi går gjennom alle endringar i leksikonet kvar dag. D.v.s. at du vil få tilbakemeldingar frå alle redaktørane. Dersom du har spørsmål eller noko du vil diskutere med oss er det viktig at du snakkar med den faste redaktøren din, ikkje den som «tilfeldigvis» har lagt inn ei vurdering.

Les hjelpeteksten om Kvalitetsvurderingar og arbeidlister i fagansvarleginstruksen.

Har du innspel til korleis kvalitetsvurderingssystemet kan bli betre? Send ein e-post til redaksjonen eller (best) diskuter i bidragsytargruppa på Facebook.

Med så mye innhold som SNL har, er det en enormt stor jobb når vi vil rette utbredte feil eller finner ut at vi vil gjøre systematiske endringer. Da er en eller annen form for autokorrektur et nyttig hjelpemiddel, selv om det jo hender at automatikken også gir uheldige utslag.

Faste titler

Tidligere i år gjorde vi en automatisk endring av vanlige overskrifter i artiklene, fordi vi vil at lenker til andre leksikonartikler skal komme under overskriften «Les mer i Store norske leksikon» og ikke under «Videre lesning» eller noe annet. Noen av disse ble feil eller misvisende, og vi retter opp manuelt når vi oppdager dem, men i de aller fleste tilfeller ble det riktig.

Autokorrektur

Nå har vi ganske nylig lagt til en ny autokorrekturfunksjon. Denne sjekker hver gang en artikkel blir lagret, og retter opp en del definerte feil – doble mellomrom blir endret til enkle, blant annet, og mellomrom i lenker blir fjernet. Vi skal etter hvert legge til flere automatiske endringer her, som å legge inn ordentlige «»-anførselstegn i stedet for » «.

Autokorrekturendringene lagres som en egen versjon av artikkelen, og historikken viser at det er brukeren «Autokorrektur» som har laget denne versjonen. På den måten bevarer vi oversikten over hvem (eller hva!) det er som har gjort hvilke endringer i artikkelen.

Meld fra om feil

Vi prøver så godt vi kan å tenke gjennom konsekvensene av slike automatiske rettelser, og å teste dem før vi begynner å bruke dem, men innimellom blir det litt feil likevel. Heldigvis er de fagansvarlige i leksikonet flinke til å si fra når de oppdager noe som har blitt feil eller merkelig. Fortsett med det!

Vi fortsetter å skrive om utvikling av produksjonssystemet til Store norske leksikon. I forrige uke skrev vi om det nye statistikkverktøyet. I dag har vi fått på plass et nytt arbeidslistesystem for fagansvarlige som vi håper at mange vil ha glede av.

Dette er et verktøy som vi håper kan være til hjelp både for oss i redaksjonen og de fagansvarlige, både for å markere artikler som man bør gjøre noe med, og artikler som er spesielt gode, og som kan løftes frem i passende sammenhenger.

Innloggede fagansvarlige, redaktører og feiljegere vil se et valg som heter «Kvalitetsvurdering» i venstre kolonne når du er inne og leser en artikkel. Her kan du gi artikkelen karakter fra 1 («En av de beste artiklene i hele leksikonet») til 5 («Kritiske problemer med form eller innhold»), og legge inn en kommentar om hva du synes er bra eller dårlig.

Inne i produksjonssystemet vil fagansvarlige få opp artikler merket med karakteren 4 eller 5 i arbeidslistene sine.

Det er bare innloggede fagansvarlige, bidragsytere og redaktører som kan se kvalitetsvurderingene.

Les mer på om hvordan systemet virker og skal brukes.