Utvärdering av sociala medier


Igår hade vi en utbildningsdag om nyttovärdering av och med sociala medier för SFIS på Försvarshögskolan i Stockholm. Det handlade om hur man sätter mätbara mål, metoder för utvärdering, vad som kan mätas, vilka verktyg som finns för statistikuttag, hur man kan använda Facebook Insights, inspirerande exempel från näringslivet m.m.

Det var bara någon enstaka från folkbibliotek där, men vi hoppas det kommer fler på nästa tillfälle som blir till hösten i Göteborg. Kursen är precis lika angelägen för folkbiblioteken!

Här är presentationen.

/Linnéa

Annonser

Nya mätmetoder för universitetsbibliotek


På konferensen Association of College and Research Libraries i Philadelphia i förra veckan, diskuterades problemet med hur universitetsbiblioteken på bästa sätt kan visa och mäta sitt värde. James G. Neal från Columbia University talade om behovet av att hitta nya kvalitativa mått och att inte gå i ROI-mätfällan. Hans paper finns att läsa här: Stop the Madness: The Insanity of ROI and the Need for New Qualitative Measures of Academic Library Success.

Enligt James Neal fungerar inte ROI som metod för akademiska bibliotek då det ger en naiv och misstolkad bild av bibliotekens roll och påverkan på högre utbildning. I stället bör vi i mätningen fokusera på vad våra användare vill ha och behöver och hur de interagerar med det fysiska och digitala biblioteket. Vi bör utgå ifrån människan i stället för resurserna och mäta saker som rör hur mycket användaren fick med sig med tanke på den tid och energi de lade ner på biblioteket.

/Linnéa

Studier om nytta och värde i olika bibliotekstyper


Stephen Abram (Stephen´s Lighthouse) har i veckan som gått bloggat om goda exempel på studier i nytta och värde för  folkbibliotek, specialbibliotek, skolbibliotek och högskolebibliotek. I sitt sista inlägg påminner han om att det tyvärr inte räcker med att ta fram siffror och lämna över, man måste PAKETERA resultatet också! Stephens lösning är att kombinera mätningarna med storytelling; alltså berättelser/texter som illustrerar och levandegör det som undersökningarna och statistiken visar.

Stephen tipsar om en bok som använder storytelling i form ”springboard”:

The Springboard: How Storytelling Ignites Action in Knowledge-Era Organizations av Stephen Denning
(KMCI Press)

Boken ger kunskap om hur man kan paketera och presentera t ex undersökningsresultat och statistik så att det blir visualiserat och förståeligt. Kanske värt att kolla upp för bibliotekschefer som redovisar resultat inför kommunens politiker!

Länkar till bra studier som mäter bibliotekens nytta och värde:

The Value of Public Libraries
http://stephenslighthouse.com/2010/04/06/the-value-of-public-libraries/

The Value of School Libraries
http://stephenslighthouse.com/2010/04/06/the-value-of-school-libraries/

The Value of Academic and College Libraries
http://stephenslighthouse.com/2010/04/07/value-of-academic-and-college-libraries/

The Value of Special Libraries
http://stephenslighthouse.com/2010/04/07/value-of-special-libraries/

Library Advocacy: Save the Library Campaigns
http://stephenslighthouse.com/2010/04/01/save-the-library-campaigns/

Having the Value Conversation: Springboard Stroies
http://stephenslighthouse.com/2010/04/07/having-the-value-conversation-springboard-stories/

Samhällsekonomisk nyttoanalys


Jag blev nyfiken på metoden bakom Varas värde (se tidigare blogginlägg) och lånade hem lic.uppsatsen Att värdera det ovärderliga : En studie om kulturinstitutioners värde av John Armbrecht.

Ekonomisk forskning har etablerats inom kulturområdet delvis för att försöka förstå kulturinstitutioner ur ett ekonomiskt perspektiv och för att kulturinstitutionerna ska kunna presentera produktivitet, effektivitet och ekonomiska nyckeltal.

Armbrecht skriver att kulturinstitutionernas input låter sig mätas relativt enkelt i ekonomiska termer men med outputen är det svårare. Antal besök, sålda biljetter osv ger inte svar på vilket värde en kulturinstitution skapar.

Icke-ekonomiska värden
Individuellt värde: glädje, lycka ger ett samhälleligt värde i form av hälsa/socialt kapital.
Individuellt värde: stimulering, hänförelse ger ett samhälleligt värde i form av kognitiv utveckling, kulturellt kapital.
Individuellt värde: underhållning, inspiration ger ett samhälleligt värde i form av lärande, utbildning, kreativitet.

Alltså, om biblioteket lyckas mäta stimulans och inspiration får man ett mått på hur väl de har lyckats bidra till kommunens mål för invånarna när det gäller utbildning och kognitiv utveckling. Tips: läs undersökningen Reading a difference som handlar om precis sådana saker.

Vad frågade då Armbrecht besökarna på Vara konserthus? Frågor vars svar till stor del var uppskattningar och antaganden. Det känns rätt befriande att inse att det är ”tillåtet” att mäta så. Som icke-ekonom är det lätt att tro att man inte kan göra det.

Brukare och icke-brukare fick bl a frågor om
Hur mycket har du spenderat under besöket i stan?
Hur viktigt är konserthuset för stan?
Hur mycket skatt är du beredd att betala?
Hur viktigt är det att konserthuset finns även i framtiden?

Mål och mätning sociala medier, del 2: Twitter


Del 1: Facebook

Eftersom förutsättningarna är desamma för varje kanal, inleds varje artikel i serien på samma sätt:

Antag att biblioteket ska flyttas och få ett helt nytt hus i stan. Man vill speciellt marknadsföra sig gentemot åldersgruppen 20-35, en ålderskategori som ofta är mittemellan. De är prioriterad målgrupp under två år för biblioteket. De befinner sig ofta mellan sin egen skolgång (om man inte studerar vidare och vill använder folkbibliotek) och föräldraskap. Biblioteket har sedan något år jobbat med digitala klyftan-problemet och har några kurser inom data som har lyckats riktigt bra: Internet för nybörjare, Använd mobilen, Skype, Nätdejting för seniorer. De vill dra kurserna ett steg till och se om de kan läggas ut på nätet och marknadsföra biblioteket.

Följande mål/syfte och mätetal arbetas fram som ska gälla för samtliga kanaler:

Granköpings mål och syfte

  • Att skapa en dialog med granköpingsborna om det nya biblioteket
  • Att nå den prioriterade målgruppen 20-35 år
  • Att marknadsföra bibliotekets tjänster och media
  • Att marknadsföra bibliotekets datakurser
  • Att synliggöra personalens kompetens

Mätetal för att kontrollera måluppfyllelse

Följande mätetal ska mäta kvantitet:

  • Antal vänner/fans/followers/kontakter
  • Antal besök
  • Antal sidvisningar

Följande mätetal ska mäta kvalitet:

  • Inläggskvalitet
  • Genomsnittlig tid
  • Antal kommentarer
  • Antal samtal
  • Hur det vi producerat sprids (ex: antal retweets av våra tweets)
  • Internt: personalens upplevelse av synliggörande av deras kompetens

Mål och mätning för Twitter

Vad som ska kommuniceras i Twitter

  • Dialog med invånarna om det nya biblioteket
  • Marknadsföring/info om bibliotekets media och tjänster
  • Personalens kompetens

Vad som ska mätas

  • Antalet followers
  • Antalet retweets av våra tweets
  • Antal direktmeddelanden
  • Antal mentions

Mål

  • Antalet followers ska uppgå till 300 personer vid 2010 års slut.
  • Antalet RT (retweets) ska vara 7 per månad.

Uppföljning
Fortlöpande kontroll av vilka tweets och vilka ämnen som lockar trafik.

Verktyg för mätning
Twitter
Twitter Analyzer
Bit.ly
Tweet Deck

Twitter Analyzer

Koppling mål – mätetal

Hur är mätetalen relaterade till de mål biblioteket angett? Man får vara medveten om att alla mål kanske inte går att mäta i varje kanal. I Twitter kan du t ex inte se hur gamla dina followers är, så därför kan inte målet ”Att nå den prioriterade målgruppen 20-35 år” mätas!

Målet ”Att skapa en dialog med granköpingsborna om det nya biblioteket” mäts i Twitter genom att varje vecka/månad kolla statistik på antalet followers, kommentarer och direktmeddelanden.

Målet ”Att marknadsföra bibliotekets tjänster och media” mäts genom statistik på antalet followers, retweets och mentions.

Målen ”Att marknadsföra bibliotekets datakurser” och ”Att synliggöra personalens kompetens” mäts inte här. Jag kommer till dem i ett senare avsnitt.

Mål och mätning sociala medier, del 1: Facebook


Jag tänker i några artiklar ge exempel på mätetal för Facebook, Twitter, YouTube, blogg och kanske några fler, och visa hur mätetalen kan relateras till de mål man satt för sin närvaro i sociala medie-kanaler. Jag börjar med Facebook.

Antag att biblioteket ska flyttas och få ett helt nytt hus i stan. Man vill speciellt marknadsföra sig gentemot åldersgruppen 20-35, en ålderskategori som ofta är mittemellan. De är prioriterad målgrupp under två år för biblioteket. De befinner sig ofta mellan sin egen skolgång (om man inte studerar vidare och vill använder folkbibliotek) och föräldraskap. Biblioteket har sedan något år jobbat med digitala klyftan-problemet och har några kurser inom data som har lyckats riktigt bra: Internet för nybörjare, Använd mobilen, Skype, Nätdejting för seniorer. De vill dra kurserna ett steg till och se om de kan läggas ut på nätet och marknadsföra biblioteket.

Biblioteket vill prova
på sociala medier på riktigt, och väljer bl a Facebook eftersom det är ett stort forum för 20-35-åringar. Följande mål/syfte och mätetal arbetas fram som ska gälla för samtliga kanaler:

Granköpings mål och syfte

  • Att skapa en dialog med granköpingsborna om det nya biblioteket
  • Att nå den prioriterade målgruppen 20-35 år
  • Att marknadsföra bibliotekets tjänster och media
  • Att marknadsföra bibliotekets datakurser
  • Att synliggöra personalens kompetens

Mätetal för att kontrollera måluppfyllelse

Följande mätetal ska mäta kvantitet:

  • Antal vänner/fans/followers/kontakter
  • Antal besök
  • Antal sidvisningar

Följande mätetal ska mäta kvalitet:

  • Inläggskvalitet
  • Genomsnittlig tid
  • Antal kommentarer
  • Antal samtal
  • Hur det vi producerat sprids (ex: antal retweets av våra tweets)
  • Internt: personalens upplevelse av synliggörande av deras kompetens

Vad som ska kommuniceras i Facebook

  • Tips på böcker, filmer etc.
  • Det nya biblioteket. Filmer, bilder, frågor kring det nya huset.
  • Datakurserna. Puffa för kurser, publicera bilder och intervjuer från kurserna.

Mål och mätning för Facebook

För att all personal ska känna delaktighet och stolthet ska vi varje månad skicka ett mail till all personal som kort berättar hur många fans, followers etc biblioteket har i respektive kanal tillsammans med något inlägg och kommentar från någon kanal. Det gör också att alla vet vad vi gör i sociala medier och de blir uppmuntrade till att delta.

Vad som ska mätas:

  • Antal fans
  • Antal kommentarer
  • Inläggskvalitet
  • Antalet aktiva fans
  • Antalet fans i åldern 25-34

Mål:

  • Mål inläggskvalitet: i genomsnitt 3 varje vecka
  • Antalet fans ska fördubblas under 2010
  • Antalet kommentarer ska vara 30 st. per vecka
  • Antalet aktiva fans ska vara 20 st. per vecka
  • Andelen fans i åldern 25-34 ska vara 20% av alla fans

Statistiken ska samlas in veckovis och redovisas per månad.

Verktyg för mätning:
Facebook Insights

Koppling mål – mätetal

Hur hänger då det här ihop? Hur ska man tänka?

Målet ”Att skapa en dialog med granköpingsborna om det nya biblioteket” mäts alltså i Facebook genom att varje vecka eller månad kolla statistik på antalet kommentarer.

Målet ”Att nå den prioriterade målgruppen 20-35 år” mäts i Facebook genom att kolla statistik på antalet fans 25-34 år.

Målet ”Att marknadsföra bibliotekets tjänster och media” mäts i Facebook genom att kolla statistik på antalet fans, antalet aktiva fans, inläggskvalitet.

Vid årets slut sammanställs alla siffror och man jämför med de mål man satte för Facebook. Hade vi i genomsnitt ”3” i inläggskvalitet? Lyckades vi fördubbla antalet fans? Hade vi 30 kommentarer i veckan? Hade vi 20 aktiva fans i veckan? Utgör gruppen 25-34 år nu 20% av samtliga fans? Man ska fortlöpande hålla koll på vilka inlägg som drar stor publik för att se vad man lyckas med respektive inte lyckas med, och inte vänta till årets slut med uppföljningen. Rubrikerna har stor betydelse. De ska vara korta och kärnfulla och innehålla ord som man tror att folk använder när de söker på webben.

Ja, ungefär så här kan man göra! Det behöver inte vara svårare.

Nästa gång fortsätter jag med Twitter. Samma mål och mätetal kommer att användas för alla kanalerna. Så här ser det ut i Facebok Insights (nedan). Om man har en fan-sida finns statistikfunktionen under ”Insights – Visa alla” på själva fan-sidan. Man måste ha administratörsbehörighet för att kunna klicka sig in på det. På bilden nedan syns bara en bråkdel av den statistik som ges.

Facebook Insights

Kulturens / bibliotekens ekonomiska värde


Många kommuner bygger nytt och fint för sina kulturinstitutioner; muséer, konserthus och inte minst bibliotek. Men är det värt det? Går det att räkna ut hur mycket man ”tjänar” på att bygga ett nytt bibliotek?

Igår presenterades en rapport på Akvarellmuseet i Skärhamn som sade att för varje krona som satsats i museet får kommunen och regionen 20kr tillbaka. Forskaren John Armbrecht och professor Tommy D Andersson från Göteborgs universitet har gjort en samhällsekonomisk lönsamhetskalkyl för Akvarellmuseet. De gjorde en liknande undersökning 2008, då av hur konserthuset i Vara hade betalat sig (vi har bloggat om det tidigare): Varas värde varar.

Arnbrecht och Andersson har använt metoden samhällsekonomisk lönsamhetskalkyl, vilket i korthet innebär att de har uppskattat intäkter och kostnader för effekter/värden som saknar marknadspris. Det handlar helt enkelt om en cost benefit analys (kostnads- och intänktanalys) där utgifterna för en kulturinstitution sätts i relation till intäkter eller förväntade och upplevda intäkter. Även mjuka värden räknas om till intäkter, och det handlar naturligtvis mycket om att göra antaganden.

Samhällsekonomisk lönsamhetskalkyl är en intressant metod för kultursektorn, eftersom man med den kan sätta ett ekonomiskt värde på saker som annars är svåra att göra mätbara på ett sätt så att alla ”förstår”. Jag är övertygad om att kommunpolitiker m. fl. redan inser kulturens värde, men om de får siffror på det blir det enklare att fatta beslut om att t ex bygga ett nytt bibliotek.  Om man, som här, hittar en modell som talar om för dem vad det är värt i pengar är det guld värt! Metoden bör absolut kunna användas på bibliotek. Är det någon som har gjort det, inför en nybyggnation eller så?

Att värdera det ovärderliga – en studie om kulturinstitutioners värde – låna lic.uppsatsen av John Armbrecht på bibliotek