Utvärdering av sociala medier


Igår hade vi en utbildningsdag om nyttovärdering av och med sociala medier för SFIS på Försvarshögskolan i Stockholm. Det handlade om hur man sätter mätbara mål, metoder för utvärdering, vad som kan mätas, vilka verktyg som finns för statistikuttag, hur man kan använda Facebook Insights, inspirerande exempel från näringslivet m.m.

Det var bara någon enstaka från folkbibliotek där, men vi hoppas det kommer fler på nästa tillfälle som blir till hösten i Göteborg. Kursen är precis lika angelägen för folkbiblioteken!

Här är presentationen.

/Linnéa

Annonser

Nya mätmetoder för universitetsbibliotek


På konferensen Association of College and Research Libraries i Philadelphia i förra veckan, diskuterades problemet med hur universitetsbiblioteken på bästa sätt kan visa och mäta sitt värde. James G. Neal från Columbia University talade om behovet av att hitta nya kvalitativa mått och att inte gå i ROI-mätfällan. Hans paper finns att läsa här: Stop the Madness: The Insanity of ROI and the Need for New Qualitative Measures of Academic Library Success.

Enligt James Neal fungerar inte ROI som metod för akademiska bibliotek då det ger en naiv och misstolkad bild av bibliotekens roll och påverkan på högre utbildning. I stället bör vi i mätningen fokusera på vad våra användare vill ha och behöver och hur de interagerar med det fysiska och digitala biblioteket. Vi bör utgå ifrån människan i stället för resurserna och mäta saker som rör hur mycket användaren fick med sig med tanke på den tid och energi de lade ner på biblioteket.

/Linnéa

Studier om nytta och värde i olika bibliotekstyper


Stephen Abram (Stephen´s Lighthouse) har i veckan som gått bloggat om goda exempel på studier i nytta och värde för  folkbibliotek, specialbibliotek, skolbibliotek och högskolebibliotek. I sitt sista inlägg påminner han om att det tyvärr inte räcker med att ta fram siffror och lämna över, man måste PAKETERA resultatet också! Stephens lösning är att kombinera mätningarna med storytelling; alltså berättelser/texter som illustrerar och levandegör det som undersökningarna och statistiken visar.

Stephen tipsar om en bok som använder storytelling i form ”springboard”:

The Springboard: How Storytelling Ignites Action in Knowledge-Era Organizations av Stephen Denning
(KMCI Press)

Boken ger kunskap om hur man kan paketera och presentera t ex undersökningsresultat och statistik så att det blir visualiserat och förståeligt. Kanske värt att kolla upp för bibliotekschefer som redovisar resultat inför kommunens politiker!

Länkar till bra studier som mäter bibliotekens nytta och värde:

The Value of Public Libraries
http://stephenslighthouse.com/2010/04/06/the-value-of-public-libraries/

The Value of School Libraries
http://stephenslighthouse.com/2010/04/06/the-value-of-school-libraries/

The Value of Academic and College Libraries
http://stephenslighthouse.com/2010/04/07/value-of-academic-and-college-libraries/

The Value of Special Libraries
http://stephenslighthouse.com/2010/04/07/value-of-special-libraries/

Library Advocacy: Save the Library Campaigns
http://stephenslighthouse.com/2010/04/01/save-the-library-campaigns/

Having the Value Conversation: Springboard Stroies
http://stephenslighthouse.com/2010/04/07/having-the-value-conversation-springboard-stories/

Samhällsekonomisk nyttoanalys


Jag blev nyfiken på metoden bakom Varas värde (se tidigare blogginlägg) och lånade hem lic.uppsatsen Att värdera det ovärderliga : En studie om kulturinstitutioners värde av John Armbrecht.

Ekonomisk forskning har etablerats inom kulturområdet delvis för att försöka förstå kulturinstitutioner ur ett ekonomiskt perspektiv och för att kulturinstitutionerna ska kunna presentera produktivitet, effektivitet och ekonomiska nyckeltal.

Armbrecht skriver att kulturinstitutionernas input låter sig mätas relativt enkelt i ekonomiska termer men med outputen är det svårare. Antal besök, sålda biljetter osv ger inte svar på vilket värde en kulturinstitution skapar.

Icke-ekonomiska värden
Individuellt värde: glädje, lycka ger ett samhälleligt värde i form av hälsa/socialt kapital.
Individuellt värde: stimulering, hänförelse ger ett samhälleligt värde i form av kognitiv utveckling, kulturellt kapital.
Individuellt värde: underhållning, inspiration ger ett samhälleligt värde i form av lärande, utbildning, kreativitet.

Alltså, om biblioteket lyckas mäta stimulans och inspiration får man ett mått på hur väl de har lyckats bidra till kommunens mål för invånarna när det gäller utbildning och kognitiv utveckling. Tips: läs undersökningen Reading a difference som handlar om precis sådana saker.

Vad frågade då Armbrecht besökarna på Vara konserthus? Frågor vars svar till stor del var uppskattningar och antaganden. Det känns rätt befriande att inse att det är ”tillåtet” att mäta så. Som icke-ekonom är det lätt att tro att man inte kan göra det.

Brukare och icke-brukare fick bl a frågor om
Hur mycket har du spenderat under besöket i stan?
Hur viktigt är konserthuset för stan?
Hur mycket skatt är du beredd att betala?
Hur viktigt är det att konserthuset finns även i framtiden?

Mål och mätning sociala medier, del 2: Twitter


Del 1: Facebook

Eftersom förutsättningarna är desamma för varje kanal, inleds varje artikel i serien på samma sätt:

Antag att biblioteket ska flyttas och få ett helt nytt hus i stan. Man vill speciellt marknadsföra sig gentemot åldersgruppen 20-35, en ålderskategori som ofta är mittemellan. De är prioriterad målgrupp under två år för biblioteket. De befinner sig ofta mellan sin egen skolgång (om man inte studerar vidare och vill använder folkbibliotek) och föräldraskap. Biblioteket har sedan något år jobbat med digitala klyftan-problemet och har några kurser inom data som har lyckats riktigt bra: Internet för nybörjare, Använd mobilen, Skype, Nätdejting för seniorer. De vill dra kurserna ett steg till och se om de kan läggas ut på nätet och marknadsföra biblioteket.

Följande mål/syfte och mätetal arbetas fram som ska gälla för samtliga kanaler:

Granköpings mål och syfte

  • Att skapa en dialog med granköpingsborna om det nya biblioteket
  • Att nå den prioriterade målgruppen 20-35 år
  • Att marknadsföra bibliotekets tjänster och media
  • Att marknadsföra bibliotekets datakurser
  • Att synliggöra personalens kompetens

Mätetal för att kontrollera måluppfyllelse

Följande mätetal ska mäta kvantitet:

  • Antal vänner/fans/followers/kontakter
  • Antal besök
  • Antal sidvisningar

Följande mätetal ska mäta kvalitet:

  • Inläggskvalitet
  • Genomsnittlig tid
  • Antal kommentarer
  • Antal samtal
  • Hur det vi producerat sprids (ex: antal retweets av våra tweets)
  • Internt: personalens upplevelse av synliggörande av deras kompetens

Mål och mätning för Twitter

Vad som ska kommuniceras i Twitter

  • Dialog med invånarna om det nya biblioteket
  • Marknadsföring/info om bibliotekets media och tjänster
  • Personalens kompetens

Vad som ska mätas

  • Antalet followers
  • Antalet retweets av våra tweets
  • Antal direktmeddelanden
  • Antal mentions

Mål

  • Antalet followers ska uppgå till 300 personer vid 2010 års slut.
  • Antalet RT (retweets) ska vara 7 per månad.

Uppföljning
Fortlöpande kontroll av vilka tweets och vilka ämnen som lockar trafik.

Verktyg för mätning
Twitter
Twitter Analyzer
Bit.ly
Tweet Deck

Twitter Analyzer

Koppling mål – mätetal

Hur är mätetalen relaterade till de mål biblioteket angett? Man får vara medveten om att alla mål kanske inte går att mäta i varje kanal. I Twitter kan du t ex inte se hur gamla dina followers är, så därför kan inte målet ”Att nå den prioriterade målgruppen 20-35 år” mätas!

Målet ”Att skapa en dialog med granköpingsborna om det nya biblioteket” mäts i Twitter genom att varje vecka/månad kolla statistik på antalet followers, kommentarer och direktmeddelanden.

Målet ”Att marknadsföra bibliotekets tjänster och media” mäts genom statistik på antalet followers, retweets och mentions.

Målen ”Att marknadsföra bibliotekets datakurser” och ”Att synliggöra personalens kompetens” mäts inte här. Jag kommer till dem i ett senare avsnitt.

Mål och mätning sociala medier, del 1: Facebook


Jag tänker i några artiklar ge exempel på mätetal för Facebook, Twitter, YouTube, blogg och kanske några fler, och visa hur mätetalen kan relateras till de mål man satt för sin närvaro i sociala medie-kanaler. Jag börjar med Facebook.

Antag att biblioteket ska flyttas och få ett helt nytt hus i stan. Man vill speciellt marknadsföra sig gentemot åldersgruppen 20-35, en ålderskategori som ofta är mittemellan. De är prioriterad målgrupp under två år för biblioteket. De befinner sig ofta mellan sin egen skolgång (om man inte studerar vidare och vill använder folkbibliotek) och föräldraskap. Biblioteket har sedan något år jobbat med digitala klyftan-problemet och har några kurser inom data som har lyckats riktigt bra: Internet för nybörjare, Använd mobilen, Skype, Nätdejting för seniorer. De vill dra kurserna ett steg till och se om de kan läggas ut på nätet och marknadsföra biblioteket.

Biblioteket vill prova
på sociala medier på riktigt, och väljer bl a Facebook eftersom det är ett stort forum för 20-35-åringar. Följande mål/syfte och mätetal arbetas fram som ska gälla för samtliga kanaler:

Granköpings mål och syfte

  • Att skapa en dialog med granköpingsborna om det nya biblioteket
  • Att nå den prioriterade målgruppen 20-35 år
  • Att marknadsföra bibliotekets tjänster och media
  • Att marknadsföra bibliotekets datakurser
  • Att synliggöra personalens kompetens

Mätetal för att kontrollera måluppfyllelse

Följande mätetal ska mäta kvantitet:

  • Antal vänner/fans/followers/kontakter
  • Antal besök
  • Antal sidvisningar

Följande mätetal ska mäta kvalitet:

  • Inläggskvalitet
  • Genomsnittlig tid
  • Antal kommentarer
  • Antal samtal
  • Hur det vi producerat sprids (ex: antal retweets av våra tweets)
  • Internt: personalens upplevelse av synliggörande av deras kompetens

Vad som ska kommuniceras i Facebook

  • Tips på böcker, filmer etc.
  • Det nya biblioteket. Filmer, bilder, frågor kring det nya huset.
  • Datakurserna. Puffa för kurser, publicera bilder och intervjuer från kurserna.

Mål och mätning för Facebook

För att all personal ska känna delaktighet och stolthet ska vi varje månad skicka ett mail till all personal som kort berättar hur många fans, followers etc biblioteket har i respektive kanal tillsammans med något inlägg och kommentar från någon kanal. Det gör också att alla vet vad vi gör i sociala medier och de blir uppmuntrade till att delta.

Vad som ska mätas:

  • Antal fans
  • Antal kommentarer
  • Inläggskvalitet
  • Antalet aktiva fans
  • Antalet fans i åldern 25-34

Mål:

  • Mål inläggskvalitet: i genomsnitt 3 varje vecka
  • Antalet fans ska fördubblas under 2010
  • Antalet kommentarer ska vara 30 st. per vecka
  • Antalet aktiva fans ska vara 20 st. per vecka
  • Andelen fans i åldern 25-34 ska vara 20% av alla fans

Statistiken ska samlas in veckovis och redovisas per månad.

Verktyg för mätning:
Facebook Insights

Koppling mål – mätetal

Hur hänger då det här ihop? Hur ska man tänka?

Målet ”Att skapa en dialog med granköpingsborna om det nya biblioteket” mäts alltså i Facebook genom att varje vecka eller månad kolla statistik på antalet kommentarer.

Målet ”Att nå den prioriterade målgruppen 20-35 år” mäts i Facebook genom att kolla statistik på antalet fans 25-34 år.

Målet ”Att marknadsföra bibliotekets tjänster och media” mäts i Facebook genom att kolla statistik på antalet fans, antalet aktiva fans, inläggskvalitet.

Vid årets slut sammanställs alla siffror och man jämför med de mål man satte för Facebook. Hade vi i genomsnitt ”3” i inläggskvalitet? Lyckades vi fördubbla antalet fans? Hade vi 30 kommentarer i veckan? Hade vi 20 aktiva fans i veckan? Utgör gruppen 25-34 år nu 20% av samtliga fans? Man ska fortlöpande hålla koll på vilka inlägg som drar stor publik för att se vad man lyckas med respektive inte lyckas med, och inte vänta till årets slut med uppföljningen. Rubrikerna har stor betydelse. De ska vara korta och kärnfulla och innehålla ord som man tror att folk använder när de söker på webben.

Ja, ungefär så här kan man göra! Det behöver inte vara svårare.

Nästa gång fortsätter jag med Twitter. Samma mål och mätetal kommer att användas för alla kanalerna. Så här ser det ut i Facebok Insights (nedan). Om man har en fan-sida finns statistikfunktionen under ”Insights – Visa alla” på själva fan-sidan. Man måste ha administratörsbehörighet för att kunna klicka sig in på det. På bilden nedan syns bara en bråkdel av den statistik som ges.

Facebook Insights

Bak & fram-metoden i workshop


Viveca:
– På bokmässan hittade jag en intressant bok som heter Möteskokboken. Den beskriver olika metoder för effektiva möten, och vilka man kan välja beroende på vilket syfte man har med mötet. Linnéa har testat ett par metoder i en workshop på konferensen Infotrender 24-25/11.

Linnéa:
– Jag hade en föreläsning och workshop om hur man lyckas med ett 23-sakerprojekt (fortbildning för personal i ny teknik och sociala medier). Eftersom jag några veckor innan konferensen hade lånat Möteskokboken av Viveca ville jag testa någon metod. Jag valde ”bikupan” kombinerad med ”bak&fram”. Vi började med bikupan. Deltagarna fick stå upp i grupper om 3 personer ganska nära varandra och prata så att det blev surr i rummet. Eftersom vi kombinerade med bak&fram skulle de vara negativa och gnälliga och spåna fram tänkbara negativa faktorer och åsikter (=fallgropar) som deras kollegor kunde tänkas ha inför en 23-sakerkurs. Sen tog vi de negativa kommentarerna och vände på dem så att de fick ett positivt syfte! Tanken var att de negativa orden skulle göra oss förberedda på eventuella fallgropar. Vi kan förbereda oss för sånt som kan göra att utbildningen misslyckas.

Negativa ord som spånades fram i bikupan:
Flummigt, oseriöst, har inte tid, kan det redan, chefen är emot, integritet-vill ej lämna ut sig, ingen användning av det, svårt, jag är för gammal, tråkigt, ej affärsmässigt, bara en fluga, IT säger stopp, det är för jobbigt, kunskapen blir snabbt inaktuell, ovetenskapligt.

Därefter använde vi de negativa orden som en kom-ihåg-lista för hur fallgropar ska undvikas. Några exempel:
Flummigt och ovetenskapligt” – dessa ord berättar att det är mycket viktigt att vi inför kursstarten tar fram material från ev. forskning inom området och andra rapporter. Det är också viktigt att alla övningar är tydligt relaterade till verksamheten. Inga nöjesbetonade inslag ska finnas.
Kan det redan” – det är viktigt att kursen kommer att innehålla även en avancerad nivå, alternativt kan denna medarbetare vara med och konstruera kursen eller ge support.
”IT säger stopp” – innan arbetet med kursövningarna påbörjas måste vi prata med IT-avdelningen. Vilka hinder finns? Hur ska vi förklara våra behov/krav?

Några kommentarer efter workshoppen var att det var en rolig och kreativ metod och att det underlättade att få vara negativ. Det upplevdes som en metod som man kunde få användning för.

Här är presentationen inför workshoppen.

/Viveca & Linnéa