Velkommen, Britney!
Hei, takk for at du har hatt meg. Takk for at du har hatt oss i denne sammenhengen. Kan du fortelle oss litt om din bakgrunn? Ja, du har selvfølgelig deltatt litt, men jeg er nødvendigvis VP for marketing og utvikling på RaiseMe, en utviklings- og teknologisk start-up her i San Francisco i Kalifornien.
And we largely focus on giving students access to scholarships earlier on in high school so that they have more confidence and understanding of how much college will cost them. And so from a business perspective, it really is marketplace dynamics in that we have
Universitet i USA på en side av markedet og elever på andre siden. Vi jobber til å sammenhengere dem så elever kan få mikroskollegium tidligere. Før dette har jeg vært her i en gang og tre kvarter nå. Det er noen ganger lenger. Jeg var på Survey Monkey for flere år hvor jeg ledde utviklingsmarkedet.
And that really was comprised of everything that had to do with acquisition, conversion, engagement and retention across all of our business units, which was more than just that premium model that most people know it actually was.
et par selskapsbaserte modeller, samt markedsplassmodeller og fremiummodeller. Men vi kan snakke om det litt senere. Når du tenker på kombinasjonen, er det alt fra markedsplassdynamikk, fremium, virale looper og multiprodukt-områder. Hvordan definerer du utvikling, og hvorfor er det viktig?
Ja, det er en god spørsmål, og super, super bredt, men jeg tror at i en start-up eller virkelig i noen mennesker, er prinsippet for utvikling virkelig orientert på å maksimisere distribusjonen av en produkt.
Teksting av Nicolai Winther
And more than just the process of the testing and that optimization and learning how to improve that metric, I think more than that, it's really that framework and the school of thought of how you go about doing that or how you achieve those optimizations. So that continuous learning and kind of application of it. Yeah, sorry, go ahead.
Jeg skulle bare si at det utgjør seg veldig annerledes i alle organisasjoner. Så det er en måte hvor man skal forstå hva som skjer i et sted, og det vil vise på hvilke teamer man skal ha, eller hva som er deres korte kompetanse. Men ja, det blir for sikkert. Ja, så hvordan skal du begynne å tenke på utvikling? Skal du begynne å tenke på utvikling veldig tidligere, eller skal du vente til du har noen slags produkt til å lansere?
Ja.
because of being a good or a bad product. It's often the distribution that causes failure, so poor distribution and not necessarily that the product itself can often dictate a business' success. So I think the earlier the better. Okay, so that's interesting. So you think that it's more of a distribution problem than the product problem if a product fails? Well, you can have a
Ja, så når du snakker om distribusjon, hva mener du?
Ja, det er den generelle utbytelsen av produkten, og hvordan du tenker på fortsatt og sannsynlig utbytelse, og hvor forventelig det er. Så ikke bare hvordan du går omkring dine kjøpere, men også hvordan du effektivt konverterer dem, engagerer dem og retter dem, og behøver de løpene som er den konsistente drivneren av businessens utbytte. Ja, interessant. Og den utbyttelige løpeteknikken er også interessant. Kan du forklare hva det er?
Ja, jeg tror at de fleste mennesker har tradisjonelt tenkt seg å ha funneler som kjøper på toppen, og du får en sikker utgangspunkt på toppen, om det er konversjon av de kjøpene, eller net LTV av dem, og så videre. Men hvis du tenker på looper, hvordan investerer du og amplifierer og har komponentende utvikling basert på disse mulighetene for utvikling?
for å få tilbake og samarbeide med dine eksisterende kunder. Så loopene kan være alt fra virale looper, så tenk på at med SurveyMonkey en surveykreator skaper en survey, og så ender de opp med surveytaker som potensielt kan bli surveykreatorer, og så fortsetter det å amplifere seg selv. Men du kan også ha like
Content loops, paid marketing loops, B2B content loops, sales. There's so many different types that can help drive growth in your business. So would you say, you live in San Francisco, so it's interesting for us in Norway to understand what you're talking about over there right now. So would you say that...
Mange mennesker har gått fra å tenke på en funnel til å tenke mer på en loop. Er det rett? Eller er begge konsepter relevant? Jeg tror begge er definitivt relevant. Jeg tror ikke de er mutuelt eksklusive. Idealt gjør man det man konverterer det som er en funnel inn i en loop.
så du kan fortsette å drive utvikling i en mer sannsynlig måte. Så når du tenker på det, så optimererer du denne konversjonen, denne akquisisjonen, denne retensjonen, alle de monetiseringen. Men hvordan fortsetter du å ha denne freden i seg selv, i stedet for å være en linjerfunnel som går opp og ned? Ok, vil du si at RaiseMe har en utviklingsløp?
Ja, det gjør vi. Det er noen områder hvor jeg vil fortsette å optimere det, men RaveMe har, jeg vil gi et eksempel av en, på studentseiden har vi en insentivisert referasjonslup, så studenter kan sammenhålle på RaveMe, og når de refererer til andre studenter,
They'll earn micro-scholarships, and the student that joins will earn micro-scholarships for that referral or for bringing that student on. And what that does is it has the benefits of not only driving incremental student growth, but also it creates more of a...
en mentalitet av samtidig brak i skolarskapet, fordi det er en forståelse at skolarskapet er lignende. Og så bygger man opp studenter mikroskolarskap, både seg selv og til studenten som samarbeider, du hjelper å bringe ned denne barrieren, denne forståelsen at skolarskapet er lignende, og at ved å invitere andre studenter, du reduserer ditt totale skolarskap. Det er en mutualt beneficiell måte å drive utgrønn. Og så er det to brak, det er ikke bare å drive utgrønn,
in the student capacity, but also helping increase the overall understanding that scholarships are not entirely limited. Would you say that a referral program by definition is a growth loop? Yes, it can absolutely be one of the types of growth loops. Okay. So let's go back to growth and growth strategy. How do you actually develop a growth strategy? Yeah.
Ja, også en løpende spørsmål, men jeg tror det første du må gjøre er å identifisere dine business model-opportuniteter. Så hvor har du noen slags oppfordringer til å optimere dine business model og optimere de løpene vi bare snakket om, om det er primært fokusert på akquisisjonen eller ...
Og så må man modelle ut den potensielle effekten av de grunnleggene. Hva er effekten? Hva er din tro på at du kan drive en forandring i det? Og hva er den relativt effekten det tar til å implementere den forandringen? Og så på toppen av det, må man identifisere og begynne å measjere de metriker som betyr. Og jeg sier at de
Teksting av Nicolai Winther
and then go about creating an accountable team for these metrics. So how do you create either a cross-functional team of engineers, marketers, product managers, analysts, designers, and sometimes more? And that makeup of that team or the distribution of the accountability depends on what types of growth lever it is. So depending on the tactic or the strategy, you'll have a different makeup of that team. So I think that's like...
What have you learned working with growth that has surprised you?
I'm always surprised, and oftentimes you learn more from tests that have failed than tests that have won. But I think generally speaking, by principle, I think
Jeg tror det er grått understammet hva valget av retensjon og din eksisterende kjøpemann er fra en utviklingsmessig og utviklingsmessig. Mange firmaer begynner deres innledningsframing av utviklingsmessige test omkring bare ny kjøpemannsforskning, og for noen bedrifter er det absolutt rett forhold.
Men i de fleste fall er det en massiv mulighet til å drive mer valg ut av dine eksisterende kunder, om det er å forbedre dem på en høyere rate
om å holde dem i en lengre periode eller engasjere dem mer dypt for å drive mer av en viral eller annen slags løp ut av dem. Så jeg tror at det første jeg har lærnt, og det som overrasker meg, er at ikke nok folk fokuserer seg på det. Og jeg tror at en annen ting som overrasker meg er at
Hvordan driverer av utvikling kan være langt forståelig. Så mange ganger gjør vi forståelser om hva som faktisk driver utvikling i en kompani. Men inntil vi oppfatter de metrikene og begynner å forstå exakt hva de kjede driverer av de suksessene er, er det ikke
Så du er en veldig briljant datasjentist?
Unfortunately, we don't all have those. I think there's a lot that you can do self-serve as well. And really, growth for me is something that's a deep quantitative mindset that needs to be shared across any of those different functions that I mentioned before. It's not accountability simply in a data analyst. Sometimes you need them to do a lot more of that robust data modeling that we can't all do.
uten at de vil. Men å forstå den kvantitativte fokusen eller forståelsen av metrikene over alle som er tilgjengelige kan også betale krediter. Når det gjelder kvantitet, må du faktisk være kreativ? Jeg tror det går hand i hand. Absolutt. For data vil si deg
hva som skjer, men det fortjener ikke nødvendigvis hvorfor det skjer. Så mye av muligheten til å være en veldig god utviklingspartner er å skrive hypoteser og rekommendasjoner om hvordan vi går om å forandre disse metrikene. Det tar ofte mye kreativitet. Det er en forståelse av dine brukere, det er en dyp forståelse av metrikene, og det er en følelse av kreativitet på toppen av det, for å kunne forstå
hvilke eksperimenter du bør teste, hvordan du går om å løse problemerene du har identifisert med dataet, og hva som kan være mest effektivt for å potensielt forandre disse numrene.
Så la oss snakke litt om B2B-versus-B2C-grønnen. Jeg har faktisk spurt Sean Ellis om hvordan man arbeider med grønnen i B2B. Han hadde ikke en super god ansvar, men har du en god ansvar til det? Hvordan arbeider du med grønnen i B2B?
Ja.
It's very difficult to start to call results of tests or to think about were you able to shift that. Statistical significance is just out the window in many of those cases. I gave you why it's hard. Many of the ways that I think about working with growth testing in B2B space is much more on shorter term and higher volume conversion events, what I tend to refer to as micro conversions, and
And so those can be leading indications of potentially successful outcomes down the road. So are they qualifying from a lead into an MQL or getting accepted from our sales team at a higher rate? Are we seeing a higher conversion rate on a webpage of visits to lead form submissions? Are we able to get the same qualification rate?
for faster velocity in the funnel, which you can track over time. And so taking some of those metrics that aren't necessarily just simply total revenue and cost per close one, but focusing more on the smaller and shorter term events that are able to be tested more in isolation to drive more of a potential large outcome in the total closed one volume of accounts. So anyway, the core is data, it's measurement, and it's...
og det er test, og det er ikke noe med om du er inn i B2B eller B2C, ikke sant?
Absolutt. Prinsippet står sammen. Det handler om hvor snabbt man kan få til resultatet, eller hvordan substansielle metrikker man ser på, vil være substansielle mellom de to. Hva ser du at mange bedrifter gjør feil med forgrunning?
Det er også en god spørsmål. Jeg tror at
Sometimes it's how it actually manifests in the organization. So I've seen some companies, which we've all made these mistakes, put the accountability on either a single person, or alternatively they don't evolve their approach to growth over time. And so as a company becomes more mature, you have to also adjust the way that you think about building growth into the company's kind of DNA or culture, or how you're
Teksting av Nicolai Winther
Det andre som jeg synes er interessant, er at ofte har utviklingen av tilgjengelighet av funksjonen. Så markering er bare ansvarlig for oppføring, eller produkt er bare ansvarlig for konversjon. Og hva du gjør i disse fallene er at du ikke nødvendigvis tenker holistisk om kundens livscykel. Og så...
Marketing may be responsible for getting them back to the front door, but we need to make sure that the experience of the user, once they do get back to your property, is really consistent all the way through, which requires product as well. And so making sure that you're thinking more holistically about kind of these cross-functional teams that are responsible for growth, versus giving a single metric to a whole function and saying...
you in isolation go and tackle this. But aren't these cross-functional teams part of some sort of unit, which is responsible and accountable? And in the end, there's one person running that unit, so who should be responsible or accountable? Or did I understand you wrong? Yeah, so you can...
Jeg tror at poenget om en utviklingsperson er at du har en hel organisasjon, og så har du en utviklingsproduksjør. Og den utviklingsproduksjør er den eneste personen som tenker om utvikling. Du bør ha det i en mye mer distribuert funksjon gjennom organisasjonen, og det bør også være framgangs- og mindsetet du tar til testning og iterering.
-om grunnen til utvikling og optimisering av metrikken i en organisasjon. Man har alltid en leder i en av de Tiger Teams eller Accountable Pods. En person som er i ansvar for en av metrikken. Men min punkt er at man ikke bør ha en enkelt person som er utviklingen i en kompani. Og også at fra funksjonsperspektivet-
you should be thinking about the metric versus the function. So marketing is not just responsible for acquisition. There might be a tiger team that's responsible that is cross-functional in nature. Does that make sense? Yes, it does make sense. So someone calls it growth hacking. Well, Sean Ellis calls it growth hacking. Other people call it growth. You call it... Your title was growth marketing. Yes.
Men hvordan vi kaller det, er utvikling bare for start-ups, eller kan også større forhold være bedre til å jobbe med utvikling, eller har de grunnet til deres maksimum størrelse?
I think you
You should continue to have an element of growth and continue to focus on growth agnostic of the company size. What you'll see is that a change in how it actually manifests in the organization. So the shape of the team or teams that's working on it, the degree of impact that they can have. So they may run more isolated tests versus large scale product tests. The remit of those testing or the tools that they use.
But I absolutely think it's something that companies and organizations of all sizes should continue to lean into, and just how it takes form is what will vary in those scenarios. But would it be possible for a large silo-based company to start implementing growth as a discipline? It's difficult, for sure. It's hard to...
Rull back on that if you haven't established it early on, but I think there are some ways in which you can do it. Start by establishing the goal, whether it be a larger scale goal or a smaller scale goal for that team or for the responsible parties. Then identify the levers that are required for it.
So what will it take to actually go about achieving that goal that you've set out? And then you can start to create the team that has distributed accountability, so the cross-functional team, and particularly in larger organizations, I think,
En hybridmodell med en sentralisert ansvar for utvikling og en sentralisert mulighet til å testere er typisk den mest effektive. Så å få folk fra alt rundt om i organisasjonen til å gjøre test er noe som tenker å være mer effektiv enn å prøve å sentralisere det i store organisasjoner. Men igjen, dette varierer fra til til.
Men det viktigste i mange av disse store organisasjoner som jeg tror er ofte overført, er å forandre hvordan du tenker om å definere suksess for de team-memberne. Så å allokere en del av deres tid mot utviklingstesting.
and incentivizing the right output of that testing and growth. Even if it's failed tests, making sure that you're incentivizing that they are spending time thinking about testing and iteration to help move those metrics. Because oftentimes what you find is when you try to establish growth in some of these larger organizations, the frameworks and the tools are put in place, but the
time given to these people is not necessarily, it's not given to them and their metrics of success are not shifted and so it's very hard to reprioritize time towards it.
Okay, do you ever dream about running a big company? You know, sometimes I do and sometimes I don't. I really enjoy the stage that we're at as well. We're about 70 people right now and growing. But it was fun. Survey Monkey was about it.
800 eller mer mennesker eller så, da jeg gikk. Og det var en veldig fin sted også. Så, hvem vet? Du vet aldri. Det er vanskelig å forstå. Du arbeider mye med start-ups, som du sa. Hva synes du? Er start-ups generelt god til å vokse? Eller har de mye å lære?
Det er sikkert forskjellig fra samarbeid til samarbeid, men jeg tror at de fleste start-ups har en høy-gross-mentali. Det beror på stedet de er i og hvordan de vinner om å få sin første adoptionssituasjon, men du ser en ganske høy-gross-mindset i alle som er nødt til å komme inn i en start-up som er i en høy-gross-fase. Ja.
Hvilke beste tips vil du gi til mennesker som ønsker å se utstyr? Dette er en løpende spørsmål. Jeg tror det er tre jeg vil kjøpe det ned til. Den første, uten å være så
invest in it and make it core to your company is knowing your metrics and really understanding which metrics matter and also know your counter metrics. So what are the metrics that are early indications of success or impact the kind of larger level one metrics or those North Star metrics that I was mentioning before and invest in your data early. So data infrastructure, access to your data, understanding of your data, so on.
Så det er sikkert en stor en. Den andre, som vi snakket om fra begynnelsen, er å identifisere og investere i å fjelle looper og sette opp dine krossfunksjonelle team til å hjelpe å drive disse loopene. Så identifisere hvordan du kan amplifere og ha komponering av grønn, basert på å bringe inn en setning nye kjøpere,
or more deeply engaging your existing customers. Sorry, I need to interrupt you, because a question to that. Is it possible to, can you identify loops, or do you have to design the loops?
You can absolutely identify them. I think people have stumbled onto some loops that they didn't necessarily know were going to be the primary drivers of their success. And you can continue to optimize those too. And so you can work to open up new loops in your business, or you can optimize ones that just naturally occurred in the business. But you can also design them, right? Absolutely. Yeah, so is that the main way to actually make a loop? Is it to design one?
You know, typically the core business or the core value prop of the product itself should ideally be created with some sort of loop model in mind. That is not always the case. And so in those cases you often should
Ja.
I surveymonkey-modellen var det utviklet at du hadde en veldig fin virallup av talskjøpere og talskjøpere. Vi har oppfylt lupene på toppen av det fra en organisasjonal virallitet, til å konversere inn til andre produkter. Men det var faktisk den kore lupen som var fundamentalt til den initiale utviklingen av business. Jeg forstod deg etter din andre tips. Hva er din tredje tips?
Ja, det er ikke problem. Og faktisk, det er ganske fint. Jeg vil si at man skal lære fra andre. Det er så mange praktisjonere der ute som gjør dette at deres business model kan ikke se ut som det samme, men når man begynner å oppføre det, så er det test som har vært
But not necessarily think that what works for others will work for you, right? No, not at all. And that's actually one of the things that
I think you learn quickly as the exact same test can have different outputs with minor changes. So don't assume that anything will be exactly like what other companies have observed, but take as much of the learnings as you can and kind of capitalize on those. Yeah, and lastly I wanted to delve into the marketplace because you work in a two-sided marketplace with RaiseMeet.
Hvordan jobber du med utvikling i en to-sidede marked? Er det annerledes enn en vanlig selskapsprodukt? Ja, det er det absolutt. Det er ganske komplekst i naturen, og jeg tror at denne her på Raze.me er mer kompleks for noen grunner. Hvis du tenker på de fleste markedene, har du typisk en tilfellesside og en tilfellesside, og hvis du utvikler dem konkurrentlig, innen noen slags matchingskonstruks, altså
Are the people that you're getting on the supply side matching with the people or the customers that you're getting on the demand side? You can kind of grow those concurrently. If you think about ours here at RaiseMe, you have students and all of the primary players on one side of the marketplace, and you have universities on the other side of the marketplace. And so a traditional B2B model on the university side, and much more of a B2C high growth model on the
student side. In order to optimize for that, we need to be really diligent about the students that we're bringing on board and making sure that they're matching the universities. And unfortunately it's not just geographic preference that really drives students' interest in colleges, meaning someone sitting in California might not say I'm just going to go to the school that's closest to me, but there's all sorts of other attributes that really factor into that.
Hva er deres akademiske interesser? Hva er deres ekstra-kurrikulære interesser? Hva er deres overenskapelse i skolen? Hva vil de fokusere på når de går til universitet? Og så alle disse faktorene må vi ta i nye tilfelle når vi tenker på å drive en helhetlig marked, altså
We're bringing on students that can find and earn scholarships towards schools that they're interested in. And schools are also matching and connecting with students that will actually want to attend their university too. And so it becomes...
pretty complex in working to optimize that, and you have to be very diligent about driving a sales cycle that's focused in areas where you're also investing in from a student growth, both from an interest and a geographic standpoint. Yeah, so do you create segments of students with different attributes? Yeah, so we have layered on, essentially created a...
a quantitative map that looks at what we call the matriculation patterns of students. So students in X state or X region have a high likelihood to go outside of state versus in state and tend to have this type of interest.
Og så har vi skrevet en account-based marketing-strategi på universitetets side, og ved å kombinere de to og rulle dem sammen, så optimerer vi for grunn i de, mens vi fortsatt prøver å sikre at vi optimerer for konversjon på både sider av det i områder som vil matche eller har en høy overlappelse.
Ja, dette er veldig kompleks. For eksempel, for å forstå Uber, det er veldig kompleks, fordi med Uber vil du egentlig bare gå fra A til B, ikke sant?
Ja, og jeg har ingen grunn til at Uber har lettere problemer å løpe. De har en stor del i stedet for utstyr og eventer og kompleksiteten av hvor lenge folk råder og om folk driver hjem. Men det er definitivt en element av geografisk konsentrasjon. Så hvis de bare ville åpne opp i en liten marked, så hadde de kanskje litt mer
Ja, jeg kan ikke forstå. Jeg var ikke involvert, men jeg kan ikke forstå at det var så lett. Ja.
Så siste spørsmålet. Hva tror du er truen, men noe som de fleste vil ikke si? Jeg vet ikke om alle vil ikke si, men jeg tror ikke alle metriker er skrevet sammen, og at i noen fall metriker som folk ser på på en ondgående basis, bør være større spørsmål, eller bør være styrt inn. Så ting som...
Baseline that people assume a certain conversion rate or a certain adoption rate is baseline. What you'll see is that often could potentially degrade over time, or that might shift based on the types of sources that you're getting users from, or metrics that are correlative to growth versus causal to growth, or countermetrics aren't set. And so I think maybe my...
My groundbreaking comment here that I believe is truth is that you should really question some of the metrics that you look at and make sure you get really close with those that matter. That's a great insight. Thank you very much, Brittany. This has been very, very interesting. We will see you here in Oslo for the SHIFT conference. We're really looking forward to that. What can we expect to see when you come?
Takk for at du var med.
Teksting av Nicolai Winther
Hei, er du en CEO eller CTO i et vekstselskap og trenger flere utviklere? Da vet du at det er ganske krevende å finne dyktige utviklere i Norge. Men håpet er heldigvis ikke ute. Cefalo er et norsk outsourcing-selskap som har klart å bli en av de aller beste arbeidsgiverne for seniorutviklere i Bangladesh. Cefalos spesialitet er å rekruttere og bygge langsiktig utviklingsteam sammen med den norske kunden.
og det å ha faste utviklere gjennom Cefalo skal i praksis oppleves som å ha egen ansatte. Så er du interessert i å høre mer om å ha eksterne utviklere, så vil Cefalo gjerne ta en veldig hyggelig prat med deg, så sjekk ut cefalo.no, altså C-E-F-A-L-O.no.