Jump to content

A/B թեստավորում

Վիքիպեդիայից՝ ազատ հանրագիտարանից
Վեբկայքում A/B թեստավորման օրինակ։ Որոշ օգտատերերի (ընտրված պատահականության սկզբունքով) ցուցադրվում է կայքի կապույտ կոճակով տարբերակը, մինչդեռ մյուսները տեսնում են կանաչ կոճակով տարբերակը։ Այսպիսով հնարավոր է չափել և համեմատել երկու դիզայնների հարաբերական արդյունավետությունը։

A/B թեստավորում, (նաև հայտնի որպես բաշխված թեստավորում, բաժանված գործակցի թեստավորում կամ բաժանված թեստավորում), օգտատիրոջ փորձառության հետազոտության մեթոդ[1]։ A/B թեստերը պատահական փորձարկումներ են, որոնք սովորաբար ներառում են երկու տարբերակ՝ A և B[2][3][4], թեև այս մոտեցումը կարող է կիրառվել նաև նույն փոփոխականի բազմաթիվ տարբերակների վրա։ Այն ներառում է վիճակագրական հիպոթեզների ստուգում կամ «երկու ընտրանքի հիպոթեզների ստուգում», ինչպես կիրառվում է վիճակագրությունում։ A/B թեստավորումն օգտագործվում է մեկ փոփոխականի մի քանի տարբերակներ համեմատելու համար, օրինակ՝ փորձարկվող անձի արձագանքը տարբերակ A-ին՝ համեմատած տարբերակ B-ի հետ, և որոշվում է, թե որ տարբերակն է ավելի արդյունավետ[5]։

Բազմափոփոխական թեստավորումը կամ բազմանդամ թեստավորումը նման է A/B թեստավորմանը, սակայն միաժամանակ կարող է թեստավորել ավելի քան երկու տարբերակ կամ կիրառել ավելի շատ վերահսկիչ խմբեր։ Պարզ A/B թեստերը վավեր չեն հոգեբանական դիտումների, մոտավոր կամ այլ ոչ փորձարարական իրավիճակների ժամանակ՝ բնորոշ հարցումների տվյալների, օֆլայն տվյալների և այլ ավելի բարդ դեպքերում։

Սահմանում

[խմբագրել | խմբագրել կոդը]

A/B թեստավորումը պարզ պատահականացված վերահսկվող փորձարկման կարճ անվանումն է, որի ընթացքում համեմատվում են մեկ վեկտորային փոփոխականի մի շարք ընտրանքներ (օրինակ՝ A և B)[1]։ A/B թեստերը լայնորեն համարվում են վերահսկվող փորձարկման ամենապարզ ձևը, հատկապես այն դեպքում, երբ ներառում են միայն երկու տարբերակ։ Սակայն թեստին ավելի շատ տարբերակներ ավելացնելու դեպքում դրա բարդությունն աճում է[6]։

Հետևյալ օրինակը ցույց է տալիս մեկ փոփոխականով A/B թեստ.

Ընկերությունն ունի 2,000 հաճախորդից բաղկացած տվյալների բազա և մեկնարկում է էլեկտրոնային փոստով արշավ՝ զեղչի կոդով՝ իր կայքի միջոցով վաճառքներ իրականացնելու նպատակով։ Ընկերությունը ստեղծում է էլեկտրոնային նամակի երկու տարբերակ՝ գործողության տարբեր հրահանգներով (տեքստի այն հատվածը, որը հաճախորդներին խրախուսում է կատարել որոշակի գործողություն, տվյալ դեպքում՝ գնում կատարել) և տարբեր գովազդային կոդերով։

  • 1,000 հոգու ուղարկվում է նամակ՝ հետևյալ գործողության կոչով․ «Առաջարկն ավարտվում է այս շաբաթ օրը։ Օգտագործեք A1 կոդը»:
  • Մնացած 1,000 հոգուն ուղարկվում է նամակ՝ հետևյալ գործողության կոչով․ «Առաջարկն ավարտվում է շուտով։ Օգտագործեք B1 կոդը»:
  • Նամակների տեքստի և ձևավորման մյուս բոլոր տարրերը նույնն են։

Այնուհետև ընկերությունը հետևում է, թե որ արշավն ունի հաջողության ավելի բարձր ցուցանիշ՝ վերլուծելով գովազդային կոդերի օգտագործումը։ A1 կոդով նամակն ունեցել է 5% արձագանքման ցուցանիշ (նամակ ստացած 1,000 մարդկանցից 50-ն օգտագործել է կոդնհ ապրանք գնելու համար), իսկ B1 կոդով նամակը՝ 3% արձագանքման ցուցանիշ (ստացողներից 30-ն օգտագործել է կոդը ապրանք գնելու համար)։ Հետևաբար, ընկերությունը եզրակացնում է, որ այս դեպքում գործողության առաջին կոչն ավելի արդյունավետ է և հետագա վաճառքների ժամանակ կօգտագործի այն։ Ավելի մանրամասն մոտեցումը կներառեր վիճակագրական թեստավորում՝ որոշելու համար, թե արդյոք A1 և B1 տարբերակների արձագանքման ցուցանիշների տարբերությունը վիճակագրորեն նշանակալի է, այսինքն՝ արդյոք տարբերությունը, ամենայն հավանականությամբ, իրական է, կրկնելի և պատահականության արդյունք չէ[7]։

Նախորդ օրինակում թեստի նպատակն է որոշել այն ավելի արդյունավետ ռազմավարությունը, որը կխրախուսի հաճախորդներին գնում կատարել։ Սակայն եթե թեստի նպատակը լիներ որոշել, թե որ նամակը կապահովի կայքի տեսանելության ավելի բարձր ցուցանիշ (էլեկտրոնային նամակը ստանալուց հետո հղման վրա փաստացի սեղմած մարդկանց տոկոսը), արդյունքները կարող էին տարբեր լինել։

Օրինակ՝ չնայած B1 կոդը ստացած հաճախորդներից ավելի շատերն են այցելել կայք, ակցիայի ավարտի ամսաթիվը նշված չլինելու պատճառով շատ ստացողներ կարող էին չզգալ անմիջապես գնում կատարելու անհրաժեշտություն։ Հետևաբար, եթե թեստի նպատակն ընդամենը կայք ավելի մեծ թվով այցելություններ ապահովող ցուցանիշը որոշելն էր, B1 կոդը պարունակող նամակը կարող էր ավելի հաջող լինել։ A/B թեստը պետք է ունենա հստակ սահմանված և չափելի արդյունք, օրինակ՝ գրանցված վաճառքների ցուցանիշ, անցումների ցուցանիշ կամ գրանցումների ցուցանիշ[8]։

Թեստերի արդյունքների տարածված վիճակագրություն

[խմբագրել | խմբագրել կոդը]

Երկընտրանքի հիպոթեզների ստուգումները կիրառելի են երկու ընտրանքների համեմատության համար, երբ փորձարկման ընթացքում ընտրանքները բաժանվում են երկու դեպքերի։ Z-թեստերը հարմար են միջինների համեմատության համար, երբ պահպանվում են նորմալ բաշխման և հայտնի ստանդարտ շեղման վերաբերյալ խիստ պայմանները։ Ուսանողի t-թեստերը հարմար են միջինների համեմատության համար ավելի թույլ պայմաններում, երբ նախնական ենթադրություններն ավելի քիչ են։ Ուելչի t-թեստը պահանջում է ամենաքիչ թվով ենթադրություններ և, հետևաբար, առավել հաճախ կիրառվող երկընտրանքի հիպոթեզների ստուգումն է այն դեպքերում, երբ անհրաժեշտ է օպտիմալացնել որևէ չափանիշի միջինը։ Թեև օպտիմալացվող փոփոխականի միջինը վիճակագրական գնահատականի ամենատարածված ընտրությունն է, պարբերաբար կիրառվում են նաև այլ ֆունկցիաներ։

Ֆիշերի ճշգրիտ թեստը կարող է կիրառվել երկու բինոմիալ բաշխումների համեմատության համար, օրինակ՝ անցումների ցուցանիշի դեպքում։

Ենթադրված բաշխում Քեյսի օրինակ Ստանդարտ թեստ Այլընտրանքային թեստ
Նորմալ բաշխում Միջին եկամուտ մեկ օգտատիրոջից Ուելչի t-թեստը Ուսանողի t-թեստերը
Բինոմիալ բաշխում Կայքի տեսանելության Ֆիշերի ճշգրիտ թեստ Բարնարդի թեստ
Պուասոնի բաշխում Գործարքների քանակը մեկ վճարող օգտատիրոջ հաշվով E-թեստ[9] C-թեստ
Բազմանդամային բաշխում Գնված յուրաքանչյուր ապրանքի քանակը Խի-քառակուսի թեստ G-թեստ
Անհայտ բաշխում Ման–Ուիթնիի U-թեստ Գիբսի ընտրանք

Սեգմենտավորում և թիրախավորում

[խմբագրել | խմբագրել կոդը]

A/B թեստերում առավել հաճախ բոլոր օգտատերերին հավասար հավանականությամբ ներկայացվում է նույն տարբերակը (օրինակ՝ օգտատիրոջ դիմերեսի որևէ տարր)։ Սակայն որոշ դեպքերում տարբերակների նկատմամբ արձագանքները կարող են տարբեր լինել տարբեր խմբերում։ Թեև A տարբերակը կարող է ընդհանուր առմամբ ունենալ արձագանքման ավելի բարձր ցուցանիշ, B տարբերակը կարող է հաճախորդների որոշակի սեգմենտում ունենալ ավելի բարձր արձագանքման ցուցանիշ[10]։

Օրինակ՝ վերը նշված օրինակում արձագանքման ցուցանիշներն ըստ սեռի կարող էին բաշխվել հետևյալ կերպ։

Սեռ Ընդհանուր Տղամարդիկ Կանայք
Ընդհանուր ուղարկածների քանակ 2,000 1,000 1,000
Ընդհանուր ստացած արձագանք 80 35 45
Տարբերակ A 501,000 (5%) 10500 (2%) 40500 (8%)
Տարբերակ B 301,000 (3%) 25500 (5%) 5500 (1%)

Այս դեպքում, թեև A տարբերակն ընդհանուր առմամբ ապահովել է արձագանքման ավելի բարձր ցուցանիշ, B տարբերակն իրականում ավելի բարձր արձագանք է առաջացրել տղամարդկանց շրջանում։

Արդյունքում ընկերությունը A/B թեստի հիման վրա կարող է ընտրել սեգմենտավորված ռազմավարություն՝ ապագայում տղամարդկանց ուղարկելով B տարբերակը, իսկ կանանց՝ A տարբերակը։ Այս օրինակում սեգմենտավորված ռազմավարությունը ակնկալվող արձագանքման ցուցանիշը կավելանար 30%-ով՝ -ից մինչև ։

Եթե A/B թեստի արդյունքում ակնկալվում են սեգմենտավորված արդյունքներ, թեստը սկզբից պետք է պատշաճ կերպով նախագծվի՝ հիմնական հաճախորդների հատկանիշների, օրինակ՝ սեռի, համաչափ բաշխումն ապահովելու համար։ Թեստը պետք է ներառի տղամարդկանց և կանանց ներկայացուցչական ընտրանք և տղամարդկանց ու կանանց պատահականորեն բաշխի յուրաքանչյուր տարբերակի՝A և B տարբերակների միջև։ Հակառակ դեպքում կարող են առաջանալ փորձարկման կողմնակալություն և ոչ ճշգրիտ եզրակացություններ[11]։

Սեգմենտավորման և թիրախավորման այս մոտեցումը կարող է հետագայում ընդլայնվել՝ մեկ հատկանիշի փոխարեն ներառելով հաճախորդների բազմաթիվ հատկանիշներ, օրինակ՝ հաճախորդների տարիքն ու սեռը՝ բացահայտելու թեստի արդյունքներում առկա ավելի ոչ ակնհայտ օրինաչափությունները։

Փոխզիջումներ

[խմբագրել | խմբագրել կոդը]

Առավելություններ

[խմբագրել | խմբագրել կոդը]

A/B թեստերի արդյունքները պարզ են մեկնաբանման համար՝ օգտատերերի իրական նախասիրությունների մասին հստակ պատկերացում կազմելու նպատակով, քանի որ դրանք ուղղակիորեն թեստավորում են մեկ տարբերակը մյուսի համեմատ։ A/B թեստերը կարող են պատասխաններ տալ նաև դիզայնին վերաբերող խիստ որոշակի հարցերի։ Դրա օրինակներից է Գուգլի կողմից հիպերհղումների գույների A/B թեստավորումը․ եկամուտը օպտիմալացնելու համար Գուգլը թեստավորել է հիպերհղումների տասնյակ երանգներ՝ պարզելու, թե որ գույներն են ապահովում ամենաշատ սեղմումները[12]։

Թերություններ

[խմբագրել | խմբագրել կոդը]

A/B թեստերը զգայուն են դիսպերսիայի նկատմամբ․ դրանք պահանջում են ընտրանքի մեծ ծավալ՝ ստանդարտ սխալը նվազեցնելու և վիճակագրորեն նշանակալի արդյունք ստանալու համար։ Այն ոլորտներում, որտեղ ակտիվ օգտատերերի քանակը մեծ է, օրինակ, հանրաճանաչ սոցիալական ցանցերում, ընտրանքի մեծ ծավալ ստանալը բավականին հեշտ է։ Այլ դեպքերում ընտրանքի մեծ ծավալներ ստացվում են փորձարկման տևողության երկարաձգման հաշվին։ Այնուամենայնիվ, օգտագործելով Մայքրսոֆթի կողմից մշակված «CUPED» (Controlled Experiment Using Pre-Experiment Data) մեթոդը, փորձարկման մեկնարկից առաջ եղած դիսպերսիան կարող է հաշվի առնվել, ինչի շնորհիվ վիճակագրորեն նշանակալի արդյունք ստանալու համար պահանջվում է ընտրանքի ավելի փոքր ծավալ[13][14]:

Քանի որ A/B թեստն իր բնույթով փորձարկում է, դրա իրականացումը կարող է հանգեցնել ժամանակի և ռեսուրսների վատնման, եթե թեստի արդյունքները լինեն անցանկալի կամ օգտակար չլինեն։

2018 թվականի դեկտեմբերին 13 կազմակերպությունների A/B լայնածավալ թեստավորման փորձ ունեցող ներկայացուցիչներ՝ Airbnb, Amazon, Booking.com, Facebook, Google, LinkedIn, Lyft, Microsoft, Netflix, Twitter, Uber և Ստենֆորդի համալսարան ամփոփել են հիմնական մարտահրավերները մի գիտական հոդվածում[15]։ Մարտահրավերները խմբավորվել են չորս ոլորտներում՝ վերլուծություն, ինժեներական և մշակութային գործոններ, ավանդական A/B թեստերից շեղումներ և տվյալների որակ։

Պատմություն

[խմբագրել | խմբագրել կոդը]

Դժվար է հստակորեն պարզել, թե երբ է առաջին անգամ կիրառվել A/B թեստավորումը: Հոմեոպաթիկ դեղամիջոցի արդյունավետությունը գնահատելու նպատակով առաջին պատահականացված կրկնակի կույր փորձարկումն անցկացվել է 1835 թվականին[16]: Գովազդային արշավների հետ կապված փորձարկումները, որոնք համեմատվում են ժամանակակից A/B թեստավորման հետ, սկսվել են 20-րդ դարի սկզբին[17]: Գովազդի ռահվիրա Կլոդ Հոփքինսն օգտագործում էր գովազդային կտրոններ իր արշավների արդյունավետությունը ստուգելու համար: Այնուամենայնիվ, այս գործընթացը, որը Հոփքինսը նկարագրել է իր 1923 թվականի «Գիտական գովազդ» գրքում, չէր ներառում այնպիսի հասկացություններ, ինչպիսիք են վիճակագրական նշանակությունը և զրոյական վարկածը, որոնք կիրառվում են վիճակագրական վարկածների թեստավորման ժամանակ[18]: Ընտրանքային տվյալների նշանակության գնահատման ժամանակակից վիճակագրական մեթոդները մշակվել են առանձին՝ նույն ժամանակաշրջանում։ Այս աշխատանքն իրականացվել է 1908 թվականին Ուիլյամ Սիլի Գոսեթի կողմից, երբ նա փոփոխեց Z-թեստը՝ ստեղծելով Ուսանողի t-թեստը[19][20]:

Համացանցի աճին զուգահեռ հասանելի դարձան բնակչության ընտրանքների ձևավորման նոր եղանակներ: 2000 թվականին Գուգլի ինժեներներն անցկացրին իրենց առաջին A/B թեստը՝ որոշելու որոնողական համակարգում ցուցադրվող արդյունքների օպտիմալ քանակը[5]: Առաջին թեստը անհաջողություն կրեց դանդաղ բեռնման հետևանքով առաջացած տեխնիկական խոտանների պատճառով: Ավելի ուշ արված A/B թեստավորման հետազոտություններն ավելի կատարելագործված էին, սակայն հիմքն ու հիմնարար սկզբունքները ընդհանուր առմամբ մնացին նույնը, և 2011 թվականին Գուգլն իրականացրեց ավելի քան 7000 տարբեր A/B թեստ[5]:

2012 թվականին Մայքրսոֆթի աշխատակիցը, որն աշխատում էր Բինգ որոնողական համակարգի վրա, ստեղծեց մի էքսպերիմենտ՝ փորձարկելու գովազդային վերնագրերի ցուցադրման տարբեր մեթոդներ: Մի քանի ժամվա ընթացքում այլընտրանքային ձևաչափը հանգեցրեց եկամտի 12% աճի՝ առանց որևէ ազդեցություն ունենալու օգտատերերի փորձառության չափորոշիչների վրա[4]: Այսօր ծրագրային ապահովման այնպիսի խոշոր ընկերություններ, ինչպիսիք են Մայքրսոֆթը և Գուգլը, յուրաքանչյուր տարի անցկացնում են ավելի քան 10,000 A/B թեստ[4]:

Ոմանք պնդում են, որ որոշ ոլորտներում A/B թեստավորումը փիլիսոփայության և բիզնես-ռազմավարության փոփոխություն է, թեև այս մոտեցումը նույնական է միջսուբյեկտային հետազոտության դիզայնին, որը լայնորեն կիրառվում է տարբեր հետազոտական ավանդույթներում[21][22][23]: A/B թեստավորումը, որպես վեբ-մշակման փիլիսոփայություն, ոլորտը համապատասխանեցնում է ապացույցների վրա հիմնված պրակտիկայի ավելի լայն շարժմանը:

Ներկայումս շատ ընկերություններ մարքեթինգային որոշումներ կայացնելիս կիրառում են «նախագծված փորձի» մոտեցումը՝ ակնկալելով, որ ընտրանքային համապատասխան արդյունքները կարող են բարելավել դրական կոնվերսիայի ցուցանիշները[24]: Սա գնալով ավելի տարածված պրակտիկա է դառնում, քանի որ այս ոլորտում գործիքակազմը և փորձագիտական հմտություններն աճում են[[25]: Որպես արդյունք, ավելի շատ մարքեթինգային թիմեր այժմ օգտագործում են A/B թեստավորումը՝ որոշումներ կայացնելն ուղղորդելու համար՝ համապատասխանեցնելով թեստի խստությունը չափվող վարկածներին և գնահատելով դրա ազդեցությունն այնպիսի արդյունքների վրա, ինչպիսիք են կոնվերսիաները, եկամուտը և հետագա կոնվերսիան[26]։

Կիրառություններ

[խմբագրել | խմբագրել կոդը]

Սոցիալական մեդիա

[խմբագրել | խմբագրել կոդը]

Սոցիալական մեդիա A/B թեստերը կիրառվում են խոշոր սոցիալական ցանցերի կողմից, ինչպիսիք են ԼինքդԻնը, Ֆեյսբուքը և Ինստագրամը՝ առցանց գործառույթների (օրինակ՝ նոր ֆունկցիայի կամ ապրանքի) նկատմամբ օգտատերերի ներգրավվածությունը և բավարարվածությունը հասկանալու համար: A/B թեստերն օգտագործվել են նաև բարդ փորձեր անցկացնելու համար այնպիսի թեմաներով, ինչպիսիք են ցանցային էֆեկտները, երբ օգտատերերն անցանց են, թե ինչպես են առցանց ծառայություններն ազդում օգտատերերի գործողությունների վրա, և թե ինչպես են օգտատերերն ազդում միմյանց վրա[27]:

Էլեկտրոնային առևտուր

[խմբագրել | խմբագրել կոդը]

Էլեկտրոնային առևտրի կայքերում գնումների ձագարը սովորաբար A/B թեստավորման հարմար թիրախ է, քանի որ հաճախորդների կորստի ցուցանիշի նույնիսկ փոքր նվազումը կարող է ապահովել վաճառքի զգալի աճ: Ակնառու բարելավումներ երբեմն նկատվում են այնպիսի տարրերի թեստավորման միջոցով, ինչպիսիք են տեքստերը, էջի կառուցվածքը, պատկերները և գույները[28]: Այս թեստերում օգտատերերը տեսնում են երկու տարբերակներից միայն մեկը, քանի որ նպատակն է պարզել, թե երկու տարբերակներից որն է նախընտրելի[29]:

Ապրանքի գնագոյացում

[խմբագրել | խմբագրել կոդը]

A/B թեստավորումը կարող է օգտագործվել ապրանքի ճիշտ գինը որոշելու համար, ինչը նոր ապրանք կամ ծառայություն թողարկելիս ամենաբարդ մարտահրավերներից մեկն է: A/B թեստավորումը, որը հատկապես արդյունավետ է թվային ապրանքների դեպքում, արդյունավետ մեխանիզմ է գնային այն շեմը բացահայտելու համար, որն առավելագույնի է հասցնում ընդհանուր հասույթը:

Քաղաքական A/B թեստավորում

[խմբագրել | խմբագրել կոդը]

A/B թեստերը կիրառվել են նաև քաղաքական արշավներում: 2007 թվականին Բարաք Օբամայի նախագահական արշավի շրջանակներում A/B թեստավորումն օգտագործվել է առցանց ուշադրություն գրավելու և հասկանալու համար, թե ընտրողներն ինչ էին ակնկալում տեսնել Օբամայից[30]: Օրինակ՝ Օբամայի թիմը կայքում թեստավորել է չորս տարբեր կոճակներ, որոնք օգտատերերին առաջարկում էին գրանցվել նորությունների բաժանորդագրության համար: Բացի այդ, թիմն օգտագործել է վեց տարբեր ուղեկցող պատկերներ՝ օգտատերերին գրավելու համար[30]:

HTTP երթուղավորում և API-ի ֆունկցիոնալության թեստավորում

[խմբագրել | խմբագրել կոդը]
HTTP երթուղիչ՝ A/B թեստավորմամբ

A/B թեստավորումը լայնորեն կիրառվում է API-ի նոր տարբերակը թողարկելիս[31]: Օգտատիրոջ փորձառության իրական ժամանակում թեստավորման համար HTTP 7-րդ մակարդակի հակադարձ պրոքսին կոնֆիգուրացվում է այնպես, որ HTTP թրաֆիկի n%-ը ուղղորդվում է բեքենդի նոր տարբերակին, իսկ մնացած 100-n%-ը՝ բեքենդի HTTP հավելվածի հին տարբերակին[31]: Սա սովորաբար արվում է նոր բեքենդի հետ հաճախորդների շփումը սահմանափակելու համար, որպեսզի նոր տարբերակում ծրագրային սխալի առկայության դեպքում ազդեցությունը կրեն օգտատերերի կամ հաճախորդների ընդհանուր թվի միայն n%-ը, մինչդեռ մյուսները կուղղորդվեն դեպի կայուն բեքենդ. սա մուտքային թրաֆիկի վերահսկման տարածված մեխանիզմ է[31]։

Ծանոթագրություններ

[խմբագրել | խմբագրել կոդը]
  1. 1 2 Young, Scott W. H. (August 2014). «Improving Library User Experience with A/B Testing: Principles and Process». Weave: Journal of Library User Experience. 1 (1). doi:10.3998/weave.12535642.0001.101. hdl:2027/spo.12535642.0001.101.
  2. ↑ Kohavi, Ron; Xu, Ya; Tang, Diane (2000). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press. Արխիվացված օրիգինալից 22 October 2021-ին. Վերցված է 22 October 2021-ին.
  3. ↑ Kohavi, Ron; Longbotham, Roger (2023). «Online Controlled Experiments and A/B Tests». In Phung, Dinh; Webb, Geoff; Sammut, Claude (eds.). Encyclopedia of Machine Learning and Data Science. Springer. էջեր 891–892. doi:10.1007/978-1-4899-7502-7_891-2. ISBN 978-1-4899-7502-7. Արխիվացված օրիգինալից 21 April 2023-ին. Վերցված է 21 April 2023-ին.
  4. 1 2 3 Kohavi, Ron; Thomke, Stefan (September–October 2017). «The Surprising Power of Online Experiments». Harvard Business Review. էջեր 74–82. Արխիվացված օրիգինալից 14 August 2021-ին. Վերցված է 27 January 2020-ին.
  5. 1 2 3 Hanington, Jenna (12 July 2012). «The ABCs of A/B Testing». Pardot (ամերիկյան անգլերեն). Արխիվացված է օրիգինալից 2015-12-24-ին. Վերցված է 2016-02-21-ին.
  6. ↑ Kohavi, Ron; Longbotham, Roger (2017). «Online Controlled Experiments and A/B Testing». Encyclopedia of Machine Learning and Data Mining. էջեր 922–929. doi:10.1007/978-1-4899-7687-1_891. ISBN 978-1-4899-7685-7.
  7. ↑ «The Math Behind A/B Testing». developer.amazon.com. Արխիվացված է օրիգինալից 2015-09-21-ին. Վերցված է 2015-04-12-ին.
  8. ↑ Kohavi, Ron; Longbotham, Roger; Sommerfield, Dan; Henne, Randal M. (February 2009). «Controlled experiments on the web: survey and practical guide». Data Mining and Knowledge Discovery. 18 (1): 140–181. doi:10.1007/s10618-008-0114-1. S2CID 17165746.
  9. ↑ Krishnamoorthy, K.; Thomson, Jessica (2004). «A more powerful test for comparing two Poisson means». Journal of Statistical Planning and Inference. 119: 23–35. doi:10.1016/S0378-3758(02)00408-1. S2CID 26753532.
  10. ↑ «Advanced A/B Testing Tactics That You Should Know | Testing & Usability». Online-behavior.com. Արխիվացված է օրիգինալից 2014-03-19-ին. Վերցված է 2014-03-18-ին.
  11. ↑ «Eight Ways You've Misconfigured Your A/B Test». Dr. Jason Davis. 2013-09-12. Արխիվացված օրիգինալից 18 March 2014-ին. Վերցված է 2014-03-18-ին.
  12. ↑ Statt, Nick (2016-05-09). «Google is experimenting with turning search results from blue to black». The Verge (անգլերեն). Վերցված է 2024-09-25-ին.
  13. ↑ Deng, Alex (February 2013). Improving the Sensitivity of Online Controlled Experiments by Utilizing Pre-Experiment Data. WSDM '13: Proceedings of the sixth ACM international conference on Web search and data mining. doi:10.1145/2433396.2433413.
  14. ↑ Sexauer, Craig (18 May 2023). «CUPED Explained». Blog. Արխիվացված օրիգինալից 4 September 2024-ին. Վերցված է 11 September 2024-ին.
  15. ↑ Gupta, Somit; Kohavi, Ronny; Tang, Diane; Xu, Ya; Andersen, Reid; Bakshy, Eytan; Cardin, Niall; Chandran, Sumitha; Chen, Nanyu; Coey, Dominic; Curtis, Mike; Deng, Alex; Duan, Weitao; Forbes, Peter; Frasca, Brian; Guy, Tommy; Imbens, Guido W.; Saint Jacques, Guillaume; Kantawala, Pranav; Katsev, Ilya; Katzwer, Moshe; Konutgan, Mikael; Kunakova, Elena; Lee, Minyong; Lee, MJ; Liu, Joseph; McQueen, James; Najmi, Amir; Smith, Brent; Trehan, Vivek; Vermeer, Lukas; Walker, Toby; Wong, Jeffrey; Yashkov, Igor (June 2019). «Top Challenges from the first Practical Online Controlled Experiments Summit». SIGKDD Explorations. 21 (1): 20–35. doi:10.1145/3331651.3331655. S2CID 153314606. Արխիվացված օրիգինալից 13 October 2021-ին. Վերցված է 24 October 2021-ին.
  16. ↑ Stolberg, M (December 2006). «Inventing the randomized double-blind trial: the Nuremberg salt test of 1835». Journal of the Royal Society of Medicine. 99 (12): 642–643. doi:10.1177/014107680609901216. PMC 1676327. PMID 17139070.
  17. ↑ «What is A/B Testing». Convertize. Արխիվացված օրիգինալից 17 August 2020-ին. Վերցված է 2020-01-28-ին.
  18. ↑ «Claude Hopkins Turned Advertising Into A Science». Investor's Business Daily. 20 December 2018. Արխիվացված օրիգինալից 10 August 2021-ին. Վերցված է 2019-11-01-ին.
  19. ↑ Pereira, Ron (20 June 2007). «How beer influenced statistics». Blog. Gemba Academy. Արխիվացված օրիգինալից 5 January 2015-ին. Վերցված է 22 July 2014-ին.
  20. ↑ Box, Joan Fisher (1987). «Guinness, Gosset, Fisher, and Small Samples». Statistical Science. 2 (1): 45–52. doi:10.1214/ss/1177013437.
  21. ↑ Christian, Brian (2000-02-27). «The A/B Test: Inside the Technology That's Changing the Rules of Business». Wired Business. Արխիվացված օրիգինալից 17 March 2014-ին. Վերցված է 2014-03-18-ին.
  22. ↑ Christian, Brian. «Test Everything: Notes on the A/B Revolution | Wired Enterprise». Wired. Արխիվացված օրիգինալից 16 March 2014-ին. Վերցված է 2014-03-18-ին.
  23. ↑ Cory Doctorow (2012-04-26). «A/B testing: the secret engine of creation and refinement for the 21st century». Boing Boing. Արխիվացված օրիգինալից 9 February 2014-ին. Վերցված է 2014-03-18-ին.
  24. ↑ «Marketing Experimentation Explained: Strategy and Best Practices». Amplitude (անգլերեն). Վերցված է 2026-03-06-ին.
  25. ↑ «A/B Testing: The ABCs of Paid Social Media». Anyword (ամերիկյան անգլերեն). 2020-01-17. Արխիվացված օրիգինալից 31 March 2022-ին. Վերցված է 2022-04-08-ին.
  26. ↑ Crowell, Collin (May 16, 2025). «Experimentation Is Not One Method». Kameleoon. Արխիվացված օրիգինալից December 14, 2025-ին. Վերցված է March 6, 2026-ին.
  27. ↑ Xu, Ya; Chen, Nanyu; Fernandez, Addrian; Sinno, Omar; Bhasin, Anmol (10 August 2015). «From Infrastructure to Culture: A/B Testing Challenges in Large Scale Social Networks». Proceedings of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. էջեր 2227–2236. doi:10.1145/2783258.2788602. ISBN 9781450336642. S2CID 15847833.
  28. ↑ «Split Testing Guide for Online Stores». webics.com.au. August 27, 2012. Արխիվացված օրիգինալից 3 March 2021-ին. Վերցված է 2012-08-28-ին.
  29. ↑ Kaufman, Emilie; Cappé, Olivier; Garivier, Aurélien (2014). «On the Complexity of A/B Testing» (PDF). Proceedings of The 27th Conference on Learning Theory. Vol. 35. էջեր 461–481. arXiv:1405.3224. Bibcode:2014arXiv1405.3224K. Արխիվացված (PDF) օրիգինալից 7 July 2021-ին. Վերցված է 27 February 2020-ին.
  30. 1 2 Siroker, Dan; Koomen, Pete (2013-08-07). A / B Testing: The Most Powerful Way to Turn Clicks Into Customers. John Wiley & Sons. ISBN 978-1-118-65920-5. Արխիվացված օրիգինալից 17 August 2021-ին. Վերցված է 15 October 2020-ին.
  31. 1 2 3 Szucs, Sandor (2018). Modern HTTP Routing (PDF). LISA 2018. Usenix.org. Արխիվացված (PDF) օրիգինալից 1 September 2021-ին. Վերցված է 1 September 2021-ին.
Ստացված է «https://hy.wikipedia.org/w/index.php?title=A/B_թեստավորում&oldid=10883982» էջից