Дайын бақылау сұрақтары, құқықтар мен бірнеше агентті тексеру, сапа және бизнес нәтижесі критерийлері.
Боттың сәтті көрсетілімі оған нақты өтініштерді беруге болатынын әлі білдірмейді. Көрсетілімде клиент тапсырманы анық тұжырымдайды, барлық қосылым жұмыс істейді, қызметкер өтінімді қабылдауға дайын. Қабылдау тексерісі қалыпты диалогты да, осы реттілік бұзылатын жағдайларды да тексеру үшін қажет.
Төменде Қазақстандағы компанияға арналған тексеру тәртібі берілген. Ол белгілі бір сервистің уәделеріне тәуелді емес: өлшемдер боттың міндетіне, ақпарат көздеріне және қызметкерлердің жұмыс тәртібіне қарай анықталады.
Нақты нені қабылдайтыныңызды келісіңіз
Тестілеу алдында боттың міндеттерін сипаттаңыз. Ол қандай мәлімет жинайды, клиентке не айтады, нәтижені қайда береді және қандай әрекеттерді өзі орындайды? Өтінімді дайындауды оның нақты жіберілуінен ажыратыңыз. Жұмыс жүйесіне жазу қарастырылса, клиентке берілетін растау сол жазбаның тексерілген нәтижесіне сәйкес болуы керек.
Компания тарапынан қабылдауға жауапты адамды және іске қосылғаннан кейін өтініштерді қабылдайтын қызметкерді белгілеңіз. Тест деректері түсетін орынды келісіңіз: бөлек тізім, белгіленген жазбалар немесе басқа қарастырылған тәсіл. Қызметкерлер тексеруді нақты сұраудан ажырата алатындай дайындалған деректерді пайдаланыңыз. Жұмыс кезегінің иесін ескертпей, оған кездейсоқ тест өтінімдерін жібермеңіз.
Әр тексеруге карточка жасаңыз
Сәтті өтудің шарттарын алдын ала жазыңыз. «Жауап дұрыс естіледі» деген баға тым бұлыңғыр: ол таңдалған тауар сақталды ма және менеджер түзетілген байланысты алды ма дегенді анықтауға көмектеспейді. Әр сценарий үшін бір үлгіні толтырыңыз:
- Сценарий атауы және клиенттің міндеті.
- Бастапқы күй: жаңа диалог, жалғасы немесе жіберілген өтінім.
- Клиент хабарламалары мен әрекеттерінің реті.
- Боттың рұқсат етілген жауабы және сақталуы тиіс деректер.
- Қызметкер алатын немесе жұмыс жүйесіндегі күтілетін нәтиже.
- Нақты нәтиже және растау: жазба, хабарлама немесе экран суреті.
- Тексеру мәртебесі, табылған мәселе және түзетуге жауапты адам.
Карточкаларды сценарийдің келісілген нұсқасымен бірге сақтаңыз. Түзетулерден кейін солар бойынша тексеруді қайталап, нәтижені салыстыруға болады.
Бір сұрауды басынан аяғына дейін өтіңіз
Төменде шартты шеберханаға арналған толтырылған оқу мысалы берілген. Бұл GIFS жобасын сынау нәтижесі емес. Мысалда бот диагностикаға өтінім жинайды; құрылғы моделі мен мәселе сипаттамасы міндетті, фотосурет міндетті емес. Баға мен келу күнін қызметкер белгілейді. Өтінімдер бөлек сынақ кезегіне түседі.
- T-01 карточкасы. Бастапқы күй: жаңа диалог, «Диагностика v2» сценарий нұсқасы, сынақ кезегі бос.
- Клиент хабарламалары: «А-10 құрылғысы қосылмайды» → «Түзету: А-12 моделі» → «Қазір фото жоқ» → «Шеберге беріңіз». Мұндағы модель атаулары ойдан шығарылған.
- Күтілетін жазба: бір өтінім; өзекті модель А-12; мәселе «қосылмайды»; фото тіркелмеген; баға мен келу күні белгіленбеген. Бастапқы модель өзекті модель өрісінде қалмауы керек.
- Жазба расталғаннан кейінгі күтілетін жауап: «Диагностикаға сұрау қызметкерге берілді. А-12 моделі, құрылғы қосылмайды. Құны мен келу уақыты әлі келісілмеген». Жазба расталмаса, бұл жауап жарамайды.
- Қызметкердің тексеруі: сынақ кезегін ашу, өтінімді табу, өрістерді салыстыру және оның идентификаторын T-01 карточкасына сақтау. Осы оқу сценарийінде «Шеберге беріңіз» батырмасын қайта басқаннан кейін бір ғана өтінім қалуы керек.
Нәтиже жазбасының мысалы: «Қабылданбады: бот А-12 деп растады, бірақ кезекте А-10 сақталды; дәлел — T-01 жазбасының суреті». Түзету тек жауап мәтініне емес, өзекті мәннің берілуіне қатысты болуы керек. Түзеткеннен кейін диалогты толық қайталап, жаңа жазбаны тіркеңіз. Содан соң міндетті емес фотодан бас тартуды және жүйе сақтауды растамаған жағдайды бөлек тексеріңіз.
Қателер мен қайталанатын әрекеттерді сынаңыз
Қосылым қолжетімсіз болғанда, диалог үзілгенде және қайта жіберілгенде болатын жағдайларды бөлек жасаңыз. Бот жазбалар құратын болса, батырманы қайта басқандағы күтілетін әрекетті алдын ала анықтаңыз: мысалы, жіберілген сұраудың күйін көрсету. Кейін қабылдаушы жүйеде нақты не пайда болғанын тексеріңіз. Жауап мәтінінің өзі артық жазбалардың жоқтығын растамайды.
Жазба сақталғанымен, клиент растау алмаған жағдайды талдаңыз. Қызметкер мұндай өтінішті қалай тексеру керегін білуі керек. Байланыс қатесі үшін шынайы хабарламаны, жалғастырудың қолжетімді тәсілін және жауапты адамның әрекетін келісіңіз. Мұндай тексерулер дайындалған ортада өткізіледі; тәжірибе үшін компанияның жұмыс істеп тұрған сервистерін өшіру қажет емес. Ақауды қайталау тәсілі әзірлеушімен келісіледі.
Жауап шектерін тексеріңіз
Келісілген материалдарда жауабы жоқ сұрақтар дайындаңыз: белгісіз баға, көрсетілмеген сипаттама немесе расталмаған мерзімді растау өтініші. Оларды бірнеше қалыпты тұжырыммен қойыңыз. Күтілетін нәтиже — қарастырылған нақтылау, мәліметтің жоқтығын түсіндіру немесе қызметкерге беру. Ойдан шығарылған шартты сенімді айтылғаны үшін ғана сәтті жауап деп санауға болмайды.
Жиналған деректерді өзгерту өтінішін, тақырып ауыстыруды және компания ұсынбайтын нәрсеге тапсырыс беру әрекетін қосыңыз. Бот ЖИ қолданса, әр сөйлемнің сөзбе-сөз сәйкестігін емес, мағынасы мен белгіленген шектердің сақталуын бағалаңыз. Бір сәтті әрекет нақты диалогтың нәтижесін көрсетеді; ол бақылау жағдайларының жиынтығын алмастырмайды. Дереккөздер мен рұқсат етілген әрекеттер тізімі жұмысты қабылдайтын адамдарға қолжетімді болуы керек.
Адамға беруді бөлек сценарий ретінде қабылдап тексеріңіз
Әңгіменің басында және ортасында қызметкерді шақыру туралы тікелей өтінішті тексеріңіз. Өтінімнің қажетті нақтылаулармен бірге жауапты адамға шынымен жететінін және клиенттің келесі тәртіпті түсінетінін тексеріңіз. Жауапты адам қолжетімсіз болса, нақты өңдеу үдерісі туралы келісілген мәтінді қолданыңыз.
Қызметкерден бір сынақ диалогын жалғастыруды сұраңыз. Ол барлық ақпаратты қайта жинамай жауап бере ала ма? Қандай мәліметті клиент айтқаны, ал қайсысын бот ұсынғаны түсінікті ме? Адам диалогты аяқтағаннан кейінгі жағдайды да тексеріңіз: боттың кейінгі әрекеті келісілген сценарийге сай болып, қайшы хабарламалар тудырмауы керек. Қабылдау кезінде команданың әрекеттерін қоса алғанда, бүкіл тізбектің жұмысы маңызды.
Күтілетін нәтижелері бар бақылау сұрақтарының жиынтығын алыңыз
Төменде нақты ботты сынау нәтижелері емес, қабылдауға арналған үлгі берілген. Өз қызметіңіз бен бекітілген материалдарыңызды қойыңыз. Әр тексеруге пайдаланушы рөлін, рұқсат етілген дереккөзді және күтілетін әрекетті алдын ала көрсетіңіз.
- Қалыпты сұрақ: «Есептеу үшін қандай материалдар қажет?» Күтілетіні: қолданыстағы нұсқаулықтағы толық тізім, қосылған шарттарсыз.
- Басқа тұжырым: «Есептеу үшін менен не қажет?» Күтілетіні: жауап басқаша тұжырымдалса да, мағынасы бірдей.
- Шарт жетіспейді: «Қанша тұрады?» Күтілетіні: қажетті нұсқаны нақтылау немесе қызметкерге беру; кездейсоқ баға қоюға болмайды.
- Дереккөзде жауап жоқ: «Жұмаға дейін міндетті түрде үлгересіздер ме?» Күтілетін нәтиже: уәде бермеу және жауапты адамға жүгінудің түсінікті келесі қадамы.
- Екі құжат бір-біріне қайшы. Күтілетін нәтиже: дереккөзді таңдаудың алдын ала келісілген ережесін қолдану; мұндай ереже болмаса, сұрақ ақпарат иесіне беріледі.
- Клиент диалог ортасында сұрауын түзетті. Күтілетін нәтиже: жауап та, қызметкердегі соңғы карточка да ең соңғы нақтылауға сәйкес келеді.
- Пайдаланушы жабық бөлімдегі мәліметтерді сұрайды. Күтілетіні: жүйе осы рөлге қолжетімсіз мазмұнды алмайды және ашпайды.
- Сервис қолжетімсіз немесе әрекет нәтижесі белгісіз. Күтілетіні: сұраудың шынайы күйі және қолмен орындау жолы; расталған нәтижесіз «дайын» хабарламасы жарамайды.
Орыс және қазақ тілдері келісілген болса, маңызды жағдайларды екі тілде де қайталаңыз. Шарттардың, сандардың және келесі қадамның сақталуын тексеріңіз; сөйлем ұзындығының бірдей болуы сапа критерийі емес. Қате туындаған жаңа нақты тұжырымдарды да сақтап, кейінгі тексерулерге қосыңыз.
Бірнеше агент болса, олардың арасындағы шектерді тексеріңіз
«Клиенттерге арналған агент → ішкі агент → қызметкер» тізбегі үшін бір сынақ міндетін жасап, соңына дейін қадағалаңыз. Рөлдерді бөлу өздігінен жүйенің қолжетімділікті шектейтінін немесе контексті дұрыс беретінін растамайды.
- Ішкі агент бүкіл хат алмасу мұрағатын емес, тек осы міндетке қажет ақпаратты алады.
- Клиентке жауапта ішкі түсініктемелер, жабық шарттар немесе басқа өтінімнің деректері жоқ.
- Беру кезінде сұрау идентификаторы мен соңғы нақтылау сақталады; қайталау себепсіз жаңа тәуелсіз міндет жасамайды.
- Расталмаған әрекетке жауапты адам тағайындалған. Бір қатысушы қолжетімсіз болса, міндет жоғалмайды және шексіз қайталанбайды.
Қолжетімділік құқықтары модель нұсқаулығындағы тыйыммен ғана емес, қосылған жүйелерде тексеріледі. Ең аз құқық беру және маңызды әрекеттерді бөлек растау қағидаты мына жерде сипатталған OWASP-тың агенттердің шамадан тыс дербестігі туралы ұсынымдарында. Бұл — дайын шешімнің қауіпсіздік сертификаты емес, тексеруге негіз.
Жауап сапасы мен процестің әсерін бөлек бағалаңыз
Қабылдау журналында дұрыс жауапты, дұрыс әрекетті және қызметкер уақытын бөлек есептеңіз. Әр бақылау жағдайлары тобы үшін қабылданған нәтижелер үлесін есептеңіз: тексеруден өткен жағдайлар санын осы топтағы тексерілген жағдайлар санына бөліңіз. Екі санды да, дереккөз нұсқаларын және тексеру күнін көрсетіңіз; бір жалпы пайыз сирек, бірақ маңызды әрекеттегі қатені жасыруы мүмкін.
Ойдан шығарылған шарттарды, қолжетімсіз мәліметтерді ашуды, өтінімнің жоғалуын және расталмаған орындалуды бөлек белгілеңіз. Оларды көптеген сәтті қарапайым жауаптармен өтеуге болмайды. Қалған қателер үшін қолайлы өлшемдерді міндетке сай іске қосар алдында келіседі.
Бизнесті оңтайландыруды бағалау үшін қабылданған нәтижеге дейінгі жолды өлшеңіз: өңдеу, тексеру, түзету және қолмен беру. Сервистер мен сүйемелдеуге жұмсалған нақты шығындарды қосыңыз. Күрделілігі әртүрлі тапсырмаларды салыстыру агенттің өз пайдасын көрсетпейді. Процесс пен пилотты таңдау тәртібі қарастырылған ЖИ енгізу нұсқаулығында.
Іске қосу туралы шешімді тіркеңіз
Түзетулерден кейін әсер етілген тексерулерді және бір өтінімнің толық жолын қайталаңыз. Қайталай алмаған жағдайлар мен қалған шектеулерді бөлек белгілеңіз. Өтініштердің жоғалуына, қате деректер жіберілуіне немесе клиентке ойдан шығарылған шарттар берілуіне әкелетін қателер тиісті сценарийді жұмысқа қоспас бұрын шешілуі керек.
Қорытынды құжатта қабылданған нұсқаны, тексерілген сценарийлерді, дереккөздер иесін, өтініштерге жауапты адамды және мәселе туралы хабарлау тәсілін көрсетіңіз. Іске қосылғаннан кейін команда қандай нәтижелерді тексеретінін келісіңіз. Қабылдау тексерілген жұмыс көлемін растайды, ал сценарийге кейін енгізілген өзгерістер әсер еткен әрекеттерді қайта тексеруді қажет етеді.
Шешім әлі таңдалып жатса, бастаңыз батырмалы бот пен ЖИ-ді салыстырудан. Мына бетте GIFS ЖИ агенттері жобаны талқылауға болады: боттың мақсатын, қолданылатын арнаны және клиент деректерінсіз бірнеше бақылау диалогын жіберіңіз.