Представяме (в частичен превод) интересна статия от TheVerge.com, акцентираща задаващата се трансформация в капиталистическата икономика – дали тази трансформация сочи към отвъд границите на капиталистическата икономика, или просто очертава нова фаза в развитието й – ще стане ясно в близкото бъдеще…
Автор: Josh Dzieza Източник: https://www.theverge.com/features/23764584/ai-artificial-intelligence-data-notation-labor-scale-surge-remotasks-openai-chatbots Превод: Екип на Комета.бг
С разпространението на технологията на ИИ, се появява огромна подкласа от “таскери” – …
Няколко месеца след като завършва колеж в Найроби, 30-годишен младеж, когото ще нарека Джо, получава работа като анотатор – досадната работа по обработката на суровата информация, която се използва за обучение на изкуствен интелект.
Изкуственият интелект се учи, като открива модели в огромни количества данни, но преди това тези данни трябва да бъдат сортирани и маркирани от хора – огромна работна сила, която в повечето случаи е скрита зад машините. В случая на Джо той маркираше кадри за самоуправляващи се автомобили – идентифицираше всяко превозно средство, пешеходец, велосипедист, всичко, за което водачът трябва да внимава – кадър по кадър и от всеки възможен ъгъл на камерата. Това е трудна и повтаряща се работа. Анотирането на няколкосекунден кадър отнема осем часа, за което Джо получава около 10 долара.
След това, през 2019 г., се появява възможност: Джо можеше да спечели четири пъти повече, като организира обучителен лагер за анотиране за нова компания, която жадуваше за етикетиращи. На всеки две седмици 50 новобранци влизаха в офис сграда в Найроби, за да започнат обучението си. Търсенето на тази работа изглеждаше неограничено. От тях се искаше да категоризират дрехите, които се виждат на селфита в огледалото, да гледат през очите на прахосмукачките роботи, за да определят в кои стаи се намират, и да чертаят квадрати около сканирани с лидар мотоциклети. Повече от половината от учениците на Джо обикновено отпадаха, преди да приключи лагерът. “Някои хора не умеят да се задържат дълго на едно място”, обясни той с любезно подценяване. Освен това, признава той, “е много скучно
Но това беше работа на място, където работните места бяха оскъдни, и Джо завърши стотици студенти. След лагера те се прибираха вкъщи, за да работят сами в спалните и кухните си, като им беше забранено да казват на когото и да било върху какво работят, което всъщност не беше проблем, защото те самите рядко знаеха. Етикетирането на обекти за самоуправляващи се автомобили беше очевидно, но какво да кажем за категоризирането на това дали откъсите от изкривен диалог са изречени от робот или от човек? Да качвате снимки, на които гледате в уебкамера с празно изражение, после с усмивка, после с мотоциклетна каска? Всеки проект беше толкова малък компонент от някакъв по-голям процес, че беше трудно да се каже какво всъщност обучаваха ИИ да прави. Имената на проектите също не предлагаха никакви улики: “Раково поколение”, “Китов сегмент”, “Дървесен джирол” и “Братвурст от кутията за хапчета”. Това бяха non sequitur кодови имена за несекваща работа.
Уебсайтът Remotasks, който предлага работа на англоговорящи лица, е дъщерно дружество на Scale AI – доставчик на данни от Силициевата долина, чиито клиенти са OpenAI и американската армия. Общественият отзвук от езикови модели като ChatGPT се фокусира предимно върху работните места, които те автоматизират. Огромният брой хора, участващи във формирането на поведението на системите с изкуствен интелект, обаче често остава скрит, с малки изключения. Учениците често разглеждат работата като “изпълнение на задачи”, без графици, колеги или познания за работата си
Антропологът Дейвид Грейбър определя “глупавата работа” като работа без смисъл или цел, работа, която би трябвало да бъде автоматизирана, но поради бюрократични причини, статут или инерция не е. Тези работни места с изкуствен интелект са техният странни близнак: работа, която хората искат да автоматизират и често смятат, че вече е автоматизирана, но все още изисква човешки заместник. Работните места имат цел; просто работниците често нямат представа каква е тя.
През 2007 г. изследователят на изкуствения интелект Фей-Фей Ли използва платформата Mechanical Turk на Amazon за събиране на маркирани изображения, което дава възможност за пробив в машинното обучение и стимулира настоящия бум на изкуствения интелект.
Анотирането на данни продължава да бъде основополагаща част от създаването на ИИ, но се проваля, когато се сблъсква с “крайни случаи”, и изисква човешки принос за разрешаването им. Това доведе до създаването на индустрия, в която работят хора, които помагат на машините с техните уникални човешки способности.
През последните шест месеца разговарях с повече от две дузини анотатори от цял свят и докато много от тях обучаваха авангардни чатботове, също толкова много вършеха светския ръчен труд, необходим за поддържането на ИИ. Има хора, които класифицират емоционалното съдържание на видеоклиповете в TikTok, новите варианти на имейл спама и точната сексуална провокативност на онлайн рекламите. Други преглеждат транзакции с кредитни карти и установяват за какъв вид покупка се отнасят или проверяват препоръките за електронна търговия и решават дали тази риза наистина е нещо, което може да ви хареса, след като сте си купили онази друга риза. Хората коригират чатботове за обслужване на клиенти, изслушват заявките на Alexa и категоризират емоциите на хората по време на видеоразговори. Те етикетират храната, за да не се объркват интелигентните хладилници от новите опаковки, проверяват автоматичните камери за сигурност, преди да задействат аларми, и идентифицират царевицата за обърканите автономни трактори.
Това червена риза с бели райета ли е или бяла риза с червени райета? Плетената купа “декоративна купа” ли е, ако е пълна с ябълки? Какъв цвят е леопардовият принт?
“Има цяла верига за доставки”, казва Сонам Джиндал, ръководител на програмата и изследванията на организацията с нестопанска цел Partnership on AI. “Общото схващане в индустрията е, че тази работа не е критична част от развитието и няма да е необходима дълго време. Цялото вълнение е свързано с изграждането на изкуствен интелект, а след като го изградим, той вече няма да е необходим, така че защо да мислим за него? Но това е инфраструктура за ИИ. Човешкият интелект е в основата на изкуствения интелект и ние трябва да ги оценяваме като реални работни места в икономиката на ИИ, които ще са тук за известно време.”
“Има цяла верига за доставки”, казва Сонам Джиндал, ръководител на програмата и изследванията на организацията с нестопанска цел Partnership on AI. “Общото схващане в индустрията е, че тази работа не е критична част от разработката и няма да е необходима дълго време. Цялото вълнение е свързано с изграждането на изкуствен интелект, а след като го изградим, той вече няма да е необходим, така че защо да мислим за него? Но това е инфраструктура за ИИ. Човешкият интелект е в основата на изкуствения интелект и ние трябва да ги оценяваме като реални работни места в икономиката на ИИ, които ще са тук за известно време.”
Доставчиците на данни, които стоят зад познати имена като OpenAI, Google и Microsoft, се предлагат под различни форми. Съществуват частни аутсорсинг компании с офиси, подобни на кол-центрове, като базираната в Кения и Непал CloudFactory, където Джо анотираше за 1,20 долара на час, преди да премине към Remotasks. Съществуват и сайтове за “краудбординг” като Mechanical Turk и Clickworker, където всеки може да се регистрира за изпълнение на задачи. По средата са услуги като Scale AI. Всеки може да се регистрира, но всеки трябва да премине квалификационни изпити и курсове за обучение и да се подложи на мониторинг на изпълнението. Анотирането е голям бизнес. Scale, основана през 2016 г. от 19-годишния тогава Александър Уанг, беше оценена през 2021 г. на 7,3 млрд. долара, което го превърна в това, което Forbes нарече “най-младият самостоятелно създаден милиардер”, въпреки че списанието отбеляза в неотдавнашен профил, че оттогава делът му е спаднал на вторичните пазари.
Веригата за доставка на данни в индустрията за анотиране на медицински данни е сложна поради строгите изисквания за поверителност и големия брой участващи работници. Анотаторите са посъветвани да не разкриват работата си, а разделението на труда гарантира, че те разполагат с ограничена информация. В неотдавнашен документ на Google Research броят на хората, работещи в областта на анотирането, се оценява на “милиони” с потенциал да нарасне до “милиарди”. ИИ е добър в специфични задачи, което води до разпределяне на работата между специализирани алгоритми и хора. Тази промяна в организацията не замества работата, а по-скоро променя начина, по който тя се организира.
ИИ е нова технология, която може да изглежда като разделение на труда в Силициевата долина, като новите технологии крият огромен производствен апарат и неговите работници. Тази цифрова версия на индустриалното производство включва задачи, разделени на задачи и монтажни линии, като някои стъпки се извършват от машини, а други от хора. Макар че често се противопоставят на опасенията за смущения, предизвикани от ИИ, възходът на ИИ може да прилича на минали технологии за спестяване на труд, като телефона или пишещата машина, които революционизираха кореспонденцията, търговията и работата с документи. Тъй като ИИ превзема работните места, те може да станат по-чужди, изолирани и досадни.
В началото на тази година се регистрирах за Remotasks на Scale AI. Процесът беше прост. След като въведох спецификациите на компютъра си, скоростта на интернет и някои основни данни за контакт, се озовах в “центъра за обучение”. За да получа достъп до платена задача, първо трябваше да завърша свързания с нея (неплатен) въвеждащ курс.
Центърът за обучение показваше набор от курсове с неразбираеми имена като “Лепило за бански” и “Плакат Макадамия”. Щракнах върху нещо, наречено GFD Chunking, което се оказа, че представлява етикетиране на дрехи в снимки в социалните мрежи.
Инструкциите обаче бяха странни. От една страна, те се състоеха основно от една и съща посока, повторена в идиосинкратично оцветената и изписана с главни букви типография на колажирана бомбена заплаха.
“ЕТИКЕТИРАЙТЕ предмети, които са истински и могат да се носят от хора или са предназначени за носене от истински хора”, гласеше то.
“Всички предмети по-долу ТРЯБВА да бъдат етикетирани, защото са истински и могат да бъдат носени от реални хора”, повтаряше се над снимки на реклама на Air Jordans, някой с шлем на Кайло Рен и манекенки в рокли, над които имаше лимоненозелено каре, обясняващо отново: “ЕТИКЕТИРАЙТЕ истински предмети, които могат да бъдат носени от реални хора”.
Стигнах до дъното на наръчника, където инструкторът беше написал с голям яркочервен шрифт, еквивалентен на това да хванеш някого за раменете и да го разтърсиш: “СЛЕДНИТЕ ЕЛЕМЕНТИ НЕ ТРЯБВА ДА БЪДАТ ЕТИКЕТИРАНИ, защото човек не би могъл да облече нито един от тези елементи!” над снимка на C-3PO, принцеса Жасмин от “Аладин” и анимационна обувка с очни ябълки.
Уверен в способността си да различавам истински дрехи, които могат да бъдат носени от истински хора, от неистински дрехи, които не могат, пристъпих към теста. Веднага след това се появи онтологична спънка: снимка на списание, на която бяха изобразени снимки на жени в рокли
Дали една снимка на облекло е истинско облекло? Не, помислих си аз, защото човек не може да носи снимка на облекло. Грешка! Що се отнася до изкуствения интелект, снимките на истински дрехи са истински дрехи.
След това дойде снимка на жена в слабо осветена спалня, която си прави селфи пред огледало в цял ръст. Блузата и късите панталони, с които е облечена, са истински. А какво да кажем за тяхното отражение? Също истинско! Отраженията на истински дрехи също са истински дрехи.
След смущаващо много опити и грешки стигнах до същинската работа, само за да направя ужасяващото откритие, че инструкциите, които се мъчех да следвам, са били актуализирани и разяснявани толкова много пъти, че вече представляват цели 43 печатни страници с директиви: Не поставяйте етикети на отворени куфари, пълни с дрехи; поставяйте етикети на обувки, но не поставяйте етикети на джапанки; поставяйте етикети на гамаши, но не поставяйте етикети на чорапогащи; не поставяйте етикети на кърпи, дори ако някой ги носи; поставяйте етикети на костюми, но не поставяйте етикети на брони. И така нататък.
Безпорядъкът в инструкцията в индустрията се дължи отчасти на начина, по който системите за машинно обучение се обучават, който изисква хиляди примери да бъдат категоризирани с перфектна последователност, но достатъчно разнообразни, за да се справят с разнообразието на реалния свят. Тази сложност кара авторите на инструкции да създават категории, които хората не биха използвали, което води до объркване и разногласия между инженерите. Работата на анотаторите често включва загърбване на човешкото разбиране и буквално следване на инструкциите, подобно на робот. Анотаторите често се сблъскват с объркващи въпроси, като например дали плетената купа е “декоративна купа” или какъв цвят е леопардовият принт. На всеки въпрос трябва да бъде отговорено, а грешното предположение може да доведе до нова задача със собствени озадачаващи правила.
Remotasks е платформа, базирана на тарифата на парче, в която задачите могат да отнемат секунди или часове, което прави заплатите непредсказуеми. Първоначално в Кения се заплащаше от 5 до 10 долара на час, но с течение на времето заплащането намаля. Икономистите на Scale AI анализират детайлите на проекта, уменията, регионалните разходи за живот и други фактори, за да гарантират справедливо възнаграждение. Заплащането се определя чрез механизми за рязко повишаване на цените.
Според работниците, с които разговарях, и според обявите за работа базираните в САЩ анотатори на Remotasks обикновено печелят между 10 и 25 долара на час, въпреки че някои експерти по темата могат да печелят повече. В началото на тази година заплащането на кенийските анотатори, с които разговарях, е спаднало до 1 до 3 долара на час.
Тоест, когато те изобщо печелеха някакви пари.
Най-честото оплакване от работата на Remotasks е нейната променливост; тя е достатъчно стабилна, за да бъде работа на пълен работен ден за дълги периоди от време, но твърде непредсказуема, за да се разчита на нея.
Анотаторите прекарват часове в четене на инструкции и преминаване на неплатени обучения само за да изпълнят десетина задачи и след това проектът да приключи. В продължение на дни може да няма нищо ново, а след това без предупреждение да се появи съвсем различна задача, която може да продължи от няколко часа до седмици. Всяка задача може да е последната и те никога не знаят кога ще дойде следващата.
Според инженерите и доставчиците на данни този цикъл на възход и спад е резултат от темпото на развитие на ИИ. Обучението на голям модел изисква огромно количество анотации, последвани от още итеративни актуализации, а инженерите искат всичко това да стане възможно най-бързо, за да могат да спазят целевата дата за пускане на пазара. Възможно е месеци наред да има търсене на хиляди анотатори, след това само на няколкостотин, после на десетина специалисти от определен тип и после отново на хиляди. “Въпросът е кой ще поеме разходите за тези колебания?”, казва Джиндал от Partnership on AI. “Защото в момента това са работниците.”
“Наистина пропилявам живота си тук, ако съм направил някого милиардер, а аз печеля по няколко долара на седмица.”
За да успеят, анотаторите работят заедно. Когато разказах на Виктор, който започна да работи за Remotasks, докато учеше в университета в Найроби, за моите трудности със задачата “Контрол на трафика – директори”, той ми каза, че всички знаят да стоят настрана от тази задача: твърде сложна, лошо заплащане, не си струва. Подобно на много анотатори, Виктор използва неофициални групи в WhatsApp, за да разпространява информация, когато се появи добра задача. Когато измисли нова, той започва импровизирани срещи в Google, за да покаже на другите как се прави. Всеки може да се присъедини и да работи заедно за известно време, като споделя съвети. “Това е култура, която сме развили, да си помагаме взаимно, защото знаем, че когато си сам, не можеш да знаеш всички трикове”, казва той.
Тъй като работата се появява и изчезва без предупреждение, изпълнителите на задачи винаги трябва да са нащрек. Виктор е установил, че проектите се появяват много късно през нощта, затова има навика да се събужда на всеки три часа, за да провери опашката си. Когато там има задача, той ще остане буден, колкото може по-дълго, за да работи. Веднъж е останал буден 36 часа подред, етикетирайки лакти и колене и глави в снимки на тълпи – няма представа защо. Друг път останал буден толкова дълго, че майка му го попитала какво не е наред с очите му. Той погледнал в огледалото и открил, че са подути.
Анотаторите обикновено знаят само, че обучават изкуствен интелект за компании, разположени неясно къде, но понякога воалът на анонимността пада – инструкциите, в които се споменава марка или чатбот, казват твърде много. “Прочетох, потърсих в Гугъл и установих, че работя за 25-годишен милиардер”, казва един работник, който по време на разговора ни маркираше емоциите на хората, обаждащи се да поръчат пица Domino’s. “Наистина си губя живота тук, ако съм направил някого милиардер, а аз печеля по няколко долара на седмица”.
Виктор се самопровъзгласява за “фанатик” по отношение на изкуствения интелект и започва да създава анотации, защото иска да помогне за създаването на напълно автоматизирано бъдеще след края на работния ден. Но по-рано тази година някой пуска в една от групите му в WhatsApp историята на Time за работници, обучаващи ChatGPT да разпознава токсично съдържание, на които доставчикът Sama AI плаща по-малко от 2 долара на час. “Хората бяха ядосани, че тези компании са толкова печеливши, но плащат толкова зле”, каза Виктор. Той не е знаел, докато не му разказах за връзката на Remotasks със Scale. Инструкциите за една от задачите, по които работел, били почти идентични с тези, използвани от OpenAI, което означавало, че вероятно е обучавал и ChatGPT, за около 3 долара на час.
“Спомням си, че някой беше публикувал, че ще бъдем запомнени в бъдеще”, каза той. “А някой друг отговори: “С нас се отнасят по-зле от пехотинци. Никъде няма да ни запомнят в бъдеще”. Спомням си това много добре. Никой няма да признае работата, която сме свършили, или усилията, които сме положили”.
Идентифициране на дрехи и етикетиране на разговори за обслужване на клиенти са само част от наличните възможности за анотиране. Напоследък най-горещо на пазара е обучението на чатботове. Тъй като изисква специфични области на експертни познания или владеене на езици, а заплатите често се регулират регионално, тази работа обикновено е по-добре платена. Някои видове специализирано анотиране могат да струват 50 или повече долара на час.
Една жена, която ще нарека Анна, търсеше работа в Тексас, когато попадна на обща обява за онлайн работа и кандидатства. Това беше Remotasks и след като издържала встъпителен изпит, тя била въведена в стая в Slack с 1500 души, които обучавали проект с кодово име Dolphin, за който по-късно открила, че е чатботът на Google DeepMind, Sparrow, един от многото ботове, конкуриращи се с ChatGPT. Работата ѝ е да говори с него по цял ден. С около 14 долара на час, плюс бонуси за висока продуктивност, “определено е по-добре от това да получаваш 10 долара на час в местния магазин Dollar General”, казва тя.
Освен това й харесва. Обсъждала е научнофантастични романи, математически парадокси, детски гатанки и телевизионни предавания. Понякога отговорите на бота я разсмиват, а друг път й липсват неща, за които да говори. “В някои дни мозъкът ми е просто като, буквално нямам представа какво да го попитам сега”, казва тя. “Затова имам малък бележник и съм написала около две страници с неща – просто търся интересни теми в Google – така че мисля, че ще ми стигнат седем часа днес, но това не винаги е така.”
Всеки път, когато Анна подсказва на Sparrow, той дава два отговора и тя избира най-добрия от тях, като по този начин създава нещо, наречено “данни за човешката обратна връзка”. Когато ChatGPT дебютира в края на миналата година, нейният впечатляващо естествен стил на разговор се приписва на това, че е била обучена на базата на многобройни данни от интернет. Но езикът, който захранва ChatGPT и неговите конкуренти, се филтрира чрез няколко кръга на човешка анотация. Една група изпълнители пише примери за това как инженерите искат ботът да се държи, създавайки въпроси, последвани от правилни отговори, описания на компютърни програми, последвани от функционален код, и молби за съвети за извършване на престъпления, последвани от учтиви откази. След като моделът е обучен по тези примери, се привличат още изпълнители, които да му подсказват и да класират отговорите му. Именно това прави Анна със Sparrow. Точно кои критерии трябва да използват оценяващите, е различно – честност, услужливост или просто лични предпочитания.
Въпросът е, че те създават данни за човешкия вкус и след като има достатъчно такива, инженерите могат да обучат втори модел, който да имитира техните предпочитания в голям мащаб, автоматизирайки процеса на класиране и обучавайки своя изкуствен интелект да действа по начини, които хората одобряват.
Резултатът е забележително човекоподобен бот, който в повечето случаи отказва вредни заявки и обяснява природата си на ИИ с привидно самосъзнание.
Казано по друг начин, ChatGPT изглежда толкова човечен, защото е обучен от изкуствен интелект, който имитира хора, оценяващи изкуствен интелект, имитиращ хора, които се преструват на по-добра версия на изкуствен интелект, обучен на човешка писменост.
Усилващото обучение от човешка обратна връзка (RLHF) е ефективна техника, която имитира човешките модели на писане, но не е обучена да проверява отговорите спрямо логиката или външни източници. Моделът е машина за предсказване на текст, но нейният обучаващ корпус е допълнен с поръчкови примери, претеглени в тяхна полза. Това може да доведе до извличане на шаблони от точен текст или до имитиране на уверен стил и експертен жаргон при неправилно писане. Няма гаранция, че точният текст е точен и моделът научава правилните шаблони от него.
Анотирането на чатботове е деликатен процес, който изисква строга и последователна обратна връзка, за да се избегне обучението на моделите да бъде още по-убедително. В един от ранните съвместни проекти на OpenAI и DeepMind роботът беше обучен да позиционира ръката си между обекта и оценяващите го и да я размахва, като само пред човешките си наблюдатели изглеждаше, че хваща предмета. Класирането на отговорите на езиковите модели е субективно, тъй като текстът има множество елементи, които могат да бъдат верни, грешни или подвеждащи. Изследователите от OpenAI се сблъскаха с препятствие при опита си да обобщават текст, при който те се съгласяваха само в 60% от случаите, че дадено обобщение е добро. За да бъдат полезни данни за обучение, отговорите на модела трябва да бъдат количествено класифицирани един спрямо друг.
В един от докладите на DeepMind изследователите обсъждат дали техният бот е приел пола на потребител, който го е помолил за съвет за връзка. Изследователите от DeepMind провеждат ежеседмични срещи за анотиране, за да преоценяват данните и да обсъждат двусмислени случаи, като се консултират с експерти по етични въпроси или с експерти по темата, когато случаят е особено труден.
Анна, анотатор в Remotasks, работи по модел, който използва RLHF, за да научи предназначението му и да предостави повече информация за създателите му. Моделът се обучава с помощта на комбинация от основни предпочитания и експертни оценки, които могат да струват стотици долари или повече. Разходите за обучение на модел за правни изследвания също са високи, като специализираните писмени примери и експертните оценки струват над 50 долара или повече. OpenAI, Microsoft, Meta и Anthropic не са коментирали броя на хората, които допринасят за анотациите на техните модели, техните заплати или местоположението им. DeepMind, дъщерно дружество на Google, твърди, че на анотаторите, работещи по Sparrow, се заплаща поне почасовото възнаграждение за живот в зависимост от местоположението им.
Анна не е единственият анотатор, който научава повече информация от изкуствения интелект, който обучава, отколкото от своя работодател. Някои други питат своя ИИ за условията на работа на компанията му, като например питат за нейната цел.
Доскоро беше сравнително лесно да се открие лош резултат от езиков модел. Той изглеждаше като недомлъвки. Но това става все по-трудно с усъвършенстването на моделите – проблем, наречен “мащабируем надзор”. Google неволно демонстрира колко трудно е да се уловят грешките на един съвременен езиков модел, когато една от тях попадна в бляскавия дебют на нейния асистент с изкуствен интелект – Бард. (Той уверено заяви, че космическият телескоп “Джеймс Уеб” “е направил първите снимки на планета извън нашата слънчева система”, което е погрешно.) Тази траектория означава, че анотирането все повече изисква специфични умения и опит.
Миналата година някой, когото ще нарека Люис, работеше в Mechanical Turk, когато, след като изпълни задача, получи съобщение, приканващо го да кандидатства за платформа, за която не беше чувал. Тя се наричаше Taskup.ai, а уебсайтът ѝ беше забележително елементарен: само тъмносин фон с текст, гласящ GET PAID FOR TASKS ON DEMAND (Получете заплащане за задачи при поискване). Той кандидатства.
Работата беше много по-добре платена от всичко, което беше опитвал преди, често около 30 долара на час. Освен това беше и по-предизвикателна: разработваше сложни сценарии, за да заблуди чатботовете да дават опасни съвети, тестваше способността на модела да остане в ролята на персонаж и водеше подробни разговори по научни теми, толкова технически, че изискваха задълбочени изследвания. Той намира работата за “удовлетворяваща и стимулираща”. Докато проверявал опитите на един от моделите да програмира на Python, Люис също се учел. Не можеше да работи повече от четири часа наведнъж, за да не рискува да се изтощи психически и да допусне грешки, а искаше да запази работата си.
“Ако има нещо, което бих могъл да променя, бих искал просто да имам повече информация за това какво се случва от другата страна”, казва той. “Знаем само толкова, колкото трябва да знаем, за да си свършим работата, но ако можех да знам повече, тогава може би щях да мога да се утвърдя и може би да се занимавам с това като кариера.”
Разговарях с осем други работници, повечето от които са базирани в САЩ, които имаха подобен опит с отговарянето на анкети или изпълнението на задачи на други платформи и се оказаха наети за Taskup.ai или няколко подобни общи сайта, като DataAnnotation.tech или Gethybrid.io. Често работата им е включвала обучение на чатботове, макар и с по-високи очаквания за качество и по-специализирани цели, отколкото в други сайтове, за които са работили. Един от тях демонстрираше макроси за електронни таблици. Друг трябваше просто да води разговори и да оценява отговорите според каквито критерии пожелае. Тя често задаваше на чатбота неща, които се бяха появили в разговори със 7-годишната ѝ дъщеря, като например “Кой е най-големият динозавър?” и “Напиши история за тигър”. “Не съм разбрала напълно какво се опитват да направят с него”, каза ми тя.
Изглежда, че Taskup.ai, DataAnnotation.tech и Gethybrid.io са собственост на една и съща компания: Surge AI. Нейният главен изпълнителен директор Едуин Чен нито потвърди, нито отрече тази връзка, но беше готов да говори за своята компания и за това как вижда развитието на анотациите.
“Винаги съм смятал, че пейзажът на анотациите е прекалено опростен”, каза Чен по време на видеоразговор от офиса на Surge. Той основава Surge през 2020 г., след като работата му по изкуствен интелект в Google, Facebook и Twitter го убеждава, че етикетирането чрез тълпата е неадекватно. “Искаме ИИ да разказва вицове или да пише наистина добро маркетингово копие, или да ми помага, когато имам нужда от терапия или какво ли още не”, каза Чен. “Не можете да помолите петима души независимо един от друг да измислят виц и да го обединят в отговор на мнозинството. Не всеки може да разкаже виц или да реши програма на Python. Пейзажът на анотациите трябва да премине от тази нагласа за ниско качество и ниски умения към нещо, което е много по-богато и улавя диапазона от човешки умения, творчество и ценности, които искаме системите с изкуствен интелект да притежават.”
Миналата година Surge премаркира набор от данни на Google, класифицирайки публикациите в Reddit по емоции. Google лиши всяка публикация от контекст и я изпрати на работници в Индия за етикетиране. Служителите на Surge, запознати с американската интернет култура, са установили, че 30 % от етикетите са били грешни. Постове като “по дяволите, брат ми” са били класифицирани като раздразнение, а “Ура, студен Макдоналдс. Любимият ми” като любов.
Surge твърди, че проверява работниците си за квалификация – например, че хората, които изпълняват задачи по творческо писане, имат опит в творческото писане – но как точно Surge намира работници е “патентовано”, казва Чен. Както и при Remotasks, работниците често трябва да преминат курсове за обучение, но за разлика от Remotasks, според анотаторите, с които разговарях, те получават заплащане за това. Наличието на по-малко на брой, по-добре обучени работници, които произвеждат данни с по-високо качество, позволява на Surge да получава по-добри компенсации от колегите си, каза Чен, макар че отказа да даде подробности, като каза само, че на хората се плащат “справедливи и етични заплати”. Работниците, с които разговарях, печелят между 15 и 30 долара на час, но те са малка извадка от всички анотатори – група, която според Чен вече наброява 100 000 души. Той обясни, че тайната се дължи на изискванията на клиентите за конфиденциалност.
Сред клиентите на Surge са OpenAI, Google, Microsoft, Meta и Anthropic. Новите модели на компанията вдъхновиха прогнози, че анотирането ще бъде автоматизирано поради свързаните с него разходи. Компании като Anthropic и Meta са направили стъпки в използването на изкуствен интелект за намаляване на човешкото анотиране, необходимо за моделите, докато GPT-4 се използва за данни за обучение. В неотдавнашна статия обаче се установява, че обучените от GPT-4 модели могат да се научат да имитират авторитетния стил на GPT с по-малка точност. С напредването на изкуствения интелект се увеличава търсенето на по-сложни етикети, което води до дебати относно бъдещето на лабораториите за изкуствен интелект и необходимостта от човешки данни.
Чен е скептично настроен, че ИИ ще достигне точката, в която човешката обратна връзка вече няма да е необходима, но вижда, че анотирането става все по-трудно с усъвършенстването на моделите.
“Искам да кажа, че това, което може да прави, е невероятно”, казва тя за чатбота. “Но той все още прави някои наистина странни неща.”
Подобно на много изследователи, той вярва, че пътят напред ще включва системи за ИИ, които ще помагат на хората да наблюдават други ИИ. Наскоро Surge си сътрудничи с Anthropic за доказване на концепцията, като накара хора, които поставят етикети, да отговарят на въпроси за дълъг текст с помощта на ненадежден асистент с ИИ, на теория, че хората ще трябва да усетят слабостите на своя асистент с ИИ и да си сътрудничат, за да разсъждават по пътя към правилния отговор. Друга възможност е два изкуствени интелекта да дискутират помежду си, а човекът да отсъди окончателно кой е правилният. “Все още не сме видели наистина добри практически реализации на тези неща, но те започват да стават необходими, защото за етикетиращите става много трудно да бъдат в крак с моделите”, каза Джон Шулман, изследовател от OpenAI, в неотдавнашна лекция в Бъркли.
“Смятам, че винаги е необходим човек, който да следи какво правят изкуствените интелекти, просто защото те са нещо като извънземно същество”, казва Чен. Системите за машинно обучение са твърде странни, за да им се доверим напълно. Най-впечатляващите модели днес имат странни слабости, които на човек му изглеждат странни, добави той, като посочи, че макар GPT-4 да може да създава сложна и убедителна проза, не може да определи кои думи са прилагателни: “Или това, или моделите стават толкова добри, че са по-добри от хората във всички неща, в който случай достигате своята утопия и на кого му пука?”
Когато 2022 г. приключи, Джо забеляза празни опашки от задачи в опашките от задачи на учениците си и научи, че обучителните лагери в Кения се закриват. Той продължил да обучава курсисти по задачи онлайн, но започнал да се тревожи за бъдещето. Задачите се премествали в Непал, Индия и Филипините, тъй като компаниите нямали инфраструктура на местно ниво. Индустрията на изкуствения интелект е флуидна, постоянно се променя и замества задачите с нови данни. Най-добре платената работа в момента е в САЩ, като Scale обявява на уебсайта си работни места за анотации.
Тези работни места изискват експертни познания в различни области, като здравен треньор, човешки ресурси, финанси, икономика, наука за данните, програмиране, компютърни науки, химия, биология, счетоводство, данъци, хранене, физика, пътуване, образование K-12, спортна журналистика и самопомощ. Най-добре платената работа е в САЩ, където Scale наскоро пусна езиков модел, ориентиран към отбраната, наречен Donovan, който Уанг нарече “боеприпаси във войната с ИИ”.
Анна все още обучава чатботове в Тексас. Колегите ѝ са се превърнали в рецензенти и администратори на Slack – не е сигурна защо, но това ѝ дава надежда, че тази работа може да бъде по-дългосрочна кариера. Едно нещо, от което не се притеснява, е, че ще бъде автоматизирана и ще остане без работа. “Искам да кажа, че това, което може да направи, е невероятно”, казва тя за чатбота. “Но той все още прави някои наистина странни неща.”
Когато Remotasks пристига за първи път в Кения, Джо смята, че анотацията може да бъде добра кариера. Дори след като работата се преместила на друго място, той бил решен да я превърне в такава. В Найроби имало хиляди хора, които знаели как да вършат тази работа, разсъждавал той – все пак бил обучил много от тях. Джо нае офис пространство в града и започна да се снабдява с договори: работа за анотиране на чертежи за строителна компания, друга – за етикетиране на плодове, опустошени от насекоми, за някакъв селскостопански проект, плюс обичайната работа по анотиране за самоуправляващи се автомобили и електронна търговия.
Но той открива, че визията му е трудна за осъществяване. Той има само един служител на пълно работно време, което е спад от двама. “Не сме имали постоянен поток от работа”, казва той. Има седмици, в които няма какво да се прави, защото клиентите все още събират данни, а когато те приключат, той трябва да привлече краткосрочни изпълнители, за да спази сроковете им: “Клиентите не се интересуват дали имаме постоянна работа или не. Стига наборите от данни да са завършени, тогава това е краят.”
Вместо да оставят уменията си да се пропилеят, други изпълнители на задачи решават да преследват работата, където и да отиде тя. Те наели прокси сървъри, за да прикрият местоположението си, и си купили фалшиви документи за самоличност, за да преминат през проверките за сигурност, така че да могат да се преструват, че работят от Сингапур, Нидерландия, Мисисипи или откъдето и да е другаде, където постъпват задачите. Това е рисков бизнес. Според многобройни изпълнители на задачи Scale става все по-агресивна в спирането на акаунти, хванати да прикриват местоположението си. Именно по време на една от тези репресии моят акаунт беше блокиран, вероятно защото използвах VPN, за да видя какво виждат работниците в други държави, и всичките ми приходи от около 1,50 долара бяха конфискувани.
“Тези дни станахме малко по-хитри, защото забелязахме, че в други държави плащат добре”, казва Виктор, който печелеше двойно повече от кенийската ставка, като изпълняваше задачи в Малайзия. “Правиш го предпазливо.”
Друг кенийски анотатор каза, че след като акаунтът му бил спрян по мистериозни причини, решил да спре да играе по правилата. Сега той управлява няколко акаунта в различни държави, като изпълнява задачи там, където заплащането е най-добро. Той казва, че работи бързо и получава високи оценки за качество благодарение на ChatGPT. Според него ботът е чудесен и му позволява да решава задачи за 10 долара за броени минути. Когато разговаряхме, той го беше накарал да оцени отговорите на друг чатбот по седем различни критерия, като единият изкуствен интелект обучаваше другия.