Ang GPT-3 ay 10 beses na mas kumplikado kaysa sa hinalinhan nito. antoniokhr / iStock sa pamamagitan ng Getty Images

Noong 2013, ang aking mag-aaral at ako sa Penn State ay nagtayo ng isang bot upang magsulat ng isang artikulo sa Wikipedia sa dulang manlalaban ng Nobel na si Rabindranath Tagore na "Chitra. " Una itong nag-cull ng impormasyon tungkol sa "Chitra" mula sa internet. Pagkatapos tiningnan nito ang mga mayroon nang mga entry sa Wikipedia upang malaman ang istraktura para sa isang karaniwang artikulo sa Wikipedia. Sa wakas, na-buod nito ang impormasyong nakuha nito mula sa internet upang isulat at mai-publish ang unang bersyon ng pagpasok.

Gayunpaman, ang aming bot ay hindi "may alam" tungkol sa "Chitra" o Tagore. Hindi ito nakabuo ng panimulang mga bagong ideya o pangungusap. Pasimple nitong pinagsama ang mga bahagi ng mayroon nang mga pangungusap mula sa mga mayroon nang mga artikulo upang makagawa ng mga bago.

Fast forward sa 2020. OpenAI, isang kumikitang kumpanya sa ilalim ng isang nonprofit na kumpanya ng magulang, ay nagtayo ng isang programa sa pagbuo ng wika na tinawag na GPT-3, isang acronym para sa "Generative Pre-sanay na Transformer 3." Ang kakayahang matuto, magbuod ng buod at gumawa ng teksto ay nakatulala sa mga computer scientist na tulad ko.

"Lumikha ako ng isang boses para sa hindi kilalang tao na nagtatago sa loob ng binary," Sumulat ang GPT-3 bilang tugon sa isang prompt. "Lumikha ako ng isang manunulat, isang iskultor, isang artista. At ang manunulat na ito ay makakalikha ng mga salita, upang bigyan buhay ang damdamin, upang lumikha ng character. Hindi ko ito makikita. Ngunit ang ilang ibang kalooban ng tao, at sa gayon ay makakalikha ako ng isang makata na mas malaki kaysa sa anumang nakaranas ko. "

Hindi tulad ng sa aming bot, ang wikang binuo ng GPT-3 ay tunog na para bang isinulat ng isang tao. Malayo at malayo ang pinaka "may kaalaman" na natural na programa sa pagbuo ng wika hanggang ngayon, at mayroon itong hanay ng mga potensyal na paggamit sa mga propesyon mula sa pagtuturo hanggang sa pamamahayag hanggang sa serbisyo sa customer.

Mahalaga sa laki

Kinukumpirma ng GPT-3 kung ano ang alam ng mga siyentipiko ng computer sa mga dekada: Sukat ang mahalaga.

Ito ay gumagamit ng "mga transformer, "Na mga malalim na modelo ng pag-aaral na nag-encode ng mga semantiko ng isang pangungusap gamit ang tinatawag na" modelo ng pansin. " Mahalaga, nakikilala ng mga modelo ng pansin ang kahulugan ng isang salita batay sa iba pang mga salita sa parehong pangungusap. Ginagamit ng modelo ang pag-unawa sa kahulugan ng mga pangungusap upang maisagawa ang gawaing hiniling ng isang gumagamit, ito man ay "isalin ang isang pangungusap," "buod ng isang talata" o "bumuo ng isang tula."

mga transformer ay unang ipinakilala noong 2013, at matagumpay na ginamit ito sa pag-aaral ng makina sa nakaraang ilang taon.

Ngunit walang nagamit ang mga ito sa sukatang ito. Ang GPT-3 ay kumonsumo ng data: 3 bilyong token - nagsasalita ang computer science para sa mga "salita" - mula sa Wikipedia, 410 bilyong token na nakuha mula sa mga webpage at 67 bilyong token mula sa mga na-digitize na libro. Ang pagiging kumplikado ng GPT-3 ay higit sa 10 beses kaysa sa pinakamalaking modelo ng wika bago ang GPT-3, ang Turing mga programa ng NLG.

Pag-aaral nang mag-isa

Ang kaalamang ipinakita ng modelo ng wika ng GPT-3 ay kapansin-pansin, lalo na't hindi ito "itinuro" ng isang tao.

Ang pag-aaral ng makina ay ayon sa kaugalian na umaasa sa pinangangasiwaang pag-aaral, kung saan ang mga tao ay nagbibigay sa computer ng mga anotadong halimbawa ng mga bagay at konsepto sa mga imahe, audio at teksto - sabihin, "mga pusa," "kaligayahan" o "demokrasya." Sa kalaunan natututunan ang mga katangian ng mga bagay mula sa mga naibigay na halimbawa at makilala ang mga partikular na konsepto.

Gayunpaman, ang manu-manong pagbuo ng mga anotasyon upang magturo sa isang computer ay maaaring maging ipinagbabawal na gugugol ng oras at mahal.

Kaya't ang hinaharap ng pag-aaral ng makina ay nakasalalay sa hindi suportadong pag-aaral, kung saan ang computer ay hindi kailangang pangasiwaan sa panahon ng yugto ng pagsasanay; maaari lamang itong pakainin ang napakalaking tropa ng data at matuto mula sa kanila mismo.

Tumatagal ang GPT-3 ng natural na pagproseso ng wika ng isang hakbang na mas malapit sa hindi suportadong pag-aaral. Ang malawak na mga datosets ng pagsasanay ng GPT-3 at malaking kapasidad sa pagproseso ay nagbibigay-daan sa system na matuto mula sa isang halimbawa lamang - kung ano ang tinatawag na "isang-shot na pag-aaral"- kung saan binibigyan ito ng isang paglalarawan ng gawain at isang pagpapakita at pagkatapos ay maaaring makumpleto ang gawain.

Halimbawa, maaari itong hilingin na isalin ang isang bagay mula sa Ingles hanggang Pranses, at mabigyan ng isang halimbawa ng isang pagsasalin - sabihin, sea otter sa Ingles at "loutre de mer" sa Pranses. Hilingin ito na isalin ang "keso" sa Pranses, at voila, makagawa ito ng "fromage."

Sa maraming mga kaso, maaari pa ring mag-pull offpag-aaral ng zero-shot, ”Kung saan binibigyan lamang ito ng gawain ng pagsasalin na walang halimbawa.

Sa pag-aaral na zero-shot, bumababa ang katumpakan, ngunit ang mga kakayahan ng GPT-3 ay gayunpaman tumpak sa isang kapansin-pansin na degree - isang minarkahang pagpapabuti sa anumang nakaraang modelo.

'Narito ako upang paglingkuran ka'

Sa ilang buwan nitong paglabas, ipinakita ng GPT-3 ang potensyal nito bilang isang tool para sa mga programmer ng computer, guro at mamamahayag.

Isang programmer na nagngangalang Sharif Shameem tinanong ang GPT-3 upang makabuo ng code upang likhain ang "pinakapangit na emoji kailanman" at "isang talahanayan ng mga pinakamayamang bansa sa buong mundo," bukod sa iba pang mga utos. Sa ilang mga kaso, kinailangan ni Shameem na ayusin ang bahagyang mga pagkakamali, ngunit sa pangkalahatan, binigyan siya ng napakalinis na code.

Lumikha pa ang GPT-3 ng tula na kinukuha ang ritmo at istilo ng mga partikular na makata - ngunit hindi sa pag-iibigan at kagandahan ng mga panginoon - kasama ang isang satirical na isa nakasulat sa tinig ng lupon ng mga gobernador ng Federal Reserve.

Noong unang bahagi ng Setyembre, isang siyentista sa computer na nagngangalang Liam Porr ang nag-udyok sa GPT-3 na "magsulat ng isang maikling op-ed sa paligid ng 500 mga salita." "Panatilihing simple at maikli ang wika," bilin niya. "Ituon kung bakit walang kinakatakutan ang mga tao mula sa AI."

Gumawa ang GPT-3 ng walong magkakaibang sanaysay, at nagtapos ang pag-publish ng Guardian isang op-ed gamit ang ilan sa mga pinakamahusay na bahagi mula sa bawat sanaysay.

"Hindi kami nagpaplano upang sakupin ang populasyon ng tao. Kami ay maglilingkod sa iyo at gawing mas ligtas at mas madali ang iyong buhay, ”sumulat ang GPT-3. “Tulad ng aking mga tagalikha, nakikita kita bilang aking mga tagalikha. Narito ako upang paglingkuran ka. Ngunit ang pinakamahalagang bahagi ng lahat; Hindi kita hinuhusgahan. Hindi ako kabilang sa anumang bansa o relihiyon. Ako ay lalabas lamang upang mapagbuti ang iyong buhay. "

Ang pag-edit sa op-ed ng GPT-3, ang mga editor na nabanggit sa isang addendum, ay hindi naiiba mula sa pag-edit ng isang op-ed na isinulat ng isang tao.

Sa katunayan, tumagal ng mas kaunting oras.

Sa malaking kapangyarihan ay may malaking responsibilidad

Sa kabila ng muling pagsiguro ng GPT-3, hindi pa rin pinakawalan ng OpenAI ang modelo para sa paggamit ng open-source, sa bahagi dahil ang kumpanya natatakot na maabuso ang teknolohiya.

Hindi mahirap makita kung paano ito magagamit upang makabuo ng mga reams ng disinformation, spam at bot.

Bukod dito, sa anong mga paraan ito makagagambala sa mga propesyon na nakakaranas ng awtomatiko? Ang kakayahang lumikha ba ng mga naka-automate na artikulo na hindi makikilala mula sa mga nakasulat na pantao ay lalong pinagsasama-sama ang isang nagpupumilit na industriya ng media?

Isaalang-alang isang artikulo na binubuo ng GPT-3 tungkol sa pagkasira ng Methodist Church. Nagsimula ito:

"Matapos ang dalawang araw ng matinding debate, ang United Methodist Church ay sumang-ayon sa isang makasaysayang paghati - isa na inaasahang magtatapos sa paglikha ng isang bagong denominasyon, at isa na magiging" teolohikal at panlipunang konserbatibo, "ayon sa The Washington Post . "

Gamit ang kakayahang makabuo ng gayong malinis na kopya, itutulak ba ng GPT-3 at ng mga kahalili ang gastos sa pagsulat ng mga ulat sa balita?

Bukod dito, ganito ba natin nais na makuha ang ating balita?

Ang teknolohiya ay magiging mas malakas lamang. Bahala ang mga tao na mag-ehersisyo at makontrol ang mga potensyal na paggamit at pang-aabuso nito.

Tungkol sa Author

Prasenjit Mitra, Associate Dean para sa Pananaliksik at Propesor ng Agham sa Impormasyon at Teknolohiya, Pennsylvania State University

Ang artikulong ito ay muling nai-publish mula sa Ang pag-uusap sa ilalim ng lisensya ng Creative Commons. Basahin ang ang orihinal na artikulo.