Kuidas blokeerida OpenAI indeksoijatel teie veebisaiti kraapides

Kuidas blokeerida OpenAI indeksoijatel teie veebisaiti kraapides
Teiesugused lugejad aitavad MUO-d toetada. Kui teete ostu meie saidil olevate linkide abil, võime teenida sidusettevõtte komisjonitasu. Loe rohkem.

Kuigi kasutajad armastavad ChatGPT-d selle tohutu hulga teabe tõttu, mida see praegu sisaldab, ei saa seda öelda veebisaitide omanike kohta.





MUO päeva video SISUGA JÄTKAMISEKS KERIMISE

OpenAI ChatGPT kasutab veebisaitide kraapimiseks roomajaid, kuid kui olete veebisaidi omanik ja te ei soovi, et OpenAI roomaja teie veebisaidile juurde pääseks, on siin mõned toimingud, mida saate selle vältimiseks teha.



kõvaketta i/o viga

Kuidas OpenAI roomamine töötab?

A veebiroomaja (tuntud ka kui ämblik või otsingumootori robot) on automatiseeritud programm, mis otsib teavet Internetist. Seejärel koostab see teabe nii, et teie otsingumootoril on sellele lihtne juurde pääseda.





Veebiindeksoijad indekseerivad iga asjakohase URL-i iga lehe, keskendudes tavaliselt veebisaitidele, mis on teie otsingupäringute jaoks asjakohasemad. Oletame näiteks, et guugeldate konkreetset Windowsi viga. Teie otsingumootori veebiroomik skannib kõik URL-id veebisaitidelt, mida ta peab Windowsi vigade teemal autoriteetsemaks.

OpenAI veebiroomaja kannab nime GPTBot ja vastavalt OpenAI dokumentatsioon , võib GPTBotile juurdepääsu andmine teie veebisaidile aidata AI-mudelit turvalisemaks ja täpsemaks muutmiseks ning võib isegi aidata laiendada tehisintellekti mudeli võimalusi.



Kuidas takistada OpenAI-l teie veebisaidil roomamist

Nagu enamik teisi veebiindeksoijaid, saab ka GPTBotil blokeerida juurdepääsu teie veebisaidile, muutes veebisaidi robots.txt protokoll (tuntud ka kui robotite välistamise protokoll). Seda .txt-faili majutatakse veebisaidi serveris ja see juhib seda, kuidas veebiindeksoijad ja muud automatiseeritud programmid teie veebisaidil käituvad.

Siin on lühike nimekiri sellest, mida robot.txt fail saab teha:



  • See võib täielikult blokeerida GPTBoti veebisaidile juurdepääsu.
  • See võib blokeerida GPTBoti juurdepääsu ainult teatud URL-i lehtedele.
  • See võib GPTBotile öelda, milliseid linke ta saab jälgida ja milliseid mitte.

Siin on, kuidas juhtida, mida GPTBot teie veebisaidil teha saab.

Blokeerige GPTBot täielikult oma veebisaidile juurde pääsemast

  1. Seadistage fail robot.txt ja seejärel redigeerige seda mis tahes tekstitöötlustööriistaga.
  2. Lisage GPTBot oma saidile robots.txt järgnevalt:
 User-agent: GPTBot 
Disallow: /

Blokeerige GPTBotile juurdepääs ainult teatud lehtedele

  1. Seadistage robot.txt faili ja seejärel redigeerige seda eelistatud tekstitöötlustööriistaga.
  2. Lisage GPTBot oma saidile robots.txt järgnevalt:
 User-agent: GPTBot 
Allow: /directory-1/ 
Disallow: /directory-2/

Siiski pidage meeles, et muutes robot.txt fail ei ole tagasiulatuv lahendus ja teavet, mille GPTBot võib teie veebisaidilt juba koguda, ei saa taastada.



käivitage Windows 95 mängud Windows 10 -s

OpenAI võimaldab veebisaitide omanikel roomamisest loobuda

Alates sellest ajast, kui AI mudelite koolitamiseks on kasutatud roomajaid, on veebisaitide omanikud otsinud võimalusi oma andmete privaatseks hoidmiseks.

Mõned kardavad, et tehisintellekti mudelid varastavad põhimõtteliselt nende tööd, isegi omistades vähem veebisaitide külastusi tõsiasjale, et nüüd saavad kasutajad oma teavet ilma, et nad peaksid oma veebisaite külastama.

Kokkuvõttes on täiesti teie valik, kas soovite AI-vestlusbotite veebisaitide skannimise täielikult blokeerida.