# -------------------------------------------------------------------- # robots.txt for {http|https}://wo.uio.no/ # # User-agents: # InktomiProd = sok.uio.no # InktomiDev = cyclorrhapha.uio.no # (Nye UserAgent-id'er:) # UiOSearch = sok.uio.no # UiOSearchDev = cyclorrhapha.uio.no # # Changelog: # o Oppdatert mtp applikasjoner, tillater ekstern indeksering av # avis og nettlogg. [ksvee, 2004-10-04] # o Oppdatert for nye UserAgent-IDer på UiOs søkemotorer # [ksvee, 2006-10-23] # o La til sitemap link # [paalhmy, 2009-04-14] # o Lagt til mer nyanserte disallow regler for frida # [frankjs, 2009-04-20] # -------------------------------------------------------------------- # -------------------------------------------------------------------- # Config for prod-boksen (sok pr 2002-03-25): # -------------------------------------------------------------------- User-agent: InktomiProd # # Allow støttes ikke av de fleste søkemotorer. # Disse linjene ligger her bare for å si at disse URL'ene ikke # skal sperres fra indeksering. #Allow: /as/WebObjects/avis #Allow: /as/WebObjects/faq #Allow: /as/WebObjects/nettlogg #Allow: /as/WebObjects/programvare #Allow: /as/WebObjects/theses # # Stenge for Frida: Disallow: /as/WebObjects/frida.woa/wa/fres Disallow: /as/WebObjects/frida.woa/wa/presentasjonSok #Disallow: /as/WebObjects/frida.woa/wa/presentasjonVis Disallow: /as/WebObjects/frida.woa/wa/presentasjonAktivitet Disallow: /as/WebObjects/frida.woa/wo Disallow: /as/WebObjects/frida.woa/wa/registrering # # Stenge for disse: Disallow: /as/WebObjects/edittheses Disallow: /as/WebObjects/grunnoppl_it Disallow: /as/WebObjects/hfagsinnlevering Disallow: /as/WebObjects/malredigering Disallow: /as/WebObjects/medark Disallow: /as/WebObjects/metaredigering Disallow: /as/WebObjects/nettskjema Disallow: /as/WebObjects/tavle Disallow: /as/WebObjects/tidsskrifter Disallow: # -------------------------------------------------------------------- # Config for dev-boksen (cyc pr 2002-03-25): # -------------------------------------------------------------------- User-agent: InktomiDev # # Allow brukes bare for å si at det ikke skal sperres # for disse URL'ene (støttes ikke av mange roboter). #Allow: /as/WebObjects/avis #Allow: /as/WebObjects/faq #Allow: /as/WebObjects/nettlogg #Allow: /as/WebObjects/programvare #Allow: /as/WebObjects/theses # # Stenge for Frida: Disallow: /as/WebObjects/frida.woa/wa/fres Disallow: /as/WebObjects/frida.woa/wa/presentasjonSok #Disallow: /as/WebObjects/frida.woa/wa/presentasjonVis Disallow: /as/WebObjects/frida.woa/wa/presentasjonAktivitet Disallow: /as/WebObjects/frida.woa/wo Disallow: /as/WebObjects/frida.woa/wa/registrering # # Stenge for disse: Disallow: /as/WebObjects/edittheses Disallow: /as/WebObjects/grunnoppl_it Disallow: /as/WebObjects/hfagsinnlevering Disallow: /as/WebObjects/malredigering Disallow: /as/WebObjects/medark Disallow: /as/WebObjects/metaredigering Disallow: /as/WebObjects/nettskjema Disallow: /as/WebObjects/tavle Disallow: /as/WebObjects/tidsskrifter Disallow: # -------------------------------------------------------------------- # Config for UiOs søketjeneste (produksjon) # -------------------------------------------------------------------- User-agent: UiOSearch # # Allow støttes ikke av de fleste søkemotorer. # Disse linjene ligger her bare for å si at disse URL'ene ikke # skal sperres fra indeksering. #Allow: /as/WebObjects/avis #Allow: /as/WebObjects/faq #Allow: /as/WebObjects/nettlogg #Allow: /as/WebObjects/programvare #Allow: /as/WebObjects/theses # # Stenge for Frida: Disallow: /as/WebObjects/frida.woa/wa/fres Disallow: /as/WebObjects/frida.woa/wa/presentasjonSok #Disallow: /as/WebObjects/frida.woa/wa/presentasjonVis Disallow: /as/WebObjects/frida.woa/wa/presentasjonAktivitet Disallow: /as/WebObjects/frida.woa/wo Disallow: /as/WebObjects/frida.woa/wa/registrering # # Stenge for disse: Disallow: /as/WebObjects/edittheses Disallow: /as/WebObjects/grunnoppl_it Disallow: /as/WebObjects/hfagsinnlevering Disallow: /as/WebObjects/malredigering Disallow: /as/WebObjects/medark Disallow: /as/WebObjects/metaredigering Disallow: /as/WebObjects/nettskjema Disallow: /as/WebObjects/tavle Disallow: /as/WebObjects/tidsskrifter Disallow: # -------------------------------------------------------------------- # Config for UiOs søketjeneste (utvikling) # -------------------------------------------------------------------- User-agent: UiOSearchDev # # Allow brukes bare for å si at det ikke skal sperres # for disse URL'ene (støttes ikke av mange roboter). #Allow: /as/WebObjects/avis #Allow: /as/WebObjects/faq #Allow: /as/WebObjects/nettlogg #Allow: /as/WebObjects/programvare #Allow: /as/WebObjects/theses # # Stenge for Frida: Disallow: /as/WebObjects/frida.woa/wa/fres Disallow: /as/WebObjects/frida.woa/wa/presentasjonSok #Disallow: /as/WebObjects/frida.woa/wa/presentasjonVis Disallow: /as/WebObjects/frida.woa/wa/presentasjonAktivitet Disallow: /as/WebObjects/frida.woa/wo Disallow: /as/WebObjects/frida.woa/wa/registrering # # Stenge for disse: Disallow: /as/WebObjects/edittheses Disallow: /as/WebObjects/grunnoppl_it Disallow: /as/WebObjects/hfagsinnlevering Disallow: /as/WebObjects/malredigering Disallow: /as/WebObjects/medark Disallow: /as/WebObjects/metaredigering Disallow: /as/WebObjects/nettskjema Disallow: /as/WebObjects/tavle Disallow: /as/WebObjects/tidsskrifter Disallow: # -------------------------------------------------------------------- # Alle andre søkemotore: # -------------------------------------------------------------------- User-agent: * # # Allow brukes bare for å si at det ikke skal sperres # for disse URL'ene (støttes ikke av mange roboter). #Allow: /as/WebObjects/avis #Allow: /as/WebObjects/nettlogg # # Stenge for Frida Disallow: /as/WebObjects/frida.woa/wa/fres Disallow: /as/WebObjects/frida.woa/wa/presentasjonSok #Disallow: /as/WebObjects/frida.woa/wa/presentasjonVis Disallow: /as/WebObjects/frida.woa/wa/presentasjonAktivitet Disallow: /as/WebObjects/frida.woa/wo Disallow: /as/WebObjects/frida.woa/wa/registrering # # Stenge for disse Disallow: /as/WebObjects/edittheses Disallow: /as/WebObjects/faq Disallow: /as/WebObjects/grunnoppl_it Disallow: /as/WebObjects/hfagsinnlevering Disallow: /as/WebObjects/malredigering Disallow: /as/WebObjects/medark Disallow: /as/WebObjects/metaredigering Disallow: /as/WebObjects/nettskjema Disallow: /as/WebObjects/programvare Disallow: /as/WebObjects/tavle #Disallow: /as/WebObjects/theses Disallow: /as/WebObjects/tidsskrifter Disallow: # -------------------------------------------------------------------- # sitemap til frida # -------------------------------------------------------------------- Sitemap: http://wo.uio.no/sitemap.xml # -------------------------------------------------------------------- # EOF # --------------------------------------------------------------------