mirror of
https://github.com/searxng/searxng
synced 2024-01-01 19:24:07 +01:00
[fix] startpage engine: language/region & time support & fix CAPTCHA
One reason for the often seen CAPTCHA of the startpage requests are the incomplete requests SearXNG sends to startpage.com. To avoid CAPTCHA we need to send a well formed HTTP POST request with a cookie, we need to form a request that is identical to the request build by startpage.com itself: - in the cookie the **region** is selected - in the POST arguments the **language** is selected Based on the *engine_properties* boilerplate, SearXNG's startpage engine now implements a `_fetch_engine_properties()` function to fetch regions & languages from startpage.com. This patch is a complete new implementation of the request() function, reversed engineered from the startpage.com page. The new implementation adds - time-range support - save-search support to the startpage engine which has been missed in the past. Closes: https://github.com/searxng/searxng/issues/1081 Signed-off-by: Markus Heiser <markus.heiser@darmarit.de>
This commit is contained in:
Markus Heiser
parent
4a28a5e6f6
commit
9c68980ea1
3 changed files with 317 additions and 328 deletions
|
|
@ -1561,255 +1561,140 @@
|
|||
"zh-HK"
|
||||
],
|
||||
"startpage": {
|
||||
"af": {
|
||||
"alias": "afrikaans"
|
||||
},
|
||||
"am": {
|
||||
"alias": "amharic"
|
||||
},
|
||||
"ar": {
|
||||
"alias": "arabic"
|
||||
},
|
||||
"az": {
|
||||
"alias": "azerbaijani"
|
||||
},
|
||||
"be": {
|
||||
"alias": "belarusian"
|
||||
},
|
||||
"bg": {
|
||||
"alias": "bulgarian"
|
||||
},
|
||||
"bn": {
|
||||
"alias": "bengali"
|
||||
},
|
||||
"bs": {
|
||||
"alias": "bosnian"
|
||||
},
|
||||
"ca": {
|
||||
"alias": "catalan"
|
||||
},
|
||||
"cs": {
|
||||
"alias": "czech"
|
||||
},
|
||||
"cy": {
|
||||
"alias": "welsh"
|
||||
},
|
||||
"da": {
|
||||
"alias": "dansk"
|
||||
},
|
||||
"de": {
|
||||
"alias": "deutsch"
|
||||
},
|
||||
"el": {
|
||||
"alias": "greek"
|
||||
},
|
||||
"en": {
|
||||
"alias": "english"
|
||||
},
|
||||
"en-GB": {
|
||||
"alias": "english_uk"
|
||||
},
|
||||
"eo": {
|
||||
"alias": "esperanto"
|
||||
},
|
||||
"es": {
|
||||
"alias": "espanol"
|
||||
},
|
||||
"et": {
|
||||
"alias": "estonian"
|
||||
},
|
||||
"eu": {
|
||||
"alias": "basque"
|
||||
},
|
||||
"fa": {
|
||||
"alias": "persian"
|
||||
},
|
||||
"fi": {
|
||||
"alias": "suomi"
|
||||
},
|
||||
"fo": {
|
||||
"alias": "faroese"
|
||||
},
|
||||
"fr": {
|
||||
"alias": "francais"
|
||||
},
|
||||
"fy": {
|
||||
"alias": "frisian"
|
||||
},
|
||||
"ga": {
|
||||
"alias": "irish"
|
||||
},
|
||||
"gd": {
|
||||
"alias": "gaelic"
|
||||
},
|
||||
"gl": {
|
||||
"alias": "galician"
|
||||
},
|
||||
"gu": {
|
||||
"alias": "gujarati"
|
||||
},
|
||||
"he": {
|
||||
"alias": "hebrew"
|
||||
},
|
||||
"hi": {
|
||||
"alias": "hindi"
|
||||
},
|
||||
"hr": {
|
||||
"alias": "croatian"
|
||||
},
|
||||
"hu": {
|
||||
"alias": "hungarian"
|
||||
},
|
||||
"ia": {
|
||||
"alias": "interlingua"
|
||||
},
|
||||
"id": {
|
||||
"alias": "indonesian"
|
||||
},
|
||||
"is": {
|
||||
"alias": "icelandic"
|
||||
},
|
||||
"it": {
|
||||
"alias": "italiano"
|
||||
},
|
||||
"ja": {
|
||||
"alias": "nihongo"
|
||||
},
|
||||
"jv": {
|
||||
"alias": "javanese"
|
||||
},
|
||||
"ka": {
|
||||
"alias": "georgian"
|
||||
},
|
||||
"kn": {
|
||||
"alias": "kannada"
|
||||
},
|
||||
"ko": {
|
||||
"alias": "hangul"
|
||||
},
|
||||
"la": {
|
||||
"alias": "latin"
|
||||
},
|
||||
"lt": {
|
||||
"alias": "lithuanian"
|
||||
},
|
||||
"lv": {
|
||||
"alias": "latvian"
|
||||
},
|
||||
"mai": {
|
||||
"alias": "bihari"
|
||||
},
|
||||
"mk": {
|
||||
"alias": "macedonian"
|
||||
},
|
||||
"ml": {
|
||||
"alias": "malayalam"
|
||||
},
|
||||
"mr": {
|
||||
"alias": "marathi"
|
||||
},
|
||||
"ms": {
|
||||
"alias": "malay"
|
||||
},
|
||||
"mt": {
|
||||
"alias": "maltese"
|
||||
},
|
||||
"nb": {
|
||||
"alias": "norsk"
|
||||
},
|
||||
"ne": {
|
||||
"alias": "nepali"
|
||||
},
|
||||
"nl": {
|
||||
"alias": "nederlands"
|
||||
},
|
||||
"oc": {
|
||||
"alias": "occitan"
|
||||
},
|
||||
"pa": {
|
||||
"alias": "punjabi"
|
||||
},
|
||||
"pl": {
|
||||
"alias": "polski"
|
||||
},
|
||||
"pt": {
|
||||
"alias": "portugues"
|
||||
},
|
||||
"ro": {
|
||||
"alias": "romanian"
|
||||
},
|
||||
"ru": {
|
||||
"alias": "russian"
|
||||
},
|
||||
"si": {
|
||||
"alias": "sinhalese"
|
||||
},
|
||||
"sk": {
|
||||
"alias": "slovak"
|
||||
},
|
||||
"sl": {
|
||||
"alias": "slovenian"
|
||||
},
|
||||
"sq": {
|
||||
"alias": "albanian"
|
||||
},
|
||||
"sr": {
|
||||
"alias": "serbian"
|
||||
},
|
||||
"su": {
|
||||
"alias": "sudanese"
|
||||
},
|
||||
"sv": {
|
||||
"alias": "svenska"
|
||||
},
|
||||
"sw": {
|
||||
"alias": "swahili"
|
||||
},
|
||||
"ta": {
|
||||
"alias": "tamil"
|
||||
},
|
||||
"te": {
|
||||
"alias": "telugu"
|
||||
},
|
||||
"th": {
|
||||
"alias": "thai"
|
||||
},
|
||||
"ti": {
|
||||
"alias": "tigrinya"
|
||||
},
|
||||
"tl": {
|
||||
"alias": "tagalog"
|
||||
},
|
||||
"tr": {
|
||||
"alias": "turkce"
|
||||
},
|
||||
"uk": {
|
||||
"alias": "ukrainian"
|
||||
},
|
||||
"ur": {
|
||||
"alias": "urdu"
|
||||
},
|
||||
"uz": {
|
||||
"alias": "uzbek"
|
||||
},
|
||||
"vi": {
|
||||
"alias": "vietnamese"
|
||||
},
|
||||
"xh": {
|
||||
"alias": "xhosa"
|
||||
},
|
||||
"zh": {
|
||||
"alias": "jiantizhongwen"
|
||||
},
|
||||
"zh-HK": {
|
||||
"alias": "fantizhengwen"
|
||||
},
|
||||
"zh-TW": {
|
||||
"alias": "fantizhengwen"
|
||||
},
|
||||
"zu": {
|
||||
"alias": "zulu"
|
||||
}
|
||||
"languages": {
|
||||
"af": "afrikaans",
|
||||
"am": "amharic",
|
||||
"ar": "arabic",
|
||||
"az": "azerbaijani",
|
||||
"be": "belarusian",
|
||||
"bg": "bulgarian",
|
||||
"bn": "bengali",
|
||||
"bs": "bosnian",
|
||||
"ca": "catalan",
|
||||
"cs": "czech",
|
||||
"cy": "welsh",
|
||||
"da": "dansk",
|
||||
"de": "deutsch",
|
||||
"el": "greek",
|
||||
"en": "english_uk",
|
||||
"eo": "esperanto",
|
||||
"es": "espanol",
|
||||
"et": "estonian",
|
||||
"eu": "basque",
|
||||
"fa": "persian",
|
||||
"fi": "suomi",
|
||||
"fo": "faroese",
|
||||
"fr": "francais",
|
||||
"fy": "frisian",
|
||||
"ga": "irish",
|
||||
"gd": "gaelic",
|
||||
"gl": "galician",
|
||||
"gu": "gujarati",
|
||||
"he": "hebrew",
|
||||
"hi": "hindi",
|
||||
"hr": "croatian",
|
||||
"hu": "hungarian",
|
||||
"ia": "interlingua",
|
||||
"id": "indonesian",
|
||||
"is": "icelandic",
|
||||
"it": "italiano",
|
||||
"ja": "nihongo",
|
||||
"jv": "javanese",
|
||||
"ka": "georgian",
|
||||
"kn": "kannada",
|
||||
"ko": "hangul",
|
||||
"la": "latin",
|
||||
"lt": "lithuanian",
|
||||
"lv": "latvian",
|
||||
"mai": "bihari",
|
||||
"mk": "macedonian",
|
||||
"ml": "malayalam",
|
||||
"mr": "marathi",
|
||||
"ms": "malay",
|
||||
"mt": "maltese",
|
||||
"nb": "norsk",
|
||||
"ne": "nepali",
|
||||
"nl": "nederlands",
|
||||
"oc": "occitan",
|
||||
"pa": "punjabi",
|
||||
"pl": "polski",
|
||||
"pt": "portugues",
|
||||
"ro": "romanian",
|
||||
"ru": "russian",
|
||||
"si": "sinhalese",
|
||||
"sk": "slovak",
|
||||
"sl": "slovenian",
|
||||
"sq": "albanian",
|
||||
"sr": "serbian",
|
||||
"su": "sudanese",
|
||||
"sv": "svenska",
|
||||
"sw": "swahili",
|
||||
"ta": "tamil",
|
||||
"te": "telugu",
|
||||
"th": "thai",
|
||||
"ti": "tigrinya",
|
||||
"tl": "tagalog",
|
||||
"tr": "turkce",
|
||||
"uk": "ukrainian",
|
||||
"ur": "urdu",
|
||||
"uz": "uzbek",
|
||||
"vi": "vietnamese",
|
||||
"xh": "xhosa",
|
||||
"zh": "jiantizhongwen",
|
||||
"zh_Hant": "fantizhengwen",
|
||||
"zu": "zulu"
|
||||
},
|
||||
"regions": {
|
||||
"ar-EG": "ar_EG",
|
||||
"bg-BG": "bg_BG",
|
||||
"ca-ES": "ca_ES",
|
||||
"cs-CZ": "cs_CZ",
|
||||
"da-DK": "da_DK",
|
||||
"de-AT": "de_AT",
|
||||
"de-CH": "de_CH",
|
||||
"de-DE": "de_DE",
|
||||
"el-GR": "el_GR",
|
||||
"en-AU": "en_AU",
|
||||
"en-CA": "en_CA",
|
||||
"en-GB": "en-GB_GB",
|
||||
"en-IE": "en_IE",
|
||||
"en-MY": "en_MY",
|
||||
"en-NZ": "en_NZ",
|
||||
"en-US": "en_US",
|
||||
"en-ZA": "en_ZA",
|
||||
"es-AR": "es_AR",
|
||||
"es-CL": "es_CL",
|
||||
"es-ES": "es_ES",
|
||||
"es-US": "es_US",
|
||||
"es-UY": "es_UY",
|
||||
"fi-FI": "fi_FI",
|
||||
"fil-PH": "fil_PH",
|
||||
"fr-BE": "fr_BE",
|
||||
"fr-CA": "fr_CA",
|
||||
"fr-CH": "fr_CH",
|
||||
"fr-FR": "fr_FR",
|
||||
"hi-IN": "hi_IN",
|
||||
"it-CH": "it_CH",
|
||||
"it-IT": "it_IT",
|
||||
"ja-JP": "ja_JP",
|
||||
"ko-KR": "ko_KR",
|
||||
"ms-MY": "ms_MY",
|
||||
"nb-NO": "no_NO",
|
||||
"nl-BE": "nl_BE",
|
||||
"nl-NL": "nl_NL",
|
||||
"pl-PL": "pl_PL",
|
||||
"pt-BR": "pt-BR_BR",
|
||||
"pt-PT": "pt_PT",
|
||||
"ro-RO": "ro_RO",
|
||||
"ru-BY": "ru_BY",
|
||||
"ru-RU": "ru_RU",
|
||||
"sv-SE": "sv_SE",
|
||||
"tr-TR": "tr_TR",
|
||||
"zh-CN": "zh-CN_CN",
|
||||
"zh-HK": "zh-TW_HK",
|
||||
"zh-TW": "zh-TW_TW"
|
||||
},
|
||||
"type": "engine_properties"
|
||||
},
|
||||
"wikidata": {
|
||||
"ab": {
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue