Otázky a odpovědi týkající se programování - elasticsearch

Jak config esrally metrické uložit tak, že je meta součástí rally-metriky-* lze nahrávat vzal na každý dotaz
Používám metrické uložit uložíte esrally výsledky. Některé z mých výsledků, "meta" zahrnuje "vzal" každého dotazu: "meta": { "plugins": [ "vector" ], "attribute_xpack.installed": "true", "source_revision": "053779d", "distribution_version": "6.3.2", "distribution_flavor": "default", "index": "trademark_multi", "took": 129, ...
elasticsearch
2021-11-24 06:53:44
logstash Očekává, že jedna z [ \\t\\r\\n], \"#\", \"vstup\", \"filtr\", \"výkon\" na řádku 1, sloupec 1 (1 bajt)",
Dostanu chybu na řádku 1 sloupec jeden, ale nevím, co se děje. Už jsem zkoušel pár věcí, co jsem našel v jiných příspěvcích: Změna z utf-8 na utf-8 BOM ANSI Změna na Linux LF a Windows CRLF přepisování celý soubor Ověřil jsem v notepad++ (zobrazit -> zobrazit všechny znaky), že tam nejsou žádné další symboly Dokonce jsem se snažil kopírování příklad, že logstash dává potrubí.yml Je to potrubí.yml, že Im pomocí -pipeline.id: KafkaES-process queue.type:persisted config.string: | input{ kafka{ bootstrap_servers => "localhost:9092" topics =>...
apache-kafka elasticsearch logstash
2021-11-23 23:36:36
Jak nastavit opakování na konflikt v Elastické vyhledávání pomocí klienta.hromadné metoda
Já používám klienta.hromadné metoda chcete-li vložit do elastické vyhledávání. Musím projít retry_on_conflict param v klientovi.hromadně dle dokumentu. https://www.elastic.co/guide/en/elasticsearch/reference/current/docs-update.html Níže uvedený kód jsem se snažil, ale zobrazí chybová zpráva. const options = { index: config.aws.es.index, body: bulkBody, retry_on_conflict: 5 // retryOnCflict: 5 (Tried this also) }; client.bulk(options, (err, { body }) => { if (err) { ...
Panely mají v Kibana dashboard pro řešení problémů aplikací
jaké jsou některé dobré panely byly v kibana vizualizace pro vývojáře k řešení problémů v žádosti? Snažím se vytvořit řídicí panel, který vývojáři mohou použít k určení, kam aplikace je s problémy. Tak, aby mohli vyřešit. To jsou některé faktory, které považuji za : Cpu modul, využití paměti modulu, sítě a ven, aplikační protokoly jsou ty, které mám na mysli. Jiné panely bych mohl přidat tak, že vývojáři mohli získat představu, kde chcete zkontrolovat, pokud se něco pokazí v aplikaci. Například, aplikace pomalost by mohlo být, protože vysoká spotřeba cpu, aplikace spadne...
Elasticsearch výjimkou neuznané parametr ccs_minimize_roundtrips
Já jsem dostat následující chybu při vyhledávání dat z elasticsearch přes spring data jpa 23-11-2021 19:51:20.699 [http-nio-8990-exec-2] ERROR o.a.c.c.C.[.[.[.[dispatcherServlet] - Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is ElasticsearchStatusException[Elasticsearch exception [type=illegal_argument_exception, reason=request [/dummy/_doc/_search] contains unrecognized parameter: [ccs_minimize_roundtrips]]]] with root cause Tady je můj maven závislosti <dependency> ...
Jak zvýšit velikost odpovědi v elasticsearch s jaro-data pomocí @Dotazu anotace?
V současné době níže dotaz je pouze vrácením 10 hledání hity. Chci zvýšit na 100. Jak na to?? @Query("{\"match\": {\"metaData.transcript1\": {\"query\": \"?0\",\"fuzziness\": \"AUTO\",\"prefix_length\": \"0\",\"max_expansions\": \"100\",\"boost\": \"1.0\"}}}") @Highlight(fields = {@HighlightField(name = "metaData.transcript1")}, parameters = @HighlightParameters( preTags = "<em>", postT...
elasticsearch java java-8 spring
2021-11-23 13:54:48
nelze vytvořit vlastní analyzátor elaticsearch
Snažím se vytvořit vlastní analyzátor v elasticsearch. zde je analyzátor { "settings": { "analysis": { "analyzer": { "my_analyzer": { "tokenizer" : "standard", "filter" : ["custom_stopper", "custom_stems", "custom_synonyms"] }, "filter" : { "custom_stopper" : { "type" : "stop", "stopwords_path" : "analyze/stopwords.txt&q...
elasticsearch kibana java-8 spring
2021-11-23 13:06:23
Jak přidat název země pole založené na mobilní číslo pomocí Mobile_Number pomocí logstash
Mám záznamy v txt souboru obsahuje pole níže. Chci extrahovat kód země z mobilního telefonu, a vytvořit (překládat) do nového pole s názvem země. Ověřil jsem to přeložit filtr, ale ne dostat, jak získat kód země číslice mobilního čísla oblasti používat na přeložit filtr. 20 je kód země pro Egypt,971 je kód země pro bahrajn.Chci, aby to pro všechny země kód. Pls, navrhnout mě, jestli je to proveditelné pro alespoň jeden kód země tak, že to může přeložit pro ostatní a jako všechny kódy zemí jsou jedinečné. log- Mobile_Number: 201123123123User_id<....> Mobile_Numb...
Pružné vyhledávání, vytvořte si vlastní analyzátor pomocí Python klient HTTP 400 problému
Snažím se vytvořit vlastní analyzátor s pružné vyhledávání python klient. Jsem s odkazem na tento článek v elastické vyhledávání dokumentace. elastické docs článek Když jsem se poslat DAL žádost s následujícími JSON nastavení odešle 200 Úspěch. PUT my-index-000001 { "settings": { "analysis": { "analyzer": { "my_custom_analyzer": { "char_filter": [ "emoticons" ], "tokenizer": "punctuation", "filter": [ ...
Jak vytvořit ElasticSearch Index jako curl
Mám následující dotaz, chcete-li vytvořit index: curl -X PUT "http://localhost:9200/my-index-000002?pretty" -H 'Content-Type: application/json' -d' { "mappings": { "athlete": { "properties": { "birthdate": { "type": "date", "format": "dateOptionalTime" }, "location": { "type": "geo_point" }, "name": { "type": ...
Nastavit řetězec json vlastní dotaz elastický dotaz, java RestHighLevelClient
Používám RestHighLevelClient a jsem čelí některé problémy. Z přední konec, budu dostávat json Řetězec jako, že: {"query":{"term":{"something.keyword":"something"}}} a musím dodat, že Řetězec SearchRequest nebo, lépe, vytvořit SearchRequest z json výše Jak bych to mohl udělat bez vytvoření parseru a vytvořit programově na QueryBuilder přidat do searchRequest? EDIT: Už jsem to zkoušel obal dotaz, ale provedení tohoto dotazu: { "query": { "wrapper": { "query": "eyJxdWVyeSI6eyJ0ZXJtIjp7I...
ElasticSearch - Kombinace Dotazů pro 4 oddělené náhodně sourted skupin?
Jsem poměrně nový na elasticsearch (i když s trochu kousavou SQL zkušenost) a jsem v současné době potýká s uvedením správného dotazu spolu. Mám 2 booleovské pole isPlayer a isEvil se, že položka je buď true nebo false na. Na základě toho se chci rozdělit mých údajů do 4 skupin: isPlayer: pravda, isEvil: true isPlayer: pravda, isEvil: false isPlayer: false, isEvil: true isPlayer: false, isEvil: false Tyto skupiny chci, aby se náhodně třídění v sobě, pak se připojit je k být jeden dlouhý seznam, který můžu vložit. Rád bych k tomu, že uvnitř dotaz, jak to vypadá "správný...
Kibana představit, počítat délku pole
Mám dokumenty, jako je tento TradeInfoList obsahuje 3 záznamy. Otázka je, jak počítat to ve vizualizaci modul. Jako já mám dva dokumenty, jeden z nich dostal 2 Obchodní Info, ještě jeden mám 3 Obchodní Info, chci, aby součet jejich a ukázat 5 ve vizualizaci. Jak bych to mohl udělat, musím to zkusit scénář pole, zdá se, nefunguje.
Jaro elastické : Co je správný způsob, jak používat vnořené pole?
Jsem docela nový ElasticSearch. Pracuji na projektu, kde musíme hledat pro objekt (Nabídka), která obsahuje Sadu dvou (OfferTranslation). Cílem je, aby výzkum založený na některé z Nabídky oborů, ale také hodně OfferTranslation pole. Zde je minified verze obou tříd : Offer.class (všimněte si, že jsem komentovaný soubor s @Pole(type= FieldType.Vnořené), tak i Vnořené dotazy, jak zmíněna v oficiální doc) : @org.springframework.data.elasticsearch.annotations.Document(indexName = "offer") @DynamicMapping(DynamicMappingValue.False) public class Offer implements Seri...
Elasticsearch odpovídající prvek v poli
Uvedeny tyto údaje: [ { "tags": [ "food" ] }, { "tags": [ "food features" ] } ] A index mapování { "mappings": { "properties": { "tags": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } } } } } } Jak mohu vytvořit dotaz, který vrací uzavřeno tagy [jídlo] a [jídlo funkce] ...
Jak mohu napsat dotaz na načtení dat z elasticsearch na základě stavu?
Chci načítat data z elastické vyhledávání na základě stavu. Pokud je stav aktivní/neaktivní chci, aby přinesla seznam údajů. Tady jsem připojený jeden záznam, například. Jak mohu získat to? { "took": 2, "timed_out": false, "_shards": { "total": 2, "successful": 2, "skipped": 0, "failed": 0 }, "hits": { "total": { "value": 1, "relation": "eq" }, "max_score": 1.0, "hits": [ { ...
elasticsearch kibana kibana-5 kibana-6
2021-11-22 05:43:28
S 1 index vs více index v Elastické zásobníku
Umožňuje předpokládat, že stav,, pokud budu mít 500k zaznamenává v posledních 15 minutách, což by bylo lepší pro můj elastické zásobníku, výkon S 10 index držet tyto 500k protokoly. S 1 index držet 500k protokoly s více střepy. Který pomáhá zlepšit mé palubní desce výkon může mi někdo pomoci ?
Potřebuji pomoc při provádění vyhledávání podle klíčových slov do Baňky se Baňka-msearch
Já používám verzi 3.9 python a snaží se vytvořit klíčové slovo vyhledávání, kde si uživatel může zadat řetězec klíčová slova, a to, že řetězec může být dotazovány proti databázi obsahující řetězce. Tam jsou žádné chyby kompilace a vše běží, ale výsledek dotazu není to, co očekávám. Místo vrací všechny řádky, které obsahují podobných slov do klíčových slov z popisu sloupec, vrátí dotaz v řetězcové formě. Tohle je můj init.py souboru: import os from flask import Flask from flask_sqlalchemy import SQLAlchemy from flask_msearch import Search ... app = Flask(__name__) searche...
elasticsearch flask python whoosh
2021-11-21 22:29:36
odesílání wso2am protokoly elasticsearch
chci poslat své wso2am záznamy k elasticsearch. hledal jsem a zjistil, že k tomu musím použít filebeat. ale nevím, jak na config můj filebeat.yml. nějaký nápad, jak config filebeat.yam?
elasticsearch filebeat wso2-am whoosh
2021-11-21 08:02:55
Elastické pořadí hledání podle více hodnot
Nařizuji mé výsledky vyhledávání elastické vyhledávání (created_at,rychlost,updated_at..), ale to, že výsledky bezvýznamnosti. druh dotazu, součástí je: [['_score' => ['order' => 'desc']],['created_at' => ['order' => 'desc']]]; Které druhy do _score a účinek created_at je opravdu nízká. Pokud to změním na [['created_at' => ['order' => 'desc']],['_score' => ['order' => 'desc']]]; výsledek by byl úplně jiný a jsou řazeny podle created_at a účinek _score je opravdu nízká. Potřebuju něco jako druh se vytvořil v s váhou 1 a řadit se _score s váhou 5, t...
elasticsearch filebeat wso2-am whoosh
2021-11-20 13:43:11
Elasticsearch clusteru nefunguje v roj (stack) , ale pracuje se skládat
mám elasticsearch & kibana docker compose soubor, který funguje pomocí docker compose up příkaz, ale nefunguje s docker stack deploy příkaz. Snažil jsem se pomocí sítě s překrytím řidiče stejně. Když jsem zkontrolovat clusteru zdraví pomocí curl localhost:9200/_cluster/healthjsem dostat následující chybu: {"error":{"root_cause":[{"type":"master_not_discovered_exception","reason":null}],"type":"master_not_discovered_exception","reason":null},"status":503} version: '3.4' services: es01: image: docker.elastic.co/elasticsearch/elasticsearch:7.15.2 hostname: es...
Jak moc se shluky musím použít v pružné stack?
Jsem zmatená, který přístup by bylo lepší mít jeden cluster s 12 uzly nebo s 3 kazetové se 4 uzly, každý v elastické zásobníku. Jaké jsou výhody a nevýhody jednoho clusteru? Má elastický za 3 clusteru tak daleko, jako já vím, že poplatek za uzlin, ale může mi někdo objasnit, které by být lepší přístup, a které by bylo nákladově efektivní řešení? Mám v plánu použít tyto uzly v mém clusteru : mistr data_content data_hot spolknout ml remote_cluster_client
Návrat horní pole na základě vnořené oblasti sumy v ElasticSearch
Jsem celkem ES začátečník a zajímalo by mě, jestli to, co chci udělat, je dokonce možné. Mám následující viewer index s následující mapování: "mappings": { "properties": { "id": {"type": "text"}, "name": {"type": "text"}, "location": {"type": "text"}, "viewed_videos": { //array of all the videos a viewer saw and their view counts "type": "nested", ...
Dotaz s NEBO/A uvnitř NEBO/A stav s Elasticsearch 7.x
Potřebujete Pomoci. Jak to udělat Query do Elasticsearch, jako je tento: SELECT * FROM tableA WHERE tableA.clm1 IN ('A','B') AND (tableA.clm2 IN ('C', 'D') OR tableA.clm3 IN ('E','F')) OR tableA.clm4 = 'Z' Děkuji.
ElasticSearch "A" nebo "prázdný"
Mám následující index index { "docs": { "mappings": { "text": { "properties": { "name": { "type": "text", "fields": { "keyword": { "type": "keyword", "ignore_above": 256 } } } "code": { "type": "text", "fields": { "keyword"...
Jak ke kopírování hodnoty z jednoho pole na jiné, pokud pole existuje, pomocí ingestnode potrubí
Chci vytvořit nové pole s názvem kubernetes.pod.jméno, pokud pole prometheus.štítky.modul existuje ve protokoly. Zjistil jsem, že z množiny procesor bych mohl zkopírovat hodnotu, která je přítomna ve prometheus.štítky.pod nové pole kubernetes.pod.jméno ale musím to udělat, podmíněně jako pod název pořád mění. Jak mám nastavit podmínku, že pokud pole prometheus.štítky.modul existuje, pak jen musím přidat nové pole s názvem kubernetes.pod.jméno (obojí má stejnou hodnotu) ctx.prometheus?.labels?.namespace== "name_of_namespace" mohl by být podobně můžeme udělat ct...
elasticsearch elk kibana elasticsearch
2021-11-18 16:58:25
Pandy objet-seznam datetime serie k datetime index
Jsem pomocí pole parametru na python-elasticsearch api k načtení některých dat z elasticsearch snaží analyzovat @timestamp ve formátu iso, pro použití v pandy datovém. fields = \ [{ "field": "@timestamp", "format": "strict_date_optional_time" }] Ve výchozím nastavení elasticsearch vrátit výsledky na pole-formát seznamu, jak je vidět v dokumentu: https://www.elastic.co/guide/en/elasticsearch/reference/current/search-fields.html The fields response always returns an array of values for each field, even when there...
dataframe datetime elasticsearch pandas
2021-11-18 16:37:23
elasticsearch-py: chyba pomocí async_bulk, index chybí z akce
V jeho docstring, elasticsearch.helpers.async_bulk sám sebe popisuje jako Pomocník pro :meth:~elasticsearch.AsyncElasticsearch.bulk api, které poskytuje více lidské přátelské rozhraní - to spotřebuje iterátor akcí a posílá je do elasticsearch na kousky. zdroj Souvislosti Byl jsem pomocí AsyncElasticsearch.bulk() úspěšně posílat pandy datové části rámců pro některé instance ES def _rec_to_actions(self, df): for record in df.to_dict(orient="records"): yield ('{ "index" : { "_index" : "%s" }}' % (self.index)) yie...
Jak Vložit nový uzel v elastické vnořené atributte
I popsat POC můj problém. Mám tento index mapování: { "properties": { "level_l": { "type": "nested", "properties": { "level_2-1": { "type": "keyword" }, "level_2-2":{ "type": "nested", "properties": { "level_3-1": { "type": "keyword&quo...
logstash vstup jdbc vzít mysql tinyint 0/1 jako boolean true/false
V mysql tabulce, má tinyint typ jako je tento, který právě obchod 0 nebo 1 hodnota jako is_mel:1. is_mel | tinyint(1) V Elasticsearch index mapování config is_mel jako celé číslo. Ale z logstash log, show je analyzovat is_mel jako logická hodnota true nebo false jako "is_mel":true, což povede k níže uvedené chyby, "type"=>"mapper_parsing_exception", "reason"=>"failed to parse field [is_mel] of type [integer] in document with id '392289'. Preview of field's value: 'true'"
elasticsearch input jdbc logstash
2021-11-18 06:50:46