Pandy objet-seznam datetime serie k datetime index

0

Otázka

Jsem pomocí pole parametru na python-elasticsearch api k načtení některých dat z elasticsearch snaží analyzovat @timestamp ve formátu iso, pro použití v pandy datovém.

fields = \
    [{
      "field": "@timestamp",
      "format": "strict_date_optional_time"
    }]

Ve výchozím nastavení elasticsearch vrátit výsledky na pole-formát seznamu, jak je vidět v dokumentu:

https://www.elastic.co/guide/en/elasticsearch/reference/current/search-fields.html

The fields response always returns an array of values for each field, even when there is a single value in the _source. 

Vzhledem k této výsledné datovém obsahuje objekt-seznam serie, která nemůže být analyzován datetime serie konvenčními metodami.

Name: fields.@timestamp, Length: 18707, dtype: object
0       [2021-11-04T01:30:00.263Z]
1       [2021-11-04T01:30:00.385Z]
2       [2021-11-04T01:30:00.406Z]
3       [2021-11-04T01:30:00.996Z]
4       [2021-11-04T01:30:01.001Z]
                   ...            
8368    [2021-11-04T02:00:00.846Z]
8369    [2021-11-04T02:00:00.894Z]
8370    [2021-11-04T02:00:00.895Z]
8371    [2021-11-04T02:00:00.984Z]
8372    [2021-11-04T02:00:00.988Z]

Když se snaží analyzovat serie k datetime serie:

pd.to_datetime(["fields.@timestamp"])

Že výsledek v:

TypeError: <class 'list'> is not convertible to datetime

Můj případ použití vyžaduje hodně datetime formátů a pole parametr vyhovuje velmi dobře dotazování více formátů, ale na uvedených objekt datetime string těžké věci.

dataframe datetime elasticsearch pandas
2021-11-18 16:37:23
1

Nejlepší odpověď

1

Problém je, že položky fields.@timestamp jsou vlastně seznamy.

Takže byste mohli udělat :

fields['timestamp'] = fields['timestamp'].str[0]

extrahovat data ze seznamu, a pak použít pd.to_datetime :

fields['timestamp'] = pd.to_datetime(fields['timestamp'])
2021-11-18 17:01:03

V jiných jazycích

Tato stránka je v jiných jazycích

Русский
..................................................................................................................
Italiano
..................................................................................................................
Polski
..................................................................................................................
Română
..................................................................................................................
한국어
..................................................................................................................
हिन्दी
..................................................................................................................
Français
..................................................................................................................
Türk
..................................................................................................................
Português
..................................................................................................................
ไทย
..................................................................................................................
中文
..................................................................................................................
Español
..................................................................................................................
Slovenský
..................................................................................................................