Wie kann man statistische Datensätze (.xls/.csv) umwandeln/nutzen?

Question

Ich arbeite mit statistischen Daten zu verschiedenen Themen, wie beispielsweise diese Daten. Diese möchte ich downloaden und gerne in meinem Dokument verwenden. Die Datensätze lassen sich u.a. in *.xls oder *.csv herunterladen. Wie kann ich diese mehr oder weniger unverändert in LaTeX umwandeln? Bislang habe ich die Daten als Graphik exportiert und eingebunden. Allerdings sieht das m. E. nicht so gut aus. Hat hierzu jmd. eine Idee oder Vorlage?

Dank @Henri s Lösungvorschlag habe ich eine Lösung für einen Datensatz. Ich habe anhand dem Code versucht dies auf einen anderen zu übertragen und den Workflow, auch mit sed, durchgeführt. Hab aber anscheinend die Funktionsweise von pgfplots nicht durchdrungen. Für mich ist das alles recht hartes Brot. Den Datensatz habe ich wie als CSV (,) heruntergeladen, mit

Open in Online-Editor

tischa@tischa:~$ sed -i 's/"//g; s/%//g; 195d' /home/tischa/Arbeitsflaeche/inflation.csv

Accepted Answer

5

Ich habe mir die Daten als CSV (,) heruntergeladen und mit dem GNU/Linux-Tool sed folgende Ersetzungen ausgeführt:

sed -i 's/"//g; s/%//g; 2003,2005d' cbis-interest-rates.csv

s/"//g = Ersetze alle " durch nichts.
s/%//g = Ersetze alle % durch nichts.
2003,2005d = Lösche die Zeilen 2003–2005 (nicht Jahre, sondern Zeilen in der Datei).

Der Hintergrund ist, dass pgfplots den Text in Anführungszeichen nicht parsen kann. Außerdem wird die Datei mit normalen catcodes gelesen, d.h. % macht einen Kommentar bis zum Ende der Zeile. Am Ende der Datei stand noch der Titel “CBI's interest rates”, den kann man natürlich auch nicht plotten.

Nach diesen Ersetzungen war es ein leichtes mit der Bibliothek dateplot die x-Koordinaten als Datum einzulesen und ansprechend zu formatieren. Mit col sep=comma wird der Spaltentrenner gesetzt und x=… und y=… wählen die zu plottende Spalte aus.

Open in Online-Editor

\documentclass{article}
\usepackage{pgfplots}
\usepgfplotslibrary{dateplot}
\begin{document}
\begin{tikzpicture}
  \begin{axis}[
    date coordinates in=x,
    no marks,
    xlabel=Date,
    xticklabel={\year},
    xtick={2008-01-01,2010-01-01,2012-01-01,2014-01-01,2016-01-01},
    ylabel={Rate [\%]},
    ]
    \addplot table[col sep=comma,x=Date,y={Overnight CBI rates}] {cbis-interest-rates.csv};
    \addlegendentry{Overnight CBI rates};
    \addplot table[col sep=comma,x=Date,y={CBI current account rates}] {cbis-interest-rates.csv};
    \addlegendentry{CBI current account rates};
  \end{axis}
\end{tikzpicture}
\end{document}

Mit ein wenig Spielerei:

Open in Online-Editor

\documentclass[tikz]{standalone}
\usepackage{pgfplots}
\usepgfplotslibrary{dateplot}
\begin{document}
\sffamily
\begin{tikzpicture}
  \begin{axis}[
    date coordinates in=x,
    no marks,
    width=12cm,height=6cm,
    enlargelimits=false,
    xticklabel={\year},
    xtick={2009-01-01,2010-01-01,2011-01-01,2012-01-01,2013-01-01,2014-01-01,2015-01-01,2016-01-01},
    xtick pos=left,
    xtick align=outside,
    ymin=0,ymax=28,
    ytick={0,4,...,28},
    yticklabel={\pgfmathprintnumber[verbatim]{\tick}\%},
    ytick style={draw=none},
    yticklabel pos=right,
    ymajorgrids=true,
    legend style={
      draw=none,
      legend cell align=left,
      at={(1.12,1.05)},
      anchor=north west,
      legend image code/.code={
        \filldraw[##1] (-.5ex,-.5ex) rectangle (1ex,1ex);
      }
    }
    ]
    \addplot table[col sep=comma,x=Date,y={Overnight CBI rates}] {cbis-interest-rates.csv};
    \addlegendentry{Overnight CBI rates};
    \addplot table[col sep=comma,x=Date,y={CBI current account rates}] {cbis-interest-rates.csv};
    \addlegendentry{CBI current account rates};
  \end{axis}
\end{tikzpicture}
\end{document}

Permanenter link

beantwortet 10 Jan '16, 23:15

Henri
15.7k●13●39●43
Akzeptiert-Rate: 46%

bearbeitet 10 Jan '16, 23:57

Vielen Dank für die Vorlage. Wenn ich den Code in meine Date einpflege, erhalte ich folgende Fehlermeldung.

`! Undefined control sequence. pgfplots@loc@TMPc ...pgfplots@calender@ZEROSHIFT relax ifx pgfplotstempt... l.144 ]

! Package pgfplots Error: Sorry, could not retrieve column 'Overnight CBI rates ' from table '\pgfplotstableread@filename@@table@name '. Please check spelling (or introduce name aliases)..

l.145 ...ight CBI rates}] {cbisinterestrates.csv};`

(11 Jan '16, 16:42) Tischa

@Tischa Ich kann dir gerne die Fehlermeldung übersetzen. Die Spalte mit dem Titel “Overnight CBI rates” wurde offensichtlich nicht in der Datei cbisinterestrates.csv gefunden. Warum, kann ich ohne Beispiel nicht sagen.

(11 Jan '16, 17:07) Henri

Hm. Ich hab die Datei auch im CSV (,) heruntergeladen. Dann im Terminal sed -i 's/"//g; s/%//g; 2003,2005d' /home/tischa/Arbeitsflaeche/cbis-interest-rates.csv durchgeführt und in einer Testdatei Deinen Code eins zu eins kopiert und kompiliert und erhalte dann die Fehlermeldung. ! Undefined control sequence. pgfplots@loc@TMPc ...pgfplots@calender@ZEROSHIFT relax ifx pgfplotstempt... l.31 ] und

(11 Jan '16, 18:44) Tischa

PGFPlots: reading {cbis-interest-rates.csv} Package pgfplots info on input line 32: dateplot: setting 'date ZERO={2008-01-0 7}' for this axis. Missing character: There is no ; in font nullfont! PGFPlots: reading {cbis-interest-rates.csv} Missing character: There is no ; in font nullfont! ! Dimension too large. relax l.36 end{axis}

(11 Jan '16, 18:44) Tischa

@Tischa Hast du an meinem Code wirklich absolut nichts verändert? Wenn das der Fall ist musst du eventuell ein Update von TeXlive machen.

(11 Jan '16, 18:58) Henri

@Nein. Zuerst hatte ich es in meinem eigentlichen Dokument eingepflegt und dann nur den Dateinamen der .csv geändert (natürlich mit demselben Dateinnamen im Code und die Datei selbst). Als das nicht funktioniert hat, hab ich ne Testdatei mit Deinem Code und eine Datei mit genau demselben Namen wie Deinem Code angelegt, und das einzige was ich problemlos kann. c+p. Der Inhalt der .csv beginnt. Date,Overnight CBI rates,CBI current account rates 2008-01-07,15.25,13.25 2008-01-08,15.25,13.25

(11 Jan '16, 19:12) Tischa

tischa@tischa:~$ tex --version TeX 3.14159265 (TeX Live 2015) tischa@tischa:~$ sudo /opt/texbin/tlmgr update --alltlmgr: package repository http://ftp.snt.utwente.nl/pub/software/tex/systems/texlive/tlnet tlmgr: saving backups to /usr/local/texlive/2015/tlpkg/backups tlmgr: no updates available

(11 Jan '16, 19:12) Tischa

@Tischa: Hast Du beachtet, dass die Originaldaten zunächst (mit sed) vorverarbeitet werden müssen, wie von Henri erklärt?

(11 Jan '16, 19:49) saputello

@saputello. Ja. Ich denke schon, dass ich das richtig gemacht habe. Im Terminal mit tischa@tischa:~$ sed -i 's/"//g; s/%//g; 2003,2005d' /home/tischa/Arbeitsflaeche/cbis-interest-rates.csv

der die Grundstruktur der *.csv Datei wie oben aufgeführt geändert hat.

(11 Jan '16, 19:58) Tischa

@Tischa: Leider habe ich die cvs-Datei, die heute Nacht noch problemlos heruntergeladen werden konnte, wieder gelöscht und jetzt funktioniert die Seite bei mir nicht mehr: Ich kann zwar noch Daten auswählen, bekomme sie aber weder angezeigt, noch kann ich sie runterladen.

(11 Jan '16, 20:21) saputello

@saputello. Ich hatte ne Short-Url angelegt. http://data.is/1K7a7b0. Sollte funktionierten. Oder der vollständige Link. http://sedlabanki.datamarket.com/en/data/set/231e/cbis-interest-rates#!ds=231e!2epz=4.6&display=line&s=apn&f=rolling:2 Bei mir funktioniert sie noch.

(11 Jan '16, 20:55) Tischa

@Tischa: Ja, ich weiß, dass du eine Short-URL angegeben hattest. Aber gerade hat der Download nicht funktioniert. Egal: Füg mal bei axis die Option date ZERO=2009-01-01, mit ein, also bsp. \begin{axis}[date ZERO=2009-01-01,.

(11 Jan '16, 22:40) saputello

@saputello. Super, es funktioniert.:-D Vielen Dank. Nur noch ein Detail. Die Label ragen in meinem Hauptdokument in den Rand hinnein. Wie kann ich einen Zeilenumbruch bei den Label "CBI current account rates" setzen? Der Plot beginnt mit dem Jahr 2009. Ich hab xtick={2008-01-01,2009-01-01,---}, um mit dem Jahr 2008 beim Nullpunkt der x-Achse zu beginnen. Hat leider nicht funktioneirt.

(11 Jan '16, 23:13) Tischa

@Tischa: Der Nullpunkt wird durch date ZERO bestimmt.

(11 Jan '16, 23:55) saputello

@saputello: Muss ich dann date ZERO=2008-01-01 setzen? Das funktioniert leider nicht.

(12 Jan '16, 16:09) Tischa

Ergebnis 5 von 15 show 10 more comments

Answer 2

pgfplots erwartet als Datumsformat immer ein ISO-Datum der Form: Jahr-Monat-Tag, wobei das Jahr einschließlich dem Jahrhundert anzugeben ist. Monat und Tag können für Werte < 10 wahlweise mit oder ohne führende Null angegeben werden. Trotz mehrfacher entsprechender Kommentare verwendest Du leider noch immer teilweise Datumsangaben ohne Tag. Das funktioniert so nicht!

Darüber hinaus muss natürlich der Spaltenname auch im Datensatz zu finden sein. Wenn Du im Datensatz die erste Spalte mit Month bezeichnet hast, kannst Du beim Zugriff auf diese Spalte nicht einfach den Namen Year verwenden. Korrigiert man beide Fehler, dann funktioniert es auch:

Open in Online-Editor

\documentclass[tikz]{standalone}
\usepackage{pgfplots,filecontents}
\usepgfplotslibrary{dateplot}
\pgfplotsset{compat=newest}% statt 1.13, wegen des Online-Editors
\begin{filecontents}{infla.csv}
Month,CPI,Central bank of Iceland inflation target
2000-01-1,5.8,2.5
2015-12-1,2.0,2.5
\end{filecontents}

\begin{document}
\sffamily
\begin{tikzpicture}
\sffamily
  \begin{axis}[
 date ZERO=2000-01-01,
    date coordinates in=x,
    no marks,
    width=12cm,height=6cm,
    enlargelimits=false,
    xticklabel={\tiny\year},% Schrift willkürlich verkleinert, damit es irgendwie passt!
    xtick={2000-1-1,2001-01-01,2002-01-01,2003-01-01,2004-01-01,2005-01-01,2006-01-01,2007-01-01,2008-01-01,2009-01-01,2010-01-01,2011-01-01,2012-01-01,2013-01-01,2014-01-01,2015-01-01},% Datumformat korrigiert!
    xtick pos=left,
    xtick align=outside,
    ymin=0,ymax=20,
    ytick={0,4,...,20},
    yticklabel={\pgfmathprintnumber[verbatim]{\tick}\%},
    ytick style={draw=none},
    yticklabel pos=right,
    ymajorgrids=true,
    legend style={
      draw=none,
      legend cell align=left,
      at={(1.12,1.05)},
      anchor=north west,
      legend image code/.code={
        \filldraw[##1] (-.5ex,-.5ex) rectangle (1ex,1ex);
      }
    }
    ]
    \addplot table[col sep=comma,x=Month,% Year gibt es im Datensatz nicht!
      y={Central bank of Iceland inflation target}] {infla.csv};
    \addlegendentry{Central bank of Iceland inflation target};
    \addplot table[col sep=comma,x=Month,% Year gibt es im Datensatz nicht!
      y={CPI}] {infla.csv};
    \addlegendentry{CPI};
  \end{axis}
\end{tikzpicture}
\end{document}

Wie kann man statistische Datensätze (.xls/.csv) umwandeln/nutzen?

Folgen dieser Frage

verwandte Fragen

Wie kann man statistische Datensätze (*.xls/*.csv) umwandeln/nutzen?

Folgen dieser Frage

verwandte Fragen

Wie kann man statistische Datensätze (.xls/.csv) umwandeln/nutzen?