Froscon 2012
## MySQL Performance (köhntopp, booking.com)
* werbung für booking.com und so..
* zunächst geschwindigkeitsgrößenordnungen
* cpu probleme in der db? full table scan? viel sortieren?
* io wait? zu wenig ram?
* innodb pagesize: 16k. minimum read
* darunterliegendes fs: hohe varianz bei fsync in ext3. auch ext4? xfs pro fsync langsamer, aber konstant
* altes debian erstellt ext fs mit directories als lineare liste.
* default io sched schlecht für reine datenbankserver. am besten noop
* mysql 5.6 mit größerem redo log für ssds
* materialized views manuell repliziert
* mariadb client lib kann async auf mehrere server schreiben mit quorum
Pig
- eher dürftig.
- phasen: map-shuffle-reduce
- pig libraries: linkedin datafu
- datenbank->scoop->hadoop. ansonsten eher input aus flat files. csv, etc..
- wenig spezifisches über pig
Wikidata
- wikimedia structured data
- increase sharing of information by enabling easy “micro-contributions” through form based entry
- problem: knowledge hidden in text. no automatic processing
- problem: people think wikipedia is done
MariaDB (monty widenius)
- dynamic columns
- integration with sphinx full text search
- increased commit perf with many concurrent connections
- handler read?
- supports subquery optimization by converting it to join. mysql doesn’t
- limit rows examined
- according to monty, it might be a good idea to switch to mariadb instead of continuing with mysql 5.6 because it seems that the new mysql devs (replacing people who left after oracle takeover) often have a bad understanding of the code base. mariadb is maintained by the original mysql devs. mariadb is binary compatible. stop, start, done
- mysql disappearing test cases
- mariadb vs mysql
upcoming
MySQL 5.6 (johannes schlüter, oracle mysql engineering)
Fun with strace
check_mk
- warum icinga? aktiver nagios fork, open source nagios zugunsten der kommerziellen variante eingeschlafen?
- nachteile icinga: konfiguration wird schnell unübersichtlich
Data Warehousing mit mysql
- oltp->etl->dwh
- häufiges problem: reporting behindert mit echtzeit anfragen -> dwh trennen.
- reports invalidieren caches (kalte daten).
- datenimport mit innodb leicht schneller als mit myisam (natürlich autocommit off, primary key reihenfolge)
- datenimport: single row insert t = 100%; multi row insert (bulk) t = 34%; load data infile t=27%
- dwh: tabellenkompression einschalten
Gamification
- warum spielen? fantasie ausleben. autonomy, mastery,
- buch jane mcgonigal: reality is broken
- beispiel: pinkelfliege, mcd selbstbauburger (=> marktforschung, virale werbung, …), meilen sammeln etc.
- spielertypen: richard bartle “players who suit muds”: achievers, explorers, socializers, killers
- punkte vergleichbar machen, public badges/achievements, quests, social foo
- business ziele aligned mit benutzer badgesystem
Software Craftsmanship
- Craft vs. Engineering. Craft: Gefühl, Erfahrung; Engineering: Vorausberechnung.
- Paper: What is software design (Jack W. Reeves)
- Buch: Software Craftsmanship - The New Imperative (Pete McBreen)
- Konferenz in Deutschland: SoCraTes
- Softwerkskammer
- code retreat. problem bearbeiten (45min), vorstellen, wegwerfen, iterieren. http://danieltemme.blogspot.de/2011/02/code-retreat-was-ist-das.html
-- Matthias Schütz 26 Aug 2012