01 décembre 2014

Docker, Rocket et tout ça

L'écosystème Docker a été secoué par l'annonce de Rocket, un runtime alternatif à Docker développé par CoreOS.

Le constat de CoreOS est que Docker ne repose pas sur des bases suffisamment sécurisées (un démon central tournant sous root) ni flexibles. Leur idée est de coller à l'esprit unix : des outils très spécialisés, faisant bien une tâche et une seule, qu'on intègre ensembles. Sauf que Docker va dans une direction un peu différente. Les évolutions proposées et développements en cours visent à doter docker de capacités d'orchestration, de provisioning, et de gestion réseau. Il s'agit de proposer des points d'extension dont docker serait le maître d'orchestre, pour contrôler N machines sur lesquelles vous déploierez X containers reliés entre eux par un réseau privé.

Là où ça clashe, c'est dans le ton utilisé par CoreOS (lisez leur blog) qui est tout de même assez dur. Salomon a d'ailleurs répondu sur twitter en expliquant la philosophie d'une part du projet docker (oss) et de la compagnie :

solomonstre
1) interface to the app and developer should be standardized, and enforced ruthlessly to prevent fragmentation #dockerway
01/12/2014 22:11
solomonstre
2) infrastructure should be pluggable and composable to the extreme via drivers & plugins #dockerway
01/12/2014 22:11
solomonstre
3) batteries included but removable. Docker should ship a default, swappable implementation good enough for the 80% case #dockerway
01/12/2014 22:11
solomonstre
4) toolkit model. Whenever it doesn't hurt the user experience, allow using one piece of the platform without the others. #dockerway
01/12/2014 22:11
solomonstre
5) Developers and Ops are equally important users. It is possible and necessary to make both happy. #dockerway
01/12/2014 22:12
solomonstre
6) If you buy into Docker as a platform, we'll support and help you. If you don't, we'll support and help you :) #dockerway
01/12/2014 22:12
solomonstre
7) Protect the integrity of the project at all cost. No design decision in the project has EVER been driven by revenue. #dockerway
01/12/2014 22:12
solomonstre
8) Docker inc. in a nutshell: provide basic infrastructure, sell services which make the project more successful, not less. #dockerway
01/12/2014 22:12

etc (suivez @solomonstre si vous voulez la totale :P)
ayant un MacBook j'aime bien le #3 :D

Bon bref, l'idée de Docker c'est de fournir un outil clé en main qui couvre les cas principaux (le fameux 80%) tout en laissant l'implémentation remplaçable via des API standardisées, pour s'adapter aux besoins de chacun.

La réponse "officielle" de docker.com n'a pas tardé non plus, même si elle ne nous avance pas beaucoup.

Bon et alors. D'une part rocket est en 0.1, aussi c'est peut être très bien fait mais euh bon voilà. D'autre part, l'idée  - plutôt bonne a priori - de définir un format standard de container, indépendant de l'implémentation du runtime, est malheureusement à ce jour uniquement implémentée par rocket. Il ne s'agit donc pas de prendre l'existant Docker, d'en "standardiser" une partie (autrement dit un standard de facto), et de proposer une implémentation différente.

Donc même si on peut prêter attention aux arguments de CoreOS ça semble être à ce jour essentiellement un FUD. Un peu comme si je vous disais que le code de Jenkins est tout pourri et que je lance le projet Jarvis, disponible on 0.0.1 sur mon github (hey, cherchez pas, c'est un exemple).

Bref, à moins que CoreOS ait du concret a dégainer rapidement ça va juste être un mauvais coup, 48h avant la DockerCon europe, genre totalement par hasard ... 






05 novembre 2014

Docker Global Hack Day

Rennes edition for local hack day was not what I expected it to be as we didn't actually hacked much during the evening meeting, but during the week-end, remotely from home, with my colleague Yoann.

Our contribution is focussing on Docker use for Jenkins Continuous Integration - what a surprise!. We used a proof-of-concept I wrote earlier and made it production ready (more or less) using latest Docker version docker exec command.

So let me introduce Oki-Docki !


This plugin is designed to let your build run in a clean and controlled environment, managed as a Docker container, that you can define explicitly as a Docker image ID in jenkins job configuration, or as a Dockerfile you store with your project source code.

First usage (Docker image ID) can be considered a way for you to have custom build slaves based on Docker images, something comparable (but implemented a distinct way) to docker-plugin, without any constraint on the Docker image to use.

Second usage is something more subtle but imho more useful in terms or Continuous Delivery / reproducibility. As a developer, I like my build to run on a fully controlled environment, so I can reproduce it at any time. Docker allows me to get this up-and-running in few seconds without a long list of prerequisites to check. It also let me define this build environment as a plain text file (Dockerfile), that I can just store in project SCM. I'd like my continuous integration server to do the same.

Oki Docki plugin can use any jenkins slave that has docker installed, so you can fully benefit jenkins elasticity to connect additional slave boxes or even use a cloud provider. The SCM checkout runs a classic way on slave, but then a Docker container is build from project Dockerfile and ran to host the build. All subsequent build commands are ran inside the container (using docker exec).

After we got the initial setup done and sanity test running echo "hello docker" on build log, Yoann went further and tested using this plugin to run a debian package build job. Such a job works like a charm on my OSX / Boot2docker installation - If you ever tried to do cross-system packaging you understand the immediate benefit !

Generally speaking, this plugin let you fully define your build environment (which java, maven, ruby, compass, whatever version your build requires) just as a reproducible Dockerfile recipe. Maven tried to address this issue some way but don't have much control on the environment to fully address such an issue. So thanks to Docker we moved from "maven reproducible builds" to "docker fully reproducible builds", and Oki Docki makes this perfectly fit in you CI system.

If you like this idea, please vote for it on https://www.docker.com/community/globalhackday/14/ (just a tweet / G+ to send)

01 novembre 2014

Retour sur le Docker Global Hack Day Rennais

J'ai lancé l'idée d'organiser une édition locale du Docker Global Hack Day. Ca a eu lieu jeudi soir, dans les locaux de SII, que je remercie pour leur soutien. Pour l'événement, Rackspace et DigitalOcean fournissaient des voucher pour tester leur infra Cloud, ainsi qu'OVH à titre local. Même pour des novices il y avait donc de quoi s'occuper.

La soirée n'a cependant pas tourné comme je l'espérais, aussi voici un petit éclaircissement sur mes commentaires sans doute un peu amers sur le meetup :

Il s'agissait explicitement d'un Hackathon : tu viens, tu code. A la fin, on présente ce qu'on a fait, Docker.com offrait même une place à la DockerCon au plus méritant.

Nous avions un trello avec des propositions de sujets. Plusieurs propositions de la plus simple à la plus hacky.

Sur 27 inscrits, 16 présents - ça je m'y attendais, c'est toujours comme ça, et 27 hackers c'était illusoire.

2 personnes m'ont contacté pour avouer leur manque de compétence sur Docker. Je leur ai indiqué que ça pouvait être accessible à tous mais qu'il fallait être prêt à s'impliquer.

Sur 16 présents, 4 n'ont pas de portable. Bon, on peut toujours binomer, mais on sent qu'il y a un loupé.

Après la présentation d'introduction, qui faisait un appel du pied pour binômer à poursuivre le sujet présenter (mise au point d'un Dockerfile, sujet accessible à un novice), je rappelle l'objectif de la soirée, chacun se présente, certains présentent le sujet proposé dans le trello, mais ... nous ne sommes que 4 à ouvrir le portable pour envisager de faire quelque chose de concret, 10 personnes réunies en cercle passent en mode "café du commerce" à discuter Docker.

22h, tout le monde rembale....


Je n'ai rien dit sur le coup, car malgré ma profonde déception plusieurs personnes étaient ravies de leur soirée et m'ont remercié pour le bon moment. Ca m'a coupé les jambes, je me voyais mal les renvoyer dans les cordes - après tout eux au moins ont pu profiter de l'événement.

Donc en résumé, si on avait organisé un BarCamp Docker ça aurait été un grand succès. Sauf que c'était un Hackathon, c'était marqué dans le titre et bien précisé dans la description de l'événement. J'ai du chercher un local accessible tard, me synchroniser avec l'équipe Docker pour faire livrer des T-Shirts Docker en urgence, pour avoir une édition Rennaise du Hacker Day, et je me retrouve avec un gros "rien" à présenter.

Je ne pense pas que le public Rennais soit moins enclin au hackathon que les autres. L'atelier java 8 au BreizhJUG en septembre a été un franc succès, certes en laissant moins chaque participant livré à lui même, mais tout de même du "mains dans le cambouis". Accessoirement je ne vois pas quelle spécificité locale ferait du Rennais une personne inadaptée à coder en dehors de son boulot quotidien en SSII...

Bref, vous l'aurez compris, je suis déçu et quelques peu déboussolé. S'il faut mettre des barrières à l'inscription pour n'avoir que des participants actifs c'est vraiment dommage. Je m'interroge sur la forme à donner à ce type d'événement pour éviter la dérive "je m'assoie au fond et je regarde". Si vous avez des idées...




26 octobre 2014

Docker network performances

I've ran some basic tests on Docker container network performances. I had discussions with KVM fan-boys on Docker network abstraction vs KVM para-virtualization network VirtIO, and they explained me virtio let KVM offer near-native network performances without the huge impact of a virtualized network stack.

Docker doesn't actual virtualize network, but use Linux Ethernet Bridge  so it can offer some basic SDN facilities. Anyway I wanted to check impact. 

Disclaimer : I'm not a network engineer, the few commands I've used for this micro-benchmark, I've learned them few hours before I publish this article.

I've used iperf with default settings for this benchmark. I ran my benchmark on a MacBook running Ubuntu 14.04 - natively, not as a VM (never use a VM for benchmarks) - graphic card bug on this machine crash OSX, but is fine to run Ubuntu so children can play MineCraft and I can run some native Linux tests :P

nicolas@MacBookLinux:~$ iperf -s
------------------------------------------------------------
Server listening on TCP port 5001
TCP window size: 85.3 KByte (default)
------------------------------------------------------------

Host to host network do offer 26Gb/s

nicolas@MacBookLinux:~$ iperf -c 192.168.1.23
------------------------------------------------------------
Client connecting to 192.168.1.23, TCP port 5001
TCP window size: 2.50 MByte (default)
------------------------------------------------------------
[  3] local 192.168.1.23 port 38470 connected with 192.168.1.23 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  30.8 GBytes  26.5 Gbits/sec


I've used an ubuntu:14.04 (same as Host OS) container, installed iperf on tagged as "iperf" for further usage.

I first used the default (bridge) network settings for my docker container. As a result, I get 13Gb/s, so a significant 50% degradation in network performances.

nicolas@MacBookLinux:~$ docker run -it iperf bash
root@7256f0f1da2b:/# iperf -c 192.168.1.23
------------------------------------------------------------
Client connecting to 192.168.1.23, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 172.17.0.5 port 45568 connected with 192.168.1.23 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  15.6 GBytes  13.4 Gbits/sec

Switching to host network mode I get 22Gb/s, so small impact on performance but a reasonable one, offering near-native network performances with benefit for binary container image deployment.

nicolas@MacBookLinux:~$ docker run --net=host -it iperf bash
root@MacBookLinux:/# iperf -c 192.168.1.23
------------------------------------------------------------
Client connecting to 192.168.1.23, TCP port 5001
TCP window size: 2.50 MByte (default)
------------------------------------------------------------
[  3] local 192.168.1.23 port 38478 connected with 192.168.1.23 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  26.0 GBytes  22.4 Gbits/sec 


I also tried to run some tests with boot2docker VM, but VirtualBox degrades the network performances in a horrible way. I have an ubuntu VM running, configured to use a virtio para-virtualized network, here is iperf result accessing host :

nicolas@ubuntu:~$ iperf -c 192.168.1.13
------------------------------------------------------------
Client connecting to 192.168.1.13, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 10.0.2.15 port 57202 connected with 192.168.1.13 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.1 sec  84.8 MBytes  69.6 Mbits/sec 

Please note this later test is ran on my OSX MacBook, so might have distinct settings that can affect results, anyway this seems to demonstrate VirtualBox do offer 300x slower network performances compared to native host-to-host. So don't rely on boot2docker for benchmarks. I got some better but still bad metrics using VMWare Fusion, but I don't know much this environment so not sure if this is relevant.

Update : I have no idea how Docker network perfs compare to a well set VM isolation layer, based on KVM with virtio. Just wanted to check Docker impact on network perfs.

Update : I just noticed on docker dev list discussions on using Open vSwitch with Docker, that is comparable to (legacy ?) linux bridge device but with a modern design. There were also discussions on using macvlan (register one MAC address per container on same network physical device IIUC).

18 octobre 2014

Upgrade to Docker 1.3.0

Après une chouette journée passé à bdx.io (je laisse le soin à d'autres de vous faire un résumé, parce que je suis  une grosse faignasse), retour à Rennes avec 6h de transport en TGV.

Pendant que Laurent bricole son nouveau jouet je récupère l'installer de Docker 1.3.0 tout juste publié (merci la 4G en gare de Bordeaux).

Parmi les nouveautés de Docker 1.3.0, la sécurisation de la communication entre un client et le démon docker est un point majeur. 

Jusqu'ici, pour parler à un démon distant on avait une simple interface HTTP, sans aucune sécurisation pas même un login/password. Pratique sur un poste de développement mais un peu léger pour vos serveurs de production :P

Docker 1.3.0 corrige ce défaut en utilisant une authentification par certificat client sur SSL.


Au passage, le port par défaut du démon docker change en 2376 (jusqu'ici 2375). Si vous installez cette version pensez donc à mettre à jour votre .bash_profile avec les variables d'environnement :

DOCKER_HOST=tcp://boot2docker:2376
DOCKER_TLS_VERIFY=1
FORWARD_DOCKER_PORTS=1
DOCKER_CERT_PATH=/Users/nicolas/.boot2docker/certs/boot2docker-vm

boot2docker up vous l'indique également, mais si vous êtes comme moi vous ne faites pas trop attention à ce genre de message :-\

J'ai ensuite voulu faire mumuse avec l'API client, sans passer par le client docker natif. 

J'ai rapidement renoncé à mettre à niveau docker-java car je n'y connais rien en jersey ni à sa configuration avancée pour assurer ce type d'authentification sur https (et sans Net entre Bordeaux et Paris c'est pas facile à deviner)

La documentation officielle suggère une commande curl utilisant les clés générées automatiquement pour nous par l'installateur boot2docker. Et là "oups". 

➜ ~ curl --insecure --cert ~/.boot2docker/certs/boot2docker-vm/cert.pem --key ~/.boot2docker/certs/boot2docker-vm/key.pem https://boot2docker:2376/images/json
curl: (35) Unknown SSL protocol error in connection to boot2docker:-9825

Comme la version OSX de curl est ancienne est un peu customisée à la sauce Apple, j'ai aussi essayé avec la version homebrew ... qui ne marche pas non plus mais par pour la même raison !

➜ ~ /usr/local/Cellar/curl/7.38.0/bin/curl --insecure --cert ~/.boot2docker/certs/boot2docker-vm/cert.pem --key ~/.boot2docker/certs/boot2docker-vm/key.pem https://boot2docker:2376/images/json
curl: (58) SSL: Can't load the certificate "/Users/nicolas/.boot2docker/certs/boot2docker-vm/cert.pem" and its private key: OSStatus -25299

J'ai pu vérifier que les certificats sont corrects, car wget - lui - s'en sort sans soucis

➜ ~ wget --no-check-certificate --certificate=~/.boot2docker/certs/boot2docker-vm/cert.pem --private-key=~/.boot2docker/certs/boot2docker-vm/key.pem https://boot2docker:2376/images/json -O - -q
[{"Created":1413235207,"Id":"9cbaf023786cd79dfba46f49d9a04b2fe9f18017db1257094d1d4cbe7ccb00f1","ParentId":"03db2b23cf0332af20d600e1e0306a629235f4d3b2cfcab2cad0bc3d3443b2b7","RepoTags":["ubuntu:14.04"],"Size":0,"VirtualSize":192754576}


J'ai poussé une pull-request pour documenter cette commande alternative, au cas où je ne serais pas un cas isolé.

Si vous voulez passer en Docker 1.3.0 vous risquez de tomber sur des soucis de ce type. Et surtout si vous utilisez des librairies cliente docker dans vos outils (typiquement, le plugin jenkins docker qui est une aberration mais ça c'est un autre débat) vous êtes cuits. Ce qui m'encourage dans mon plugin à moi (qui lui est une merveille, qui en douterait) à continuer à utiliser le client docker officiel.




16 octobre 2014

Du docker dans Windows ?

L'annonce n'a pas du vous échapper, Microsoft ne laisse pas le buzz Docker lui échapper et annonce un partenariat pour porter la technologies sur Windows.

Petit décryptage.

Microsoft ne veut évidemment pas laisser passer le train, et l'équipe Docker sait pertinemment que Docker ne peut pas éternellement se contenter du monde Linux. Le rapprochement est donc logique. Par contre ne vous y trompez pas, il ne s'agit pas de faire tourner un conteneur Linux en natif sur votre Windows, ou l'inverse - pour le développeur, boot2docker a encore de beaux jours devant lui.

Rappelons que le principe même des conteneurs est que le noyau OS est commun entre l'hôte et l'environnement virtuel ("conteneur") contrairement à une machine virtuelle. Il s'agit bien de faire tourner un (on N) process windows dans un conteneur, sur un système windows.


On va donc avoir des images Docker pour des conteneurs Windows d'une part, et les images Linux qu'on connait déjà de l'autre - séparation qu'on a déjà par exemple pour les images Docker visant les architectures ARM (bon bien sur y'en a pas des masses).



Ce qu'on nous annonce :

  • A Microsoft led initiative to add container capabilities (e.g. the equivalent of namespaces and cgroups) to Windows
En gros ici il ne s'agit que d'une annonce d'intention. On aura donc peut être un concept d'isolation équivalent aux namespaces dans Windows Server 2020. Le développement de cette fonctionnalité sous Linux a tout de même pris 10 ans. Evidemment Microsoft peut aller beaucoup plus vite, mais ce ne sera pas pour noël prochain.

  • A new Docker Windows Daemon, which will be built in open source under the aegis and governance of the Docker project, with input from Microsoft, Docker, Inc, and the broader Docker community
Il s'agit globalement de développer dans le cadre du projet Docker OSS un portage de libContainer sous Windows, le genre de chose sur lequel travaillent également les personnes de FreeBSD ou d'IBM. Le démon Docker Windows sera donc compatible avec l'API Docker, ce qui est une bonne nouvelle : tout votre outillage sera alors 100% utilisable.

  • The overall Docker platform, which will also be extended (in the open) to support both the Docker Windows Daemon and the Docker Linux Daemon.
Plus précisément, Microsoft va investir sur la librairie LibSwarm pour permettre l'orchestration de containers sur son OS.

Bref, Microsoft adopte la technologie qui monte et le fait en bonne entente avec la communauté, ce qui est une bonne nouvelle pour tout le monde.

Reste à savoir si Apple suivra la même démarche...

15 octobre 2014

docker exec preview

A new feature to come in docker 1.3 I'm waiting for is docker exec command. This one will make docker-enter hack an official command. This command will let you attach a new process to an existing container, for diagnostic or monitoring purpose (for sample) or some more advanced hacks I have in mind :-D

As I wanted to test it before official release, I had to check how to build Docker from latest sources.

Docker build system is based on Docker. Don't ask me how debian folks can follow their "build from source" principle, anyway it makes our life easier.

On my Ubuntu box, I just had to clone docker git repository and run make binary to get the latest an greatest docker binary and give it a try, but I wanted also to get it on my good old MacBook.

make cross is designed to build alternate docker binaries for non linux/x64 systems (i386, arm, darwin, freebsd). It works well, but then I need to retrieve the generated binary from the build container.

I'm using boot2docker with VirtualBox guest additions, waiting for 1.3 to offer this by default. But when ran remotely (in boot2docker VM) the Makefile require to setup a BIND directory for docker working copy to be mounted in the container at expected location. I wasn't able to make it work, for some odd reason the dind script fail to start.

Anyway, David gave me to find a workaround.

make build gives me the container image ID for an environment ready to build docker from sources. I can then run a (privileged) container, equivalent to the one ran by make binary,  as a shell and run the hack/make.sh cross command by myself. As a result, this container has all the cross-compiled binaries build in bundles folder.

I then run another docker command from OSX to retrieve the built OSX binary form the (still running) build container : 
docker cp 987654321:/go/src/github.com/docker/docker/bundles/1.2.0-dev/cross/darwin/amd64/docker-1.2.0-dev/docker ./docker-osx

So I now have docker client 1.2.0-dev (a java developer would name it "1.3.0-SNAPSHOT") available on my OS.

I have to do the same on my boot2docker VM so it run 1.2.0-dev daemon. Just need to stop the docker daemon and replace /usr/local/bin/docker. Please note this change won't be persisted if you restart the boot2docker VM. Would need to build a custom iso, but I'm lazy here :-P

Anyway, I now can play with the new docker exec command

➜  docker-1.2.0-dev ./docker version
Client version: 1.2.0-dev
Client API version: 1.15
Go version (client): go1.3.3
Git commit (client): dc243c8
OS/Arch (client): darwin/amd64
Server version: 1.2.0-dev
Server API version: 1.15
Go version (server): go1.3.3
Git commit (server): dc243c8
➜  docker-1.2.0-dev ./docker run -d ubuntu sleep 1000
fc17ce405dba8417d7995218bd142041877cadcf49751f2233aecf01a7c25114
➜  docker-1.2.0-dev ./docker exec -it fc17 bash
root@fc17ce405dba:/# ps -ef
UID        PID  PPID  C STIME TTY          TIME CMD
root         1     0  0 13:44 ?        00:00:00 sleep 1000
root         7     0  4 13:44 ?        00:00:00 bash
root        21     7  0 13:44 ?        00:00:00 ps -ef
root@fc17ce405dba:/# 

I organize a local edition of Docker Global Hack Day on october 30th. Hacking with such a new command is an option to experiment with new usages and design some crazy tool. Join !