Chris
Snijders
© 2012 Chris Snijders Contact Me

Oddspot update – thus far only in Dutch though

Together with a group of students, we revamped the Oddspot app. Thus far the app is only in Dutch, and still in beta, but Oddspot 2.0 NL can be found here.

More social value orientation matters. The SVO slider measure

The Social Orientation Value (SVO) is a measurement of someone’s “social preferences”. Literally, it is meant to measure the extent to which you care about what others get. Often, It is measured through the “RING measure” (this involves 24 preference elicitations, see Liebrand 1984 or the details at the SVO page), or through a series of decomposed games (cf. van Lange et al., 1997). In this latter method, you typically get 9 comparisons and are classified as egoist, altruist or competitor if you choose consistent with that label at least 6 out of 9 times. With Jeroen Weesie I came up with a potential SVO measurement too. I wrote about that in a previous blog post.

 

A more recent type of measurement is the "SVO-slider measure" (see Murphy, Ackermann, and Handgraaf, 2011 - Measuring social value orientation). The SVO-slider measure is a variant of Liebrand's RING measure. A participant gets to choose between 9 self-other distributions of points, and gets to do this 6 times. The below picture shows the first two of these six (picture taken from the Murphy et al. paper).

sliders1and2 The picture is a bit hard to read - sorry about that - but let us try to focus on the second slider. The second slider varies from (85,15) to (100,50) and consists of points on the line in between these two (rounded to integers). In fact, in the logic of the SVO-slider, the (85,15) is a typical choice for a "competitor" and the (100,50) a typical choice for an "individualist". Graphically, the task for a participant for this second slider comes down to choosing a preferred point on the orange line in the below graph (again, picture from Murphy et al.): svo-pic3

Note that there are two other prototypical self-other payoffs in the figure: (50,100) for altruists and (85,85) for prosocials. The mean allocation for self is computed (S_mean) just like the mean allocation to other (O_mean). The SVO-value then equals arctan((0_mean-50)/(S_mean-50)). The angle you get is used, if wanted, to categorize the participants.

 
  • altruists: 57.15 < angle
  • prosocials: 22.45 < angle < 57.15
  • individualists: -12.04 < angle < 22.45
  • competitors: angle < -12.04
 

The SVO-slider-measure has pretty decent test-retest characteristics, seems to correlate reasonably well with behavior in experimental games, and correlates seriously less well with actual prosocial behavior. In this sense, it is not much different from existing ways to measure social value orientations, as far as I know.

 

Let us however try to consider a bit more closely what the measurement actually does, using a related and perhaps bit more careful mathematical logic. If a person's social value orientation (r) represents the extent to which someone cares about an other person's payoff, it should equal:

  U = [payoff to self] + r . [payoff to other]  

Now let us assume that for the second slider measure, a participant prefers the payoff (87,19). This gives us eight inequalities to work with:

pic87-19 The first one, for instance, says that: CodeCogsEqn If we repeat this exercise for the other 7, we find svo2-ineq

That's nice, because it shows that if a participant chooses (87,19), then his or her social value orientation lies between -0.5 and -0.44. So far so good. However, the inequalities that go with a certain choice could also end up to be inconsistent. If a participant prefers (89,24), we get: svo2-89-24 and these cannot all be true simultaneously.

 

This same exercise can of course be carried out for all of 9 possible preferences that a participant might have. In the enclosed file, I show the results of this exercise. That is, for each possible choice within 1 of the 6 sliders, I supply the implied upper and lower bound for the social value orientation (or show that it is inconsistent). Below you see part of this file: svo-excel If you look at the second slider measure in the row with (89,24) you indeed see that the result is inconsistent. For the same slider, if you prefer (87,19) you find the [-0.50,-0.44] interval. There are cases, for instance in the first slider, where the lower and upper bound of the interval coincide. Consider the result for the first slider. Because in the first slider the payoff to self equals 85 for all choices, the inequalities that you get for a given preference are either r<0 or r>0. In one case, when the participant prefers (85,15), all inequalities are "r<0". In one case, when the participant prefers (85,85), all inequalities are "r>0". Both choices are consistent, even though what they bring us is not very restrictive. The other preferences imply both r<0 and r>0, which cannot be true.

 

The question is then how a standard interpretation of the SVO-slider-measure compares with the mathematical interpretation as suggested here (and also, whether the social orientation measurement that Jeroen and I came up with, leads to results that are different). To be continued ...

SVO-slider-results (CS v2)

Beamer trouble: El Capitan and Powerpoint 2016 workaround

Since updating to OSX "El Capitan" and Office 2016 I am having trouble recording my lectures. When I switch my Powerpoint presentation to display mode, the beamer screen goes grey (although I can see my presentation on my own laptop). That can be "solved" by disconnecting the displayport cable and plugging it back in again. If, while presenting, I want to switch to some other application for a while (say a browser or some other program) then as soon as I return to Powerpoint and start displaymode again this gives me the same gray screen on the beamer. Needless to say, all this simply worked before I upgraded both.

 

A sloppy workaround would be to first put my Powerpoint presentation in display mode, then connect the displayport cable, and then to remain in display mode throughout the lecture. But even that does not work, as I am recording a screencast with Camtasia in the mean time and this also leads to trouble: either a "screencast" with just the initial display screen (but working sound), or a screencast with working sound and the beamer image somewhere on the right of my screen, distorted.

 

I have tried a couple of different things, including using Screenflow instead of Camtasia (does not help). Finally, I found a workaround that I can live with while I wait for the setup to just work again:

  • export my Powerpoint slides to pdf (don't use animations etc)
  • open the pdf in Chrome and use "presentation mode"

I can then switch back and forth between the Chrome output (=my presentation) and other software - works like a dream. The only issue remaining is that if I want to switch to a browser window during the presentation, it is easier to open a separate browser for this (for instance Safari).

 

Not sure what exactly is causing all this, but a big thanks to Microsoft and Apple for not testing through whether the newest OSX and Office work well together.

Pictures save real-estate agents

bep-makelaars

In the academic discipline of decision-making, experts in general have a mixed reputation. A well-known result is that when comparing predictions of human experts with the predictions of statistical models (based on the same information), models outperform human experts in about 40% of the cases while experts outperform human experts only in about 10% of the cases (Grove et al., 2000).

Recently, we decided to give a particular type of expert a chance to defend the reputation of human experts: real-estate agents. As part of a series of three Bachelor Thesis projects, we did the following: we first scraped about 8,000 housing advertisements, all houses in the Eindhoven region. We then tried to model the asking price as dependent on the characteristics of the houses: size, year of build, number of rooms, etc. Most real-estate agents are used to model-based predictions in their daily practice, as two model-based predictions need to be added to an official valuation of a house. The models that provide these predictions do not reveal the way in which they calculate predictions but do claim to use recent selling prices of houses near the house in question. We used a relatively straightforward model, so it might have been better if we had mined a bit more, but it turned out that the models did not perform too great. For the better models, the percentage of houses with an estimate within 5% of the actual price was only about 25%. A golden opportunity for our real-estate agents!

In total 51 participants took part in an experiment of which 23 were real-estate agents from Eindhoven and 8 were real-estate agents from outside Eindhoven. As a reference category we also asked 28 novices (that is, people without any particular knowledge about the housing market). Each participant had to predict the market value of 13 houses. For 3 houses, participants only got summary information (address, area/volume, kind of house/apartment, and arrangement of the rooms). For 5 other houses, participants received a much more extensive list of variables to give the participants a complete overview of the characteristics of the house. For 5 still other house, participants also received pictures of the house. All houses were chosen from the scraped list of actual houses for sale in the Eindhoven region. Ok - so what happened?

With hardly any information available, even our mediocre model outperformed all humans. The average error for all humans, expert or not, was about 20% (!), whereas a model based on the same restricted amount of info halved that error. With more information available, the model still outperformed all humans, although only beating the real-estate agents by a narrow margin. The novices did not improve with more information and scored 20% error again. Real-estate agents, both from the Eindhoven region and outside that region, averaged an error of 14.7%. The model scored 14.2%. Finally, we had the houses with elaborate info and pictures. The model could only predict based on the info and not the pictures, so the humans in a way had an unfair advantage here. But at last, they did prevail! Novices still did not get any better (a bit worse actually): 23% error. The real-estate agents from outside Eindhoven, who were evaluating houses outside of their regular working area, scored an error percentage of 16.7%. The model scored 13.1% but the real-estate agents from Eindhoven performed best with an error rate of 9.5%.

So who won? Well, the literature on human experts versus statistical models only makes comparisons when both model and expert have the same information. In all these cases, models won (even the relatively bad ones that we used). On the other hand, give the true experts some pictures and they do get better than our model. So let us call it a tie.

There is much more to say about the experiment. For instance about the extent to which humans improve if you give them a model-based prediction (they do, but not always), or which humans are more likely to change their prediction, how much a model would improve if it would incorporate more local characteristics, and many more interesting issues. Want to read the full Bachelor Thesis? You can download them here.

Fouten in rechtszaak in blog bestreden

A blog post in Dutch. It’s about my recent annoying encounter with the Dutch judicial system. It is a bit long - sorry.

franz-kafka

Op vrijdag 1 maart 2013 merkte ik, volledig uit het niets, dat er een gezwel in mijn nek zat ter grootte van een flinke knikker. Ik ging meteen naar de huisarts die me direct naar het ziekenhuis doorstuurde waar ik dezelfde dag nog terecht kon. Het was een cyste op mijn schildklier, zo bleek uit de echo, maar het beter ter zake kundige personeel was al naar huis en of ik na het weekend terug kon komen. In het weekend gebeurt er niet veel, tot op dinsdag 5 maart ’s avonds opeens het gezwel groeit tot het formaat van een groot ei en doorgroeit. Ik krijg het letterlijk benauwd van dat ei dat op mijn luchtpijp zit te drukken en bel de huisartsenpost op. Die lijkt het verstandig dat ik snel naar het ziekenhuis ga. Omdat wachten op een ambulance langer duurt dan zelf rijden, stappen mijn vrouw en ik in de auto (zij rijdt). Het zit me niet lekker en enigszins in paniek spoor ik mijn vrouw aan wat door te rijden. Eenmaal in het ziekenhuis word ik voor een nacht opgenomen en in de ochtend wordt de met vocht gevulde cyste tot mijn opluchting leeg geprikt. Een aantal maanden, twee puncties en een MRI later blijkt deze overigens goedaardig (hoera) maar daar gaat het nu niet om.

 

Een tijd later ontvang ik een bekeuring voor te hard rijden op die avond: 17 km/h te hard. Kosten: 128 Euro. Ik kan schriftelijk beroep aantekenen en doe dat, waarbij ik in enig detail de hierboven genoemde verzachtende omstandigheden opvoer. Veel later ontvang ik een bericht: het COVD is het niet met mij eens. Er staat niet bij waarom niet. Op geen enkele manier wordt op de zaak ingegaan, wat mij het sterke vermoeden geeft dat ze standaard eerst alles afwijzen om te zien wie er een serieus bezwaar heeft. Ik laat de zaak voor de rechter komen, opnieuw met alle redenen erbij en de hele papierwinkel van de opname in het ziekenhuis en wat al niet. Op 26 juni 2014 is het zo ver: mijn zaak komt voor. Omdat ik nog nooit eerder als partij in een rechtszaal ben geweest, vind ik het nog spannend ook en uiteindelijk ben ik aan de beurt. De officier van justitie of althans diens hulpje stelt voor om mijn boete tot de helft te verminderen. De rechter, mr. drs. M.P. Glerum, vraagt wat ik daar van vind. Ik vind dat geen goed plan: als je hier niet (ietsje) voor te hard mag rijden, waarvoor dan wel? Er schoot me toentertijd nog door het hoofd dat het me toch niet zou gebeuren dat mijn laatste woorden zouden zijn “maar ik reed niet te hard!”. Dat kan rechter Glerum zich wel voorstellen; hij is het met mij eens en hij oordeelt in mijn voordeel: weg boete. Binnen 10 minuten staan we weer buiten. Hoera, dan toch gerechtigheid!

 

Nou, nee. Toch niet. Want begin augustus 2014 krijg ik een verslag van de griffier van de rechtbank, M. van der Laan LLB (een vrouw gok ik, zo aan de handtekening te zien), mede ondertekend door rechter dhr. mr. drs. M. P. Glerum, met daarin het vonnis: uw boete is gehalveerd (!). Huh? Wacht even, maar zo ging het helemaal niet! Dat was het voorstel van de officier van justitie, niet het vonnis. Nog maar een keer een brief nu naar de rechtbank waarin ik aangeef dat het verslag niet klopt en dat mr. Glerum de boete had ingetrokken. Nu is er opeens wel snel een reactie, met daarin door vd Laan nog maar eens beweerd dat het vonnis zoals het is opgeschreven volkomen correct is - weer zo’n statement zonder enige onderbouwing trouwens. Als ik het er niet mee eens ben dan moet ik maar in beroep. Dat is overigens in strijd met het eerder gestuurde verslag, waarin stond dat je niet in beroep kunt als het bedrag lager dan 70 Euro is, maar vooruit. Een telefoontje naar de rechtbank waarin ik vraag wat ik nog kan doen, leidt tot twee inzichten (1) ik word volkomen voor gek versleten door de mevrouw aan de andere kant van de lijn want ik zal het wel verkeerd hebben gehoord en het verslag klopt altijd en (2) ik moet het verder zelf maar uitzoeken en succes ermee.

 

Iedereen maakt fouten, ik ook veel, en als iemand weet dat het geheugen feilbaar is dan ben ik het. Maar in dit geval het mijne toch niet. Gelukkig was mijn vrouw erbij anders was ik nog aan mezelf gaan twijfelen. En in alle redelijkheid: ligt het nu meer voor de hand dat griffier vd Laan en rechter Glerum een aantekenfoutje hebben begaan in dit verder totaal nietszeggende rechtszaakje waarvan zij er alleen al die dag meer dan 20 hebben gedaan en per abuis het voorstel van de officier hebben overgenomen, of dat ik samen met mijn vrouw verkeerd heb begrepen wat de uitspraak bij mijn eerste rechtszaak ooit was?

 

Het gaat maar om een paar tientjes en ik had er goed aan gedaan veel eerder al gewoon te betalen om van het hele gezever af te zijn, en misschien zelfs om het hele toch al overbelaste systeem niet verder te belasten met mijn zielige gemiep, want ik rijd vast wel eens te hard zonder te worden bekeurd. Bij deze dan, vd Laantjes en Glerums! Tegen zoveel onachtzaamheid kan ik als eenzame burger niet op. Ik gooi de handdoek in de ring en ga niet nog eens een zelfde brief naar de rechtbank sturen en een ochtend in een rechtbank vergooien.

 

Ik doe het maar af met de volgende conclusie: voor de rechtbank Midden-Nederland noteer ik fouten in de procesgang, gemaakt door de gerechtelijke tandem Mw. vd Laan LLB en mr. drs. M.P. Glerum. Mw van der Laan deed, geheel te goeder trouw waarschijnlijk, 2 keer iets fout. Ze schreef eerst een verkeerd verslag en beweert later zonder te kijken dat ze het toch echt goed heeft gedaan (is dat niet wat vreemd trouwens, dat de foutenmaker zelf controleert of het goed is gegaan?). Mr. Glerum maakte maar 1 fout. Die heeft zijn handtekening waarschijnlijk zonder serieus te kijken op een foutief verslag gezet..

 

Ik ben er klaar mee. Wie het met deze uitspraken niet eens is, kan binnen twee weken na dagtekening van deze blog-post bij mij in beroep.