Stanford vecka 3

Förra veckan handlade om klassificering och framför allt logistisk regression och konceptet regularisering för att hantera overfitting. Inlämningsuppgifterna var väldigt lika veckan innan med implementaioner av kostnadsfunktioner och gradienter. Denna vecka användes dock Octaves funktion fminunc för iterativ optimering av parametrarna istället för någonting egen implementerat. Denna vecka blir det artificiella neuronnät, vilket blir lite mer intressant.

Pentaho Business Analytics 4.1 GA

Idag släpptes Pentaho 4.1 och en av de första märkbara skillnaderna är att den inte längre heter Pentaho Business Intelligence utan Pentaho Business Analytics. Deras undertext i loggan har dessutom bytts ut från "Open Source Business Intelligence" till "Powerful Analytics Made Easy". Förutom detta så är nog den stora nyheten stödet för externa minnescachar. Pentaho Business Analytics har inbyggt stöd för Infinispan (JBoss Data Grid) och Memcached. Att använda en extern och dessutom distribuerad cache ger givetvis bättre prestanda men ger även Pentaho ett svar på "in-memory" hypen som råder just nu.

Faktabaserad världssyn

En intressant intervju med Hans Rosling på Google Think Quarterly om att ha en faktabaserad syn på omvärlden.

Analytics 2011

Idag är det julafton för alla SAS användare då årets Analytics konferens drar igång. Med tanke på dagens väder här i Stockholm hade jag gärna anslutit till konferensen som i år äger rum i Orlando, Florida.

R och Hadoop

Revolution Analytics har utvecklat tre paket som integrerar R med Hadoop.

• rmr - integrerar Hadoop MapReduce funktionalitet in i R
• rhdfs - integrerar filhantering i HDFS in i R
• rhbase - integrerar den distribuerade databasen HBase in i R

Bilden är tagen från en presentation över RHadoop som man hittar här.

Stanford vecka 2

Andra veckans uppgifter handlar om multipel regression. Algoritmerna som gås igenom är en iterativ och en exakt lösningsmetod, brantaste lutningsmetoden respektive normalekvationen. De första inlämningsuppgifterna var följande:

1. Uppvärmningsövning
2. Kostnadsfunktion (för en variabel)
3. Brantaste lutningsmetoden (för en variabel)
4. Variabelnormalisering
5. Kostnadsfunktion (för multipla variabler)
6. Brantaste lutningsmetoden (för multipla variabler)
7. Normalekvationen

Alla uppgifterna var väldigt mycket tillrättalagda och krävde inte speciellt mycket implementering. Både brantaste lutningsmetoden och normalekvationen är förvisso relativt lätt att implementera i ett verktyg som Octave. Intressantast var hur de har löst inlämningsförfarandet. Med uppgifterna kommer ett Octave script som innehåller en submit funktion. När man kör den submitfunktionen för en inlämningsuppgift så anropas funktionen som man själv har implementerat med testdata, och det som returneras postas upp för rättning till deras server. Man får omgående feedback huruvida man blivit godkänd eller inte, då svaret man skickar in automatiskt verifieras. Snyggt gjort! Hoppas på något mer spännande nästa vecka...

MicroStrategy och Hadoop

I veckan hade Cloudera en press release att de tillsammans med MicroStrategy har utvecklat en VLDB drivrutin för att kunna generera optimerad HiveQL och utnyttja Hadoop funktionalitet såsom t.ex. MapReduce ramverket. Hela press releasen finns här.