Foondump.nl Forum Forum Index Foondump.nl Forum

 
 FAQFAQ   SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 

geo infomatie bronnen (op internet)
Goto page Previous  1, 2, 3, 4, 5, 6, 7  Next
 
Post new topic   Reply to topic    Foondump.nl Forum Forum Index -> Geo Forum
View previous topic :: View next topic  
Author Message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 03, 2008 19:54    Post subject: Reply with quote

Quote:
Gratis postcodetool gaat 'open source'

Een programmeur is een gratis zoektool voor Nederlandse postcodes gestart. De open postcodedatabase concurreert met betaalde diensten die postcodes valideren.

6PP is een gratis webdienst voor conversie van postcodes naar straten en woonplaatsen. Het is een initiatief van webontwikkelaar Kees van den Broek. Hij verzamelde welke straatnamen bij welke postcodes horen via een zelfgeschreven webspider die websites afspeurt naar postcodes.

De postcode-lookup is onder meer handig voor webformulieren waarbij mensen hun adres moeten invullen. Na invullen van de postcode vult het systeem automatisch de straat- en plaatsnaam in. Het gebruik van een database met alle postcodes kost normaal gesproken geld.

Veel sites valideren op adresgegevens via een betaalde koppeling met de database van TNT-dochter Cendris. Ook de site Postcode.nl werkt met een licentie en verkoopt wekelijkse updates. Dat is handig omdat er regelmatig huizen worden gesloopt of nieuwe wijken worden gebouwd.

Geen schending
Volgens Van den Broek bleek het met een zoekrobot afzoeken van sites voor postcodes 'verrassend goed te werken'. "De database is vandaag 70.8 procent compleet. Van iedere postcode wordt de bron opgeslagen, zodat ik bij vermeende rechtenschending de betreffende postcodes kan verwijderen en via een andere bron kan aanvullen."

Volgens ict-jurist Arnoud Engelfriet is wat Van den Broek doet geen schending van het databankrecht. Engelfriet noemt de sites van de Kamer van Koophandel en Funda als voorbeelden van sites waar veel postcodes gekoppeld aan straatnamen zijn te vinden. "Die lijsten komen niet uit het postcodebestand van TNT Post, ook niet indirect. Bedrijven of makelaars typen die in wanneer ze hun bedrijf aanmelden of een huis te koop zetten. Daarmee zijn die gegevens openbaar, zodat je op basis van die gegevens best je eigen lijst met postcodes mag bouwen."

Soort wiki
Volgens Van den Broek kunnen internetters ook nieuwe postcodes handmatig toevoegen aan de 6PP-databank. "Hiermee is de database in essentie een 'wiki'. Of dit voldoende is om tot een accurate en complete postcode database te komen, daar ben ik zelf erg benieuwd naar." Hij heeft ook de broncode van het systeem vrijgegeven als download, 'zodat mensen die er meer mee willen doen hun gang kunnen gaan'.

Het project Openstreetmap.nl, voor opensource kaartinformatie, wil de postcodedata van Van den Broek integreren met de wegenkaart. "Als we huisnummers gaan ondersteunen krijgen die automatisch de postcode mee", aldus Stefan de Konink van OpenStreetMap Nederland.

Webwereld - maandag 3 november 2008
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 03, 2008 20:34    Post subject: Reply with quote

Quote:
Gratis postcodetool gaat 'open source'

Een link in de webpagina van de maker: "Download de postcode database in SQL formaat (dagelijks bijgewerkt)."

Ok, kijken wat hij al heeft verzameld. En vooral, waar heeft hij het dan opgehaald:
Code:
source          aantal
buurtlink.nl    453086
user                 1
zoekplaats.nl      306

Tja, een goed idee is daarmee wel meteen verknald.

Alles bij één enkele argeloze aanbieder ophalen, dat was toch niet wat de in het bericht hierboven aangehaalde jurist Arnoud Engelfriet bedoelde? Toen die inging op een aantal juridische vragen in zijn artikel "Andermans site scrapen, wanneer mag dat?" en in zijn blog over specifiek dit onderwerp: "Alle postcodes op een rijtje".

Bij de reacties onder bovenstaand bericht van Webwereld en idem die van OpenStreetMap zitten suggesties voor en argumenten tegen een postcodetabel maken met Foondump. Niet ter sprake komt dat de dump van een Telefoongids nooit een complete postcodetabel kan opleveren - zoals hier in dit forum aangegeven.

Om dezelfde reden zal ook het Handelsregister-online-schraap-avontuur van die OSM'er-van-dienst daar ter plekke stranden, het Handelsregister heeft slechts een deelverzameling van alle mogelijke adressen in de database opgeslagen, een daarvan afgeleide postcodetabel zal ook dan weer niet alle postcodes omvatten en van de postcodes die er wel instaan zal de huisnummerreeks niet volledig bekend zijn.

Voorbeeld, voor deze straat in Amsterdam geeft Postcode.nl:
Code:
Postcode Straat        Reeks     Woonplaats
1093 SN  Roomtuintjes  1 t/m 19  AMSTERDAM
1093 SN  Roomtuintjes  2 t/m 20  AMSTERDAM

Roomtuintjes is een typische "woon"-straat, niet veel rechtspersonen daar die in het Handelsregister opgenomen zijn. Dit heeft zijn weerslag op een daarop te baseren postcodetabel:
Code:
Postcode  Soort  Van  Tot
1093 SN       1    3   15
1093 SN       0   20   20

Meer in lijn met de zienswijze van "ICT-jurist" Engelfriet is mogelijk het vergaren van postcodegegevens in de archieven van zoekmachines. Wat als je bijvoorbeeld alleen bij Google zou kijken, je diversiteit aan bronnen wordt dan groter en ook je afstand tot de bron, immers het is nu Google die de gegevens toont. Dan had de bronhouder als die bezwaar heeft zijn maatregelen maar moeten nemen?

En op dat moment kan je ook met voorkennis gaan opvragen? Want als het erop aankomt dan is uitsluitend wijzen naar de onafhankelijke vindplaats van de gevonden 'open source'-postcode al afdoende?

Een testje met gericht het huisnummerbereik "Roomtuintjes 1-19 1093 SN AMSTERDAM" bij Google opvragen. Zou je een 'open source'-postcodedatabase dan toch zomaar uit de 'cloud' kunnen plukken?


Last edited by Weerman on Mon Nov 03, 2008 21:08; edited 2 times in total
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 03, 2008 20:55    Post subject: Reply with quote

Als het initiatief van webontwikkelaar Kees van den Broek voor een 'open source'-postcodedatabase inderdaad juridisch overeind gehouden kan worden dan zou mijn zoekrobotje alleen zijn pootje gaan optillen bij lantaarnpalen van Google:
Code:
Dim t, key, qry, searchRes

'deze keys worden niet meer uitgegeven maar zijn nog wel te gebruiken
'dit is nep-key, een key zoeken m.b.v. Google of Google Codesearch is goed te doen

key = "afMiArvpa7ewdYQCFiH3JNGr8IqIDRgyI"

qry = "site:super-zoeker.nl 1093 sn (Roomtuintjes 2-20, Amsterdam) -maps.google.com"

Set t = CreateObject("pocketSOAP.HTTPTransport.2")

Set res = GoogleSearch(qry, 0, 10, True, "", False, "", "", "")

searchRes = res.ItemByName("resultElements").Value

WScript.echo searchRes(0).Nodes.ItemByName("URL").Value
WScript.echo Replace(searchRes(0).Nodes.ItemByName("snippet").Value, "·", vbCrLf)

Function GoogleSearch(searchTerm, _
                      start, _
                      maxResults, _
                      MatchFilter, _
                      restrict, _
                      safeSearch, _
                      languageRestrict, _
                      inputEncoding, _
                      outputEncoding)

  Dim e
 
  With CreateObject("PocketSOAP.Envelope.2")
 
    .SetMethod "doGoogleSearch", "urn:GoogleSearch"

    With .Parameters
      .Create "key", key
      .Create "q", searchTerm
      .Create "start", start
      .Create "maxResults", maxResults
      .Create "filter", MatchFilter
      .Create "restrict", restrict
      .Create "safeSearch", safeSearch
      .Create "lr", languageRestrict
      .Create "ie", inputEncoding
      .Create "oe", outputEncoding
    End With

    t.SOAPAction = "urn:GoogleSearchAction"

    t.Send "http://api.google.com/search/beta2", .serialize
 
    .parse t
 
    Set GoogleSearch = .Parameters.Item(0).Nodes
 
  End With
 
End Function

Vrij naar de samplecode die met 'pocketSOAP' meekomt, levert:
Code:
http://www.super-zoeker.nl/Noord-Holland/Amsterdam/Roomtuintjes/1093sr/
<b>1093 sn</b> (<b>Roomtuintjes</b> 1-19, <b>Amsterdam</b>)
<b>1093 sn</b> (<b>Roomtuintjes 2-20</b>, <b>Amsterdam</b>) <br> 
<b>1093</b> sp (<b>Roomtuintjes</b> 21-39, <b>Amsterdam</b>)
<b>1093</b> sp (<b>Roomtuintjes</b> 22-40, <b>...</b>

Dit zijn dus 'url' en 'snippet' behorende bij een zoekresultaat van Google (via de oude Google-API). De ooit door Google geindexeerde webpagina wordt niet bezocht, toch keert de zoekactie terug met straatnaam, postcode alsmede oneven en even huisnummerbereik van een postcode voor de nieuwe 'open source'-postcodetabel.
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 10, 2008 20:48    Post subject: Reply with quote

Verder over een vrij te gebruiken postcodebestand ...

Nog een andere oproep terzake:
Quote:
Help mee met een open gratis postcodebestand van Nederland!

Waarom gaan we niet met z’n allen werken aan een vrij postcodebestand?

Wat zou het mooi zijn als ook wij in Nederland zo’n postcodebestand zouden hebben, waarvan iedereen gratis gebruik kan maken en waarbij iedereen helpt om het up-to-date te houden.

Wie wil meehelpen? We hebben onder andere juristen, technici en studenten nodig. Laten we het monopolie doorbreken en elkaar helpen.

Durk Jan de Bruin

www.postcodevrij.nl

Durk Jan de Bruin: bijv. in Wikipedia is te lezen dat het gaat om iemand die al ervaring heeft opgedaan met "elkaar helpen".

Ook hij stelt voor om postcode-gegevens los van de bestaande postcodedatabase bij elkaar te gaan sprokkelen, analoog aan het idee achter het bovengenoemde 6PP.

Mag dat? Op de webpagina van 6PP wordt gesteld:
Quote:
Samenvattend: "Postcodes zijn feitelijke gegevens, en die mag je dus verzamelen en publiceren zoals je zelf wilt.

Ik betwijfel of er een databankrecht zit op de lijst zoals TPG die beheert. Maar er is niets mis met internet afstruinen en alle postcodes in een eigen databank stoppen die je ziet."

Dat lijkt niet te sporen met wat daarover in de aanloop van de nieuwe Postwet geadviseerd is:
Quote:
Toegang tot postcodesystemen

Aangenomen moet worden dat een postcodesysteem een databank vormt in de zin van de databankregelgeving. Een postcodesysteem vormt immers een verzameling van gegevens, die systematisch of methodisch geordend en afzonderlijk met elektronische middelen of anderszins toegankelijk zijn en waarvan de verkrijging, de controle of de presentatie van de inhoud in kwalitatief of kwantitatief opzicht getuigt van een substantiële investering.

Een postcodesysteem dat aangemerkt kan worden als een databank, kan twee soorten bescherming genieten: auteursrechtelijke bescherming (bescherming tegen verveelvoudiging en openbaarmaking) en bescherming door een sui generis recht (bescherming tegen opvraging of hergebruik). Voor auteursrechtelijke bescherming komt het systeem in aanmerking als het door de keuze of rangschikking van gegevens een eigen intellectuele schepping vormt van de maker.

Bescherming door het sui generis recht speelt een rol als sprake is van een substantiële investering door de maker (lagere drempel). Onder omstandigheden kunnen beide regimes van bescherming naast elkaar van toepassing zijn.

Advies Raad van State liberalisering postmarkt

De eerder door 6PP aangehaalde jurist daarover iets genuanceerder in zijn eigen commentaar:
Quote:
Alle postcodes op een rijtje
...
Geschriftenbescherming? Wederom nee, de postcodedatabank is geen geschrift. Databankenrecht dan maar?

Zoals vaste lezers wel weten, is een databank beschermd als de bouwer een substantiële investering heeft gedaan (tijd, geld of moeite) om die databank op te bouwen of te onderhouden.
...
De hele site Postcode.nl leegtrekken zou ik dus niet adviseren, want als er een databankrecht zit op dat bestand, dan is dat leegtrekken een inbreukmakende handeling.

Internetrecht door Arnoud Engelfriet

Genoemde Postwet zal worden aangepast om concurrentie tussen "postvervoerbedrijven" mogelijk te maken. Over de rol van het Nederlandse postcodesysteem daarin:
Quote:
Postcodesysteem – postvervoerbedrijven

Hoewel het gebruik van de postcode voor meer functies dan alleen de postbezorging wordt gebruikt, richt het wetsvoorstel zich op de betekenis van de postcode voor de goede werking van een volledig geliberaliseerde postmarkt.

In het wetsvoorstel is een bepaling opgenomen om de toegankelijkheid van het postcodesysteem, bijvoorbeeld het leveren van een maandelijkse update, voor alle postvervoerbedrijven te garanderen, aangezien veel postvervoerbedrijven en hun klanten hun processen op de postcode hebben ingericht. Het postcodesysteem heeft zichzelf als systeem voor de behandeling en sortering van post bewezen en wordt in Nederland breed toegepast.

Om te voorkomen dat postvervoerbedrijven anders worden behandeld dan klanten, waardoor een toetredingsdrempel zou ontstaan, is in het wetsvoorstel de voorwaarde opgenomen dat de postcodebeheerder postcodegegevens binnen een redelijke termijn en tegen transparante en non-discriminatoire tarieven levert. Dit ligt in het verlengde van de algemene bepalingen omtrent onderlinge dienstverlening door postvervoerbedrijven.

De postcode dient ter ondersteuning van de bezorging en is, als het gaat om de functie die het heeft voor postmarkt, geen aparte dienst. De voorwaarden en vergoedingen worden in onderling overleg bepaald. Bij gebreke van overeenstemming kan een geschil aan het college worden voorgelegd.

EZ - Memorie van toelichting liberalisering postmarkt

Niet alleen om postbedrijven tegen elkaar in bescherming te nemen, ook de consument, de toelichting weer:
Quote:
Postcodesysteem – consument

In het wetsvoorstel is opgenomen dat een universele postdienstverlener er in deze situatie voor moet zorgen dat een postcode gemakkelijk en zonder vergoeding kan worden opgevraagd te behoeve van de adressering van post die onder de universele postdienst valt. Indien de universele postdienstverlener de postcode niet zelf beschikbaar stelt, moet hij er voor zorgen dat degene die het postcodesysteem beheert aan deze eis voldoet.

Hoewel het waarschijnlijk is dat het in het belang van de postcodebeheerder zelf is dat de burger gemakkelijk aan postcodes komt, zal de particuliere consument naar verwachting weinig tot geen keuze hebben om op een andere dienstverlener over te stappen wanneer een vergoeding zou worden gevraagd voor de verstrekking ervan. Op de consumentenmarkt wordt immers weinig tot geen concurrentie verwacht.
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 10, 2008 21:04    Post subject: Reply with quote

... dat de burger gemakkelijk aan postcodes komt?

Quote:
de particuliere consument [zal] naar verwachting weinig tot geen keuze hebben om op een andere dienstverlener over te stappen

Andere dienstverleners? In ieder geval tot het moment dat briefpost word vrijgeven kan bijvoorbeeld concurrent Sandd het heel anders aanpakken:
Dit is onderdeel van Sandd's SRP, "Sandd Resource Planning". Sandd zelf daarover
Quote:
Uitgekiende ICT

Het concept van Sandd is geheel ontstaan door ICT op een vernieuwende en unieke manier in te zetten. Door de digitale adresbestanden van klanten voor te sorteren en de post vervolgens conform deze volgorde ook te laten drukken door de grafische afwerker, kunnen alle benodigde resources voor het vervolgtraject optimaal worden bepaald en ingezet.

Zo is vervolgens per bezorgdag het aantal poststukken te bepalen, evenals het gewicht, het aantal binnenkomende pallets, aantal benodigde sorteerders tot aan zelfs hoeveel poststukken er op een vestiging binnen komen en hoeveel een bezorger op desbetreffende bezorgdag gaat verdienen. Dit betekent in de praktijk dat nagenoeg alle afdelingen en vestigingen door dit systeem ondersteund worden. Alle functionaliteiten zijn echter zo uniek en specifiek voor Sandd, dat deze als maatwerk ERP applicatie geheel voor Sandd zijn ontwikkeld.

NationaleVacaturebank.nl - Vacaturedetails -Application Manager

Iedereen die iets wil met de postcodetabel moet dus langs TNT Post en dochter Cendris. Die zien je graag komen - met je bijdrage in de "verstrekkingskosten".
Quote:
Toegang is al geregeld door de mededingingswet.

Op de wijze waarop TNT Post omgaat met de toegang tot de postcode zijn de algemeen geldende mededingingsregels van toepassing zoals deze zijn vervat in de Mededingingswet. De Nederlandse Mededingingsautoriteit (NMa) heeft in 2002 de toekenning van postcodes en het zakelijk gebruik ervan onderzocht en het niet nodig geacht stappen te ondernemen. Sinds het onderzoek door de NMa in 2002 is de toegankelijkheid van de postcode overigens niet gewijzigd en zijn de tarieven bescheiden gestegen.

TNT Post en de Nederlandse postcode, de feiten

Om deze reden moet wetgever dus behoedzaam laveren tussen de burger en deze marktpartij maar ook omdat TNT Post en de overheid tot elkaar veroordeeld zijn. Immers, besloten is de postcode "als niet-authentiek gegeven" toe te voegen aan de Basis Registratie Adressen (BRA*):
Quote:
Confrontatie eisen met huidige situatie

In combinatie met het huisnummer is de postcode ook een heel handig en snel hulpmiddel om eenduidig over een adres te communiceren. In het maatschappelijke verkeer wordt daar veelvuldig gebruik van gemaakt.

Op de laatste, en zeker niet de minste, plaats past de opname van de postcode in de BRA, als onderdeel van het adres, in het streven van het kabinet naar “eenmalige inwinning, meervoudig gebruik” van gegevens door respectievelijk binnen de overheid. Toepassing van dit principe werkt ook kwaliteitsverhogend met betrekking tot publieke dienstverlening, aangezien het de kans op fouten vermindert bij het opvragen en overnemen van postcodes bij respectievelijk van TPG Post. Ook dat is een speerpunt van het kabinetsbeleid.

De laatste twee eisen aan een authentiek gegeven beschouwend, te weten die over de kosten en de transparantie, kan gesteld worden dat daar geen belemmeringen worden opgeworpen. Het gebruik van de postcode door overheidsinstellingen (als eindgebruiker) is gratis, met inachtneming van verstrekkingskosten. De transparantie van het beheer, oftewel de duidelijkheid en openbaarheid van het opvoeren, wijzigen en verwijderen van postcodes, is gemakkelijk te regelen, omdat het om het formaliseren van bestaande, informele afspraken gaat waar alle betrokken partijen tevreden over zijn.

Eindrapport Onderzoek postcode in het kader van de Basis Registratie Adressen

Waar alle betrokken partijen tevreden over zijn? Niet de ex-Startpagina-eigenaar van Postcodevrij.nl:
Quote:
Free the postcode
...
Regelmatig krijg ik verzoeken van kleine webwinkels die de adresgegevens van een bestelling willen controleren aan de hand van de combinatie postcode/huisnummer. Dit kan echter alleen via TNT die het postcodebestand bezit. Winkeliers moeten hiervoor betalen en de bedragen lopen op van enkele honderden tot duizenden euro’s per jaar. Hierdoor zien veel webwinkeliers af van het controleren van de adresgegevens.

www.postcodevrij.nl

Cendris, de dochteronderneming van TNT Post die de postcodedatabase voor haar "vermarkt", beroept zich inderdaad op de databankenwet:
Quote:
Intellectuele eigendom

Voor zover de producten uit gegevens of gegevensbestanden bestaan, mogen deze niet worden "opgevraagd" of "hergebruikt" in de zin van de Databankenwet, behoudens voor zover dit noodzakelijk is ter verwezenlijking van het overeengekomen gebruik van die gegevens of gegevensbestanden.

Het is de opdrachtgever niet toegestaan door Cendris verstrekte gegevens te gebruiken voor een ander doel dan in de overeenkomst bepaald. Behoudens voor zover dit doel dat meebrengt, is het de opdrachtgever niet toegestaan door Cendris verstrekte gegevens aan te wenden om een eigen database op te bouwen of deze te (laten) exploiteren. Het is de opdrachtgever evenmin toegestaan door Cendris verstrekte gegevens aan te wenden om een eigen directory of gids op te bouwen of deze te (laten) exploiteren.

Algemene Voorwaarden Cendris (juli 2007)

*) Alle adressen in Nederland staan hierin. Deze registratie is van groot belang voor de GBA=Gemeentelijke basisadministratie, het vroegere bevolkingsregister en het nieuw op te zetten Handelsregister
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 10, 2008 21:44    Post subject: Reply with quote

Quote:
... gegevensbestanden mogen niet worden "opgevraagd" of "hergebruikt" in de zin van de Databankenwet

Cendris twijfelt kennelijk evengoed nog aan de bescherming die de Databankenwet biedt:
Quote:
Gebruik van door Cendris verstrekte gegevens

Cendris is gerechtigd aan door haar verstrekte gegevens een aantal controlegegevens (zoals adressen) toe te voegen. Indien deze controlegegevens uitwijzen dat de opdrachtgever zich niet houdt aan het overeengekomen gebruik, is daarmee het volledig bewijs van zijn toerekenbare tekortkoming geleverd, behoudens tegenbewijs zijnerzijds.

In geval van overtreding verbeurt de opdrachtgever (per overtreding) aan Cendris een eenmalige, onmiddellijke en niet voor verrekening vatbare boete van € 50.000,--, alsmede een boete van € 5.000,-- voor elke dag of gedeelte daarvan dat de overtreding voortduurt, één en ander onverminderd het recht van Cendris op vergoeding van de door haar geleden en te lijden schade.

Algemene Voorwaarden Cendris (juli 2007)

Zo ook Postcode.nl, in de broncode van haar webpagina's staat al sinds jaar en dag opgenomen:
Code:

<!--  ________________________________________________________________________________  -->
<!--                                                                                    -->
<!--                                                                                    -->
<!--  Het is *NIET* toegestaan om postcodegegevens van deze website                     -->
<!--  geautomatiseerd te verkrijgen door middel van een online koppeling met het        -->
<!--  zoekformulier, of op welke andere wijze dan ook.                                  -->
<!--  Voor het automatiseren van dergelijke opvragingen en het                          -->
<!--  integreren van zoekfunctionaliteiten heeft Postcode.nl diverse                    -->
<!--  product oplossingen.                                                              -->
<!--                                                                                    -->
<!--  Voor handmatig opzoeken op Postcode.nl: Business Account                          -->
<!--  Voor integratie in een database systeem: Postcode database van Nederland          -->
<!--                                                                                    -->
<!--                                                                                    -->
<!--  (c) Postcode.nl B.V.                                                              -->
<!--                                                                                    -->
<!--  Julianastraat 30                                                                  -->
<!--  2012 ES Haarlem                                                                   -->
<!--  Tel. 023 532 56 89                                                                -->
<!--  Fax 023 531 43 32                                                                 -->
<!--  info@postcode.nl                                                                  -->
<!--                                                                                    -->
<!--  ________________________________________________________________________________  -->
<!--                                                                                    -->
<!--                                                                                    -->
<!--  Belangrijkste voorwaarden m.b.t. postcodegegevens                                 -->
<!--                                                                                    -->
<!--  De postcodegegevens worden aan de Klant uitsluitend ter beschikking               -->
<!--  gesteld voor persoonlijk gebruik c.q. voor strikt intern gebruik binnen           -->
<!--  de onderneming van de Klant. Koninklijke TPG Post B.V. is rechthebbende           -->
<!--  op de auteursrechten, andere intellectuele eigendomsrechten en/of rechten         -->
<!--  op de postcodegegevens en/of databanken. Het ter beschikking stellen van          -->
<!--  de postcodegegevens strekt niet tot overdracht van één of meer van deze           -->
<!--  rechten. Het is de Klant niet toegestaan de postcodegegevens te verhandelen,      -->
<!--  te reproduceren of anderszins ter beschikking te stellen aan derden.              -->
<!--  Koninklijke TPG Post B.V. staat niet in voor de juistheid en de volledigheid      -->
<!--  van de postcodegegevens. Koninklijke TPG Post B.V. aanvaardt geen                 -->
<!--  aansprakelijkheid voor schade die ontstaat door gebruik van de postcodegegevens.  -->
<!--  De Klant is aan Postcode.nl BV een onmiddellijk opeisbare boete ter grootte       -->
<!--  van € 7.000 (zeven duizend Euro) per gebeurtenis verschuldigd indien de           -->
<!--  eindgebruiker in strijd handelt met het hiervoor genoemde, onverminderd het       -->
<!--  recht van Postcode.nl BV om aanvullende schadevergoeding te vorderen voor de      -->
<!--  overige geleden schade indien en voor zover de schade meer bedraagt dan het       -->
<!--  boetebedrag. Postcode.nl BV behoudt zich het recht voor om deze voorwaarden       -->
<!--  zonder voorafgaande aankondiging te wijzigen.                                     -->
<!--                                                                                    -->
<!--  ________________________________________________________________________________  -->

Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Nov 10, 2008 22:33    Post subject: Reply with quote

Quote:
De Klant is een onmiddellijk opeisbare boete per gebeurtenis verschuldigd indien de eindgebruiker in strijd handelt met het hiervoor genoemde ...

Durven we nog? Het zoeken is naar bronnen voor vrij te gebruiken postcodedata, mag iemand bijvoorbeeld zomaar integraal de "postcode"-kolom kopieren uit de zgn. "straatnamenboeken" van gemeenten als Amsterdam, Breda, Wijk bij Duurstede, Cothen en Langbroek?

Als dat toegestaan zou zijn, dan krijgen de aspirant-beheerders van de nieuwe 'open source-', dan wel 'vrije-' postcodedatabase wel te maken met gegevens die afwijken van het officiële postcodeboek.

Nemen we als voorbeeld de lijst van gemeente Amsterdam:
Quote:
Gemeente Amsterdam
Dienst Persoons- en Geo-informatie
Straatnamenboek Amsterdam 2008
Bijgewerkt tot juni 2008

Daarin staan straatnamen opgesomd met hun oneven en even huisnummerreeksen en de bijbehorende 6-positie postcode:
Quote:
Postcode

De postcode bestaat uit vier cijfers en twee letters. De cijfers geven aan een woonplaats of een wijk in een woonplaats; de letters hebben betrekking op een groep van ongeveer 25 woningen, bedrijfspanden e.d. of op een aantal postbussen. Indien de letters ontbreken, betekent dit dat in de betreffende straat geen afgiftepunten aanwezig zijn, of dat de “twee letters” (nog) niet toegekend zijn.

Gemeente Amsterdam - Straatnamenboek Amsterdam 2008

Of het zich leent voor overname in dat "open gratis postcodebestand van Nederland" is de vraag want bijvoorbeeld postcode "1028" uit het Straatnamenboek ziet er vergeleken met de overeenkomstige gegevens van "wederverkoper" Postcode.nl al anders uit:
Code:
Straatnamenboek Amsterdam 2008
      
postcode  van    tot    straatnaam      
1028       26     26    Durgerdammergouw   
1028       60     60    Poppendammergouw   
1028 AX    25     35    Nieuwe Gouw      
1028 AX    49     55    Nieuwe Gouw      
1028 AZ     8     32    Poppendammergouw   
1028 AZ    19     19    Poppendammergouw   
1028 BA     3      3    Belmermeer      
1028 BA     3      5    Belmermeer      
1028 BA     4      6    Belmermeer      
1028 BB     1     23    Dorpsstraat Holysloot   
1028 BC    25     65    Dorpsstraat Holysloot   
1028 BD     2     22    Dorpsstraat Holysloot   
1028 BE    24     82    Dorpsstraat Holysloot   
1028 BG    18     38    Uitdammerdijk      
1028 BG    25     39    Uitdammerdijk      
1028 BH     9     71    Bloemendalergouw   
1028 BJ     4     60    Bloemendalergouw   
1028 BJ    60    102    Bloemendalergouw   
1028 BK     7     47    Dorpsweg Ransdorp   
1028 BL    51     93    Dorpsweg Ransdorp   
1028 BM    95    133    Dorpsweg Ransdorp   
1028 BN     2     26    Dorpsweg Ransdorp   
1028 BP    30     62    Dorpsweg Ransdorp   
1028 BR    64     80    Dorpsweg Ransdorp   
1028 BS    82    108    Dorpsweg Ransdorp   
1028 BT     2     24    Durgerdammergouw   
1028 BV    76     88    Liergouw      
1028 BV    77     81    Liergouw

Code:
Resultaten zoekopdracht "1028" Postcode.nl

Postcode  Van    Tot    Straat
1028                    Holysloter Die
1028                    Kinselmeer
1028                    Molenslootpad
1028                    Ransdorperdie
1028                    Uitdammerdie
1028                    Weerslootpad
1028 AX    25     55    Nieuwe Gouw
1028 AZ     1     19    Poppendammergouw
1028 AZ     2     32    Poppendammergouw
1028 BA     1      5    Belmermeer
1028 BA     2      6    Belmermeer
1028 BB     1     23    Dorpsstraat Holysloot
1028 BC    25     65    Dorpsstraat Holysloot
1028 BD     2     22    Dorpsstraat Holysloot
1028 BE    24     82    Dorpsstraat Holysloot
1028 BG    18     40    Uitdammerdijk
1028 BG    19     39    Uitdammerdijk
1028 BH     1     71    Bloemendalergouw
1028 BJ     2    102    Bloemendalergouw
1028 BJ    99     99    Bloemendalergouw
1028 BK     1     49    Dorpsweg Ransdorp
1028 BL    51     93    Dorpsweg Ransdorp
1028 BM    95    133    Dorpsweg Ransdorp
1028 BN     2     28    Dorpsweg Ransdorp
1028 BP    30     62    Dorpsweg Ransdorp
1028 BR    64     80    Dorpsweg Ransdorp
1028 BS    82    108    Dorpsweg Ransdorp
1028 BT     2     24    Durgerdammergouw
1028 BV    76     88    Liergouw
1028 BV    77     81    Liergouw

Is het Straatnamenboek van Amsterdam misschien gebaseerd op de hierin beschreven postcodetabel op "huisnummerniveau"? Die is nauwkeuriger dan de postcodetabel op "reeksniveau" van Postcode.nl:
Quote:
Als een gemeente een nieuwbouwwijk aanlegt dan overlegt ze met de TPG postcodecoördinator. Vervolgens wordt er een postcode toegekend en komen de straat en de postcode in de postcodetabel met reeksinformatie, maar nog niet in de Cendris huisnummertabel.

Daarin komt pas het huisnummer als er ook echt een huis is gebouwd en bekend is hoeveel, en waar zich de huisnummers bevinden. Niet alle nummers uit de reeks worden dus ook daadwerkelijk adressen. Postcode.nl baseert zich op de postcodetabel met reeksinformatie.

Kijk je naar de hele lijst van Amsterdam dan valt al meteen vooraan op dat postcode "1011 AA" ontbreekt (die van postbussen ontbreekt sowieso), volgens postcode.nl hoort die wel in de lijst te staan:
Code:
Postcode Straat                  Reeks     Woonplaats
1011 AA  De Ruyterkade Steigers  3 t/m  9  AMSTERDAM
1011 AA  De Ruyterkade Steigers  6 t/m 10  AMSTERDAM

Gemeente Amsterdam moest in ieder geval voor het gebruiken van de postcodetabel betalen?
Quote:
Informatierelatie tussen TPG Post en de gemeenten

In het proces van toekennen van postcodes worden wederzijds geen kosten in rekening gebracht.

Bij de informatieverstrekking wordt onderscheid gemaakt in incidentele verstrekkingen, waarbij het gaat om één adres of enkele adressen, en bulk verstrekkingen, waarbij TPG Post tegen betaling, al of niet periodiek, bijvoorbeeld een postcodebestand levert.

De incidentele verstrekkingen zijn gratis, voor de bulkverstrekkingen worden tarieven in rekening gebracht. Daarbij maakt TPG Post geen onderscheid in publieke en private afnemers.

Eindrapport Onderzoek postcode in het kader van de Basis Registratie Adressen

Maar mocht zij de verkregen postcodegevens in deze vorm verder verspreiden?
Quote:
Indien overeengekomen is dat de opdrachtgever door Cendris verstrekte gegevens op zijn beurt aan een derde ter beschikking mag stellen, is de opdrachtgever verplicht die derde dezelfde verplichtingen op te leggen als hijzelf jegens Cendris uit hoofde van de overeenkomst heeft.

Algemene Voorwaarden Cendris (juli 2007)

De pdf-versie van "Straatnamenboek Amsterdam 2008" is echter in het geheel niet beveiligd en op de website geven ze ook een link naar een Excel-versie. Van daaruit tabellen exporteren is dan nog eenvoudiger. In "Voorwoord" noch "Toelichting" iets over de gebruiksrechten:
Quote:
Met het gereedkomen van de Basisregistratie Adressen ligt de verantwoordelijkheid voor het onderhoud van deze Basisregistratie bij Dienst Persoons- en Geo-informatie (DPG). Hiermee is de verantwoordelijkheid voor het maken van dit boek ook bij DPG komen te liggen.

Gemeente Amsterdam - Straatnamenboek Amsterdam 2008


Last edited by Weerman on Fri Dec 26, 2008 11:51; edited 1 time in total
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Wed Nov 26, 2008 0:08    Post subject: Reply with quote

Eenieder wordt geacht de wet te kennen...

Maar voor een leek lijkt het door de gemeente Amsterdam openbaar maken van de postcode-kolom in het hiervoor beschreven Straatnamenboek nog een hele kluif. Misschien voor een jurist ook nog wel?

De zaak: een gemeente komt met een nieuwe straatnaam, levert die in bij TNT Post en krijgt daarna van hen bericht, welke postcode aan die straat is toegekend. De nieuwe postcode wordt vervolgens opgenomen in zowel de lijst van de gemeente als in die van TNT Post.

Wil de postcodetabel in aanmerking komen voor bescherming vanwege de Databankenwet dan is de vraag, wie van beide heeft de daarvoor zo doorslaggevende "substantiële investering" gedaan? Is het dan TNT Post die het recht op de postcodetabel verworven heeft? Omdat TNT Post uiteindelijk een postcodebestand voor heel Nederland "bijelkaar bracht en ordende"? Anders dan gemeente Amsterdam met alleen "Amsterdam"?

Mag Amsterdam op haar beurt wel haar deel van de postcodetabel openbaar maken zonder dat zij daarbij TNT Post/Cendris schade berokkent? En zou degene die een nieuwe, van meet af aan "rechtenvrije" postcodedatabase wil opzetten, de postcodegegevens daarvoor simpelweg bij elke betrokken gemeente kunnen opvragen?

VNG, Vereniging van Nederlandse Gemeenten, VROM en TNT Post hebben daarover in het zgn. "Postcodeconvenant" afspraken gemaakt:
Quote:
Intellectuele eigendomsrechten

Alle intellectuele (eigendoms)rechten welke ten aanzien van de Postcodes kunnen worden uitgeoefend berusten bij TPG Post. Dit omvat in ieder geval het postcodesysteem met de onderliggende postcodegegevens.

Het staat de centrale en decentrale overheid vrij om met in achtneming van en overeenkomstig hetgeen daaromtrent bij wet is bepaald aan derden Adressen te verstrekken inclusief de door TPG Post op grond van het Nader Convenant verstrekte Postcodes, met dien verstande dat de Postcodes noch door de centrale en decentrale overheid noch door derden voor commerciële doeleinden mogen worden verstrekt dan wel gebruikt.

Ook is afgesproken dat gemeenten bestanden met postcodegegevens niet mogen doorleveren aan private partijen.

Handleiding woonplaatsen

Databases met programmagegevens van omroepen, telefoonnummers of gegevens van huizen die te koop staan, in de ogen van de betrokken rechters was dan weer wel, dan weer niet sprake van een substantiële investering:
Quote:
Een databank is beschermd als er een een substantiële investering voor is gemaakt. Als een databank een bijproduct van een andere activiteit is, is deze niet beschermd als die andere activiteit primair gericht was op iets anders dan het maken van een databank.

Ius mentis - Databankbescherming in Nederland: ook voor spin-offs?

TPG en later TNT Post lijken de louter proces-ondersteunende functie van het postcodesysteem te onderschrijven:
Quote:
Belang TPG Post

- De postcode is en blijft voor TPG Post van eminent belang, enerzijds voor de postsortering die volledig op postcode geschiedt en anderzijds voor het tijdig en op de juiste plaats bezorgen van post.

- TPG Post heeft er geen direct belang bij dat de postcode in de BRA wordt opgenomen. Wel is het zo dat het noodzakelijk is dat overheidsinstellingen de (juiste) postcode bij correspondentie gebruiken voor een tijdige aflevering.

Eindrapport Onderzoek postcode in het kader van de Basis Registratie Adressen

Quote:
Hoe waarborgt TNT Post de kwaliteit van het postcodesysteem?

TNT Post heeft als geen ander een heel groot belang bij het feit dat het postcodesysteem klopt en van hoge kwaliteit is. Onze bedrijfsvoering leunt zwaar op de postcode als ordeningsprincipe. Denk aan onze sorteercentra en postbezorging waarin vele tienduizenden mensen werkzaam zijn.

TNT Post - Factsheet postcodes

Het postcodesysteem is een bijproduct van de kernactiviteit van TNT Post, "postvervoer", en dus geen databank? Bij TNT Post zien ze de bui kennelijk al hangen want er wordt aan toegevoegd:
Quote:
Daarnaast is ons bedrijf zich zeer zeker bewust van de maatschappelijk relevantie van de postcode bij bedrijven en overheid.

.. en hebben het vermarkten van de postcodebestanden doorgeschoven naar TNT-dochter Cendris. Een andere jurist daarover weer:
Quote:
Een interessante vraag in dit verband is of het afdoende is om een aparte rechtspersoon op te richten die zich louter bezig houdt met het produceren van (het vroegere 'bijproduct') databanken. Indien dit zo zou zijn, dan zou een bijproduct alsnog de status van een hoofdactiviteit kunnen krijgen.

In geval van nood gaan ze er anders van overheidswege wel voor liggen:
Quote:
De postcode heeft in de loop der jaren een andere en bredere functie gekregen dan alleen de postsortering, waardoor de postcode een publieke functie heeft gekregen.

Kamervragen postcodeproblematiek

Dat is natuurlijk ook zo:
Quote:
Ons postcode dating systeem vind een leuke lekkere meid in jouw buurt die zin heeft in jouw.

MarktNet - Advertenties - Prijs: Gratis

Of anders, waar duikt een eerder geregistreerd en vervolgens uitgegeven bankbiljet weer op:
Quote:
Biljet rapport

Biljet Vxxxx8716xxx is 2 keer ingevoerd.
Dit is een 5 eurobiljet uit 2002. De short code is Mxxxxx.
Dit betekent dat het biljet gedrukt is bij Fabrica Nacional de Moneda y Timbre (Spain - Madrid) voor Spanje.

Gebruikers die het biljet hebben geregistreerd zijn:

Gebruiker Datum Ingave Locatie Opmerking

Koen vde 2007-07-27 20:17:40 Antwerpen 2018
Roolio 2007-05-19 19:11:17 Beuningen 6641

EuroBillTracker - Volg je eurobiljetten in hun sporen!

.. afkomstig van welke prijs in welk postcodegebied:
Quote:
3 prijzen op postcode 6641
In wijk: Beuningen

Datum Postcode Prijs Soort
08/2006 6641 € 5
04/2006 6641 € 5
01/2006 6641 € 3

Quipus Postcode Loterij Statistieken

TNT Post en licentiehouder Cendris, monopoliseren zij niet de postcode, geenszins zegt de minister om het voormalige staatsbedrijf en haar dochter uit de wind te houden ...

Dank u wel, u mag weer gaan zitten, vervolgens geef ik het woord aan de heer Pors inzake KONINKLIJKE TNT POST B.V. en CENDRIS DATACONSULTING B.V. tegen De MINISTER VAN VERKEER EN WATERSTAAT gevestigd te Den Haag:
Quote:
1. Zoals in de gronden voor het bezwaar al aangegeven, is TNT Post de producent van het Postcodebestand. Cendris exploiteert het Postcodebestand op grond van een licentie van TNT Post, onder de naam Postcodetabel.

2. Het Postcodebestand bevat uiteraard alle postcodes voor Nederland, maar daarnaast nog veel meer informatie. Het is een systematisch geordende verzameling van onder meer woonplaatsnamen, straatnamen, huisnummers, postcodes en overige informatie waarmee dit bestand verder verrijkt is. TNT Post heeft gedurende vele jaren substantieel geïnvesteerd in het Postcodebestand, zowel in de productie van het bestand als in de controle en de presentatie van het bestand. Het Postcodebestand moet dan ook worden aangemerkt als een databank in de zin van de Databankenwet en de DatabankenRichtlijn, waarvan TNT Post de producent is.

Ambtelijke bezwarencommissie VWS - Pleitnotities gemachtigde TNT Post/Cendris

Dit is dus wat ze tegen je proberen in te brengen:
Quote:
17. Hiermee staat vast dat de Staat inbreuk maakt op het databankrecht van TNT Post. Dit is verboden en de civiele rechter zal dan ook zonodig op vordering van TNT Post een verbod tot verspreiding van het NWB opleggen.

.. als je dit fout doet:
Quote:
14. TNT Post en Cendris hebben daarnaast geconstateerd dat de straatnamen in het NWB, zoals dat per CD-rom voor wat betreft de provincie Zuid-Holland ter beschikking is gesteld, ontleend zijn aan het Postcodebestand. Daartoe is een vergelijking gemaakt van de schrijfwijzen van die straatnamen, zoals die in de verschillende bronnen van straatnamen voorkomen. Hieruit blijkt dat fouten die in het Postcodebestand voorkomen, ook voorkomen in het NWB, maar niet in dezelfde mate in andere bronnen. Dit kan niet anders verklaard worden dan doordat de straatnamen in het NWB ontleend zijn aan het Postcodebestand.

Heel ver kwam Bird & Bird niet:
Quote:
6 Beslissing

1. Op grond van hetgeen hiervoor onder 3. is overwogen, worden de bezwaren van TNT Post en Cendris ongegrond verklaard.
In het NWB zal niet op postcode gezocht kunnen worden.

Min. V. & W. Eurlings - Beslissing op bezwaar
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Sun Dec 14, 2008 22:11    Post subject: Reply with quote

Hoe gaat het met de nieuwe gratis 'postcodetool' waar Webwereld een maand geleden over schreef:
Quote:
Gratis postcodetool gaat 'open source'

6PP is een gratis webdienst voor conversie van postcodes naar straten en woonplaatsen. Het is een initiatief van webontwikkelaar Kees van den Broek. Hij verzamelde welke straatnamen bij welke postcodes horen via een zelfgeschreven webspider die websites afspeurt naar postcodes.

De postcode-lookup is onder meer handig voor webformulieren waarbij mensen hun adres moeten invullen. Na invullen van de postcode vult het systeem automatisch de straat- en plaatsnaam in. Het gebruik van een database met alle postcodes kost normaal gesproken geld.

Zo te zien vindt van den Broek het al heel mooi als "6PP" een straat- en plaatsnaam kan leveren aan webformulieren. En dat is het ook, het blijft toveren. Al moet je de invuller van je formulier wel op een slimme manier weten duidelijk te maken dat hij of zij vooral niet met zijn of haar adres moet beginnen. Dat wordt wel eens irritant of soms zelfs met een snauw opgelost, weg magie.

En, alleen de straat- en plaatsnaam bij een postcode leveren, daar zie ik hem nog wel mee wegkomen, dat zullen "bronhouder" TNT Post en "licentienemer" Cendris minder snel als inbreuk beschouwen.

In de toen meteen maar opgehaalde database-snapshot kon je zien wat de opbouw van het bestand was:
Code:
CREATE TABLE "addressentry" (
   id INTEGER NOT NULL,
   created TIMESTAMP NOT NULL,
   postcode VARCHAR(6),
   street VARCHAR,
   streetnumber VARCHAR,
   city VARCHAR,
   source VARCHAR,
   PRIMARY KEY (id)
);

De website van "6PP" vandaag:
Quote:
Volledigheid database: 78,22%

Afgemeten aan ".. de laatst bekende omvang van 640.000 postcodes". Dat is verwarrend, want tot voor kort waren er helemaal geen huisnummers (en geen postbussen) in de tabel van "6PP" opgenomen.

Geen huisnummers? Dan ook geen "links" en "rechts", en dus geen "oneven" en "even" regels. De betreffende postcodetabel 'aggregeert' in dat geval alleen over postcode en straatnaam, dan komt je uit op een wat kortere tabel van een dikke 490 duizend regels. In dat geval zou het "vrije postcodebestand" van "6PP" met bijna 489500 regels al redelijk compleet zijn?

Volgens het getoonde schema was het echter wel de bedoeling om achter een postcode ook een huisnummer te vermelden. Zo'n volledige tabel met regels voor steeds één postcode met steeds één huisnummer zou veel langer worden dan die geschatte 640.000 regels. Ook al blijken de beschikbare reeksen huisnummers vaak genoeg maar voor de helft in gebruik te zijn. Wat dan hier en daar weer gecompenseerd wordt door de huisnummertoevoegingen, zoals te zien in deze "Testset Postcodetabel" die bij data-leverancier Cendris opgehaald kan worden:
Code:
Cendris Postcodetabel op HUISNUMMER-niveau:

1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100085
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100087HS
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100087I
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100087II
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100087III
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100089
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100093
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100095HS
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100095I
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100097HS
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100097I
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100097II
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100097III
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100099HS
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100099I
1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L21100099II

De lengte van zo'n lijst "op huisnummerniveau" zou zonder en met huisnummertoevoegingen 7,5 of 8 miljoen regels zijn, op dat moment zou het "percentage ingevuld" van "6PP" zakken naar wat is dat, 6 of 7 procent?

Aan de eerder getoonde opzet zit ook nog iets van een privacy-aspect, dit is uit een van de snapshot's die van "6PP" genomen is:
Code:
postcodereeks       aantal    bron
1000AD    3700AM        57    pvdv
1011AA    9999XL    453086    buurtlink.nl
1011DA    9999ZZ      2819    zoekplaats.nl
2152SM    2152SM         1    *quicknet.nl
2282DR    2282DR         1    *gmail.com
2513KH    2614HT         2    Harry
2800CC    2800CC         1    *internetgilde.nl
3826EG    3826EG         1    Alfons van Z....
4200AR    9700AH         3    Samplevb.net
5951DN    5951DN         2    M....
7500AE    9264LV         3    user
7522ZB    7522ZB         1    Hans B....
8319AB    8319AB         1    Gevonden op schokland.nl - *gmail.com

Je kan het hieraan al een beetje zien, gecombineerd naar bron zou daar later eventueel van alles uit op te maken zijn, zeker als er grotere aantallen vermeldingen, afkomstig van crawler's ingeleverd gaan worden. Wat als bijvoorbeeld door zo'n schraper deze of gene ledenlijst in Excel aangetroffen wordt, de postcode en mogelijk ook het huisnummer van ieder lid komt dan onder dezelfde gemene deler in de "6PP"-database te staan. Postzegelverzamelaars, carnavalsvereniging? Psoriasispatienten? Dat wil je helemaal niet.

CBS doet daar ook om die reden iets aan in haar "kerncijfer"-bestand op basis van de 6-positie-postcode:
Quote:
Om redenen van betrouwbaarheid en geheimhouding zijn er op de cijfers beveiligingsprocedures toegepast.

Als je nu bij "6PP" een 'snapshot' van de database ophaalt dan wordt duidelijk dat er sprake is van voortschrijdend inzicht:
Code:
CREATE TABLE 'addressentry' (
        id INTEGER NOT NULL,
        created TIMESTAMP NOT NULL,
        postcode VARCHAR(6),
        street VARCHAR,
        streetnumber_begin INTEGER,
        city VARCHAR,
        source VARCHAR,
        streetnumber_end INTEGER,
        preference INTEGER,
        active BOOLEAN,
        PRIMARY KEY (id)
);

Men heeft bij "6PP" dus plaats ingeruimd voor een postcode met een huisnummerreeks, alleen de oneven-even-indicator ontbreekt nog. Maar er wordt op dit moment sowieso nog niet geaggregeerd door "6PP":
Code:
postcode  straat      laag   hoog
3083CX    Zuidplein    346    346
3083CX    Zuidplein    374    374
3083CX    Zuidplein    376    376
3083CX    Zuidplein    384    384
3083CX    Zuidplein    388    388
3083CX    Zuidplein    400    400
3083CX    Zuidplein    434    434
3083CX    Zuidplein    458    458
3083CX    Zuidplein    464    464
3083CX    Zuidplein    470    470
3083CX    Zuidplein    534    534
3083CX    Zuidplein    536    536
3083CX    Zuidplein    568    568
3083CX    Zuidplein    594    594
3083CX    Zuidplein    664    664
3083CX    Zuidplein    678    678
3083CX    Zuidplein    686    686

Een adres is als het erop aan komt al beter te controleren op basis van én de postcode én het voorkomen van het huisnummer in de bijbehorende reeks. Dat biedt ook soelaas voor een aantal postcodes met meer dan een straatnaam:
Quote:
Zoeken van postcodes of adressen

De basis van de postcode database op reeksniveau zijn de circa 640.000 postcodes met bijbehorende even of oneven huisnummerreeks (bijv. 2,4,6,8 etc). Bij zo’n combinatie van postcode en huisnummerreeks hoort altijd maar één straat en dus ook maar één plaats. Het kan dus voorkomen dat een postcode 2 straten of meer bevat, maar aan de hand van het huisnummer kan de juiste straat achterhaald worden.

Postcode.nl - Postcode database van Nederland

En voor "6PP" zou de resulterende tabel weer hanteerbare afmetingen gaan krijgen. Vergelijk het uitgeschreven "Zeedijk"-lijstje hierboven met de één-regelige "het-huisnummer-moet-tussen-85-en-99-liggen"-Zeedijk:
Code:
Cendris Postcodetabel op REEKS-niveau:

1012AT00008500099AMSTERDAM    AMSTERDAM    ZEEDK    Zeedijk    L211

De inzetbaarheid van de service van kvdb.net/projects/6pp/ zou dan toenemen, bijvoorbeeld voor dit soort toepassingen:
Quote:
Alle orders die ingestuurd worden via EDI gecontroleerd op juistheid van de adresgegevens.

- Aflevergegevens die correct zijn worden gewoon (zonder verdere melding) verwerkt
- Aflevergegevens die qua huisnummer en postcode kloppen, maar waar de straatnaam afwijkt van hetgeen is ingestuurd dan wordt de order verwerkt, maar wordt wel in de EDI (http) melding terug weergegeven:
According to our pstc-check, namc has been changed from "Dedooruingez.str. 1a" to "Dedooruingezondenstraat 1A".

- Aflevergegevens die qua postcode niet kloppen worden NIET verwerkt noch geaccepteerd. In de EDI (http) melding die wordt weergegeven staat:
Pstc does not exist in pstc database
- Aflevergegevens die qua huisnummer buiten een postcode-reeks vallen worden NIET verwerkt noch geaccepteerd. In de EDI (http) melding die wordt weergegeven staat:
Housenumber "xxxxx" not within range (xxxxx - xxxxx)

ETC - Best'Store

Als men de huisnummerreeksen van "6PP" behoorlijk zou weten in te vullen kom je in zo'n geval dus een heel eind al blijven er beperkingen aan een tabel "op reeksniveau":
Quote:
Niet alle huisnummers binnen een reeks hoeven daadwerkelijk te bestaan, met de TNT postcode database op huisnummerniveau is het wel mogelijk om te controleren of een huisnummer daadwerkelijk bestaat. Deze database geeft elk postaal afgiftepunt weer inclusief de toevoeging. Zo kunt u altijd controleren of een adres daadwerkelijk bestaat.

Postcode.nl - Postcode database van Nederland

Een snoodaard die een deel van zijn crimineel verworven opbrengst herinvesteert in zo'n dure, geheel uitgeschreven huisnummertabel, die kan immers daarin een niet-bestaand adres selecteren dat wel in een bestaande huisnummerreeks voorkomt. Voor een webwinkel als hierboven aangehaald al reden tot voorzichtigheid, helemaal bij het aanleggen en het onderhoud van de nieuwe basisregistraties van de overheid.
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Thu Dec 18, 2008 0:16    Post subject: Reply with quote

Experiment ...

Een 'random' selectie van duizend postcodes aan de websearch-API's (Application Programming Interface) van Google en Yahoo gegeven om te proberen bij iedere postcode ook een straatnaam te krijgen. *

Daarbij is het zaak je zoekvraag zo te stellen dat het gevonden adres volledig of in de url of in de samenvatting getoond zal worden, ook als je via de API zoekt:
Quote:
Supermarkten in Noord-Holland - Amsterdam - Verversstraat bij ...
1011 hz (Verversstraat 1-157, Amsterdam) · 1011 ja (Verversstraat 2-40, Amsterdam). Kies een supermarkt-keten. alles, AH, Aldi, Bas, C1000, Digros, Dirk ...
www.super-zoeker.nl/Noord-Holland/Amsterdam/Verversstraat/1011hz/ - 8k -

De postcode werd in eerste instantie - bijv. zoals nummer 1 van de selectie, "1011 HZ" - beurtelings kaal als "1011HZ" en als "1011.HZ" aan de query meegegeven en vervolgens nog eens in combinatie met de plaatsnaam, dus "10111HZ Amsterdam" en "1011.HZ Amsterdam" om te kijken of dat helpt. Het merendeel van de straatnamen komt er al zonder plaatsnaam uit. **

Om te beginnen met 1000 x opvragen via de (nieuwe) Google-api geeft 907 links verdeeld over 293 verschillende webadressen:
Code:
bron                     aantal
2miljoen.nl                  13
aannemers.telefoongids.com    1
adresopzoeken.nl              1
advizier.nl                   1
afdeling5.nl                  1
...                          ..
...                          ..
zorgadressen.nl               2
zoutkamp.straatinfo.nl        1
zuka.nl                       9
zwammerdam.straatinfo.nl      1
zwembadgids.nl                1

De resterende 93 postcodes met een nog oningevulde straatnaam via de Yahoo-api opvragen levert nog eens 58 straatnamen op.

Van de laatste 35 lege straatnamen komen er alsnog respectievelijk 26, 29 of 32 uit de Google-api als de query met de 'site'-operator verfijnd wordt voor buurtlink.nl, nederland-in-beeld.nl of brandstof-zoeker.nl (uitwisselbaar met super-zoeker.nl, al presteert deze iets minder in de indexen van zoekmachines want hanteert geen 'sitemap').

Deze laatstgenoemde vorm van zoeken levert voor iedere 'target' afzonderlijk consistent dezelfde schrijfwijze van het gevonden adres - wat 'extractie' van de gezochte gegevens uit de omringende tekst eenvoudiger maakt dan bij "wild" zoeken - en als bonus komen daaruit ook nog eens de huisnummerreeksen voor een ingegeven postcode, zie hierboven. Daarbij zijn de webpagina's waar deze gegevens uit komen zo ingericht dat alle postcodes voor een bepaalde straat op één pagina voorkomen of alle straten voor een plaats of alle plaatsen voor een provincie. Dit verhoogt sowieso de trefkans maar je zou ook gericht hele pagina's via de Google-api uit de cache kunnen opvragen.

Twee van de drie overblijvende lege straatnamen heeft kvdb.net/projects/6pp aka 6PP nog. Dat zijn de straatnamen bij deze postcodes die eerder door iemand van 6PP rechtstreeks bij buurtlink.nl zelf werden weggeschraapt. Dus niet zoals in dit proefje - nog maar eens voor de duidelijkheid - gevonden door via hun API te zoeken naar de bijbehorende adressen in de eerder door Google en Yahoo opgeslagen versies van deze en andere webpagina's. De straatnaam bij de derde en laatste postcode heeft 6PP eveneens maar die klopt niet. ***

Alles bijelkaar genomen een verrassend hoog percentage en het bevestigt wat ik al vermoedde, je kan bij Google en Yahoo heel goed een straat- en een plaatsnaam via een postcode opvragen en daarbij ook een groot aantal bronnen aanspreken zonder dat je daarvoor nog eens bij de bewuste websites zelf hoeft aan te kloppen.

Mogelijk hou je in deze opzet de 'bronhouder' van het postcodebestand wat meer op afstand:
  • er is nu geen sprake van "herhaald en systematisch opvragen" uit één enkele databank want de gegevens zijn afkomstig van een groot aantal verschillende bronnen

  • de getoonde 'snippets' met adresgegevens zijn afkomstig van in een eerder stadium al door Google en Yahoo naar de eigen opslag overgehaalde webpagina's, de 'cache', en die doen dat alleen als de eigenaar impliciet toestemming geeft, anders had deze de 'crawlers' van zoekmachines bijvoorbeeld met behulp van een "robots.txt"-bestandje wel tot staan gebracht ****
Tot zover over "indirect schrapen". Er is een nog weer wat andere draai aan de hele opzet te geven, daarover binnenkort verder ...
_________
*) Dit keer nog wel uit het echte postcodeboek. Zelf een postcodetabel maken? Dat kan, het uitgangsprincipe ligt vast, het viercijferdeel loopt van 1000 naar 9999 en het tweeletterdeel van AA naar ZZ, dat resulteert in tabel met een lengte van 9000x26x26 regels.

Laat je de op de cijfers lijkende letters F, I, O, Q, U en Y die niet gebruikt worden, daaruit weg, alsmede de combinaties SA, SD en SS, dan wordt de lijst al korter, 9000x20x20-9000x3. Betrek daarin een zogeheten 4-positie-postcodetabel dan kan over het viercijferdeel van de postcode gelinkt worden met plaatsnamen zoals die voorkomen in bijvoorbeeld een van deze vier vrij beschikbare 4-positie-postcodetabellen. Voor de lijsten met alleen postcode-bereiken steeds de plaatsnaam nemen waar een postcode in valt (where [postcode] between [postcode_laag] and [postcode_hoog]).

Als heilzaam neveneffect daarvan wordt de tabel nog eens de helft kleiner, immers alle niet in gebruik zijnde viercijferige postcodes sluit je daarmee uit. Wat nu nog overblijft is een te groot aantal niet-toegekende lettercombinaties, maar de tabel is in ieder geval in databankenwet-opzicht "steriel", niet besmet.

Een 'clean-room' benadering als deze, geheel los van het bestaande postcodeboek een "synthetische" postcodetabel construeren, geeft je een voorsprong als je je moet verweren tegen klachten als zou je gegevens onwettig overgenomen hebben. Een dergelijke aanpak gebruikte Compaq destijds om de BIOS van de toen nog gloednieuwe Personal Computer (PC) van IBM als eerste zonder juridische repercussies te ‘clonen’ (wat ook tot een gigantische PC-industrie op basis van de daarna ver doorgevoerde standaardisatie geleid heeft).

**) Dit kan ook: "1011HZ*Amsterdam" maar of dat betere resulaten geeft moet nog blijken. Er zitten af en toe subtiele verschillen tussen wat je bij het uitproberen uit de gewone webinterface (de zoekpagina) ziet komen en wat uiteindelijk via de API lukt.

***) 6PP heeft voor postcode 5711 NE: "Floreffestraat Someren", gevonden bij zoekplaats.nl. Maar de postcode voor "Floreffestraat, Someren" loopt volgens postcode.nl van 5711 AA tot 5711 AE. Voor 5711 NE heeft postcode.nl adressen "Dagpauwoog, 2 t/m 60, Someren". Een verse postcode waar nog aan gewerkt wordt?

****) Gegevens uit een database al dan niet opzettelijk laten indexeren is kennelijk al een probleem:
“Tevens geeft DTG aan dat omgekeerd zoeken mogelijk wordt doordat aanbieders van abonnee informatiediensten via internet (de bestanden van) hun websites indexeerbaar maken teneinde meer verkeer te genereren naar de betreffende websites. Het gevolg is dat deze bestanden en websites via zoekmachines zoals Google kunnen worden doorzocht, onder meer door het opgeven van een telefoonnummer. Als zoekresultaat worden vervolgens naam-en adresgegevens gepresenteerd. Door deze indexering maken de betreffende aanbieders dus de facto een “omgekeerd zoeken” dienst mogelijk. DTG verzoekt het CBP en het college tegen deze praktijk (van indexeren) eveneens op te treden.”

Daarbij moet aangetekend worden dat klager, De Telefoongids, en de door haar overgenomen Gouden Gids zich zelf ook “schuldig” maken aan “zoekmachine-lokken”. De twee door Google “geindexeerde” websites, detelefoongids.nl en goudengids.nl waren samen goed voor praktisch een derde van mijn straatnaam-bij-een-postcode-resultaten, respectievelijk detelefoongids.nl met 214 en goudengids.nl met 135 resultaten. In een latere versie proberen dat beter te verdelen over alle beschikbare bronnen, de code sprong nu onmiddelijk als het een straatnaam gevonden had uit de lus met voor Google maximaal 32 resultaten (of 64, daar ben ik nog niet achter).
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Dec 22, 2008 0:58    Post subject: Reply with quote

Quote:
je kan bij Google en Yahoo heel goed een straat- en een plaatsnaam via een postcode opvragen ..

Terug naar het experiment met 1000 postcodes, voor bijna iedere postcode kom je bij Google of Yahoo op een straatnaam, en die straatnaam wordt al volledig getoond in hun lijst met zoekresultaten, dus zonder dat je moet doorklikken naar de oorspronkelijke website zelf.

Van die 1000 straatnamen kwamen er 35 niet zomaar uit. Een meer op een specifieke website toegespitste zoekvraag hielp het eindresultaat naar 997 van de 1000.

Als dat vrij opvragen bij Google en Yahoo echt zo goed gaat, waarom zou je al die straatnamen en postcodes dan uberhaupt nog ophalen om in je eigen databank bij elkaar te gaan zetten? Gewoon laten staan waar ze staan, krijg je ook geen ruzie met TNT Post, de "bronhouder" van de (mogelijk door de Datatabankenwet beschermde) postcodedatabank.

Nee, wie wil weten welke straatnaam bij een postcode hoort, die gaat dat net als ik zelf opvragen bij Google of Yahoo. Bijvoorbeeld via een daarvoor ter beschikking gestelde 'open source'-applicatie. Stel, deze nieuwe 'validatie'-software krijgt in 95% van de gevallen al rechtstreeks antwoord van een van de betrokken zoekmachines, voor de resterende 5% straatnamen zou een daartoe ingebouwde routine kunnen terugvallen op een alternatief:
--- een niet of nog niet geindexeerde pagina alsnog rechtstreeks bij de betrokken website opvragen?
--- incidenteel alsnog opvragen bij de betaalde “postcodevalidatie”-serviceprovider, tarief “Zoeken en verrijken op reeksniveau 1 x 0,06 eurocent”?

Of, je bezorgt de toekomstige gebruikers van je rechtenvrije postcodezoeker een gemeenschappelijke 'fallback'-voorziening met daarin het verschil aan straatnamen die er bij de zoekmachines niet uitkomen. De betreffende webpagina's worden op dat moment (nog) niet door Google of Yahoo geindexeerd en iets van een voorziening doet nu de klok rond zijn best om vast te stellen welke straatnamen dat zijn en probeert deze ontbrekende straatnamen alsnog in de caches van Google en Yahoo terecht te laten komen, via eigen webpagina’s, eventueel met behulp van daartoe geeigende SEO-technieken. En anders zijn deze reservegegevens wel langs een andere weg opvraagbaar te maken voor de uitgezette postcodezoeksoftware.

Als de hoeveelheid ontbrekende straatnamen inderdaad beperkt blijft en de lijst met de hiervoor beschreven "zoveel-mogelijk-bronnen"-methode samengesteld wordt, zou men jou dan nog met goed fatsoen van enige inbreuk op het databankrecht kunnen betichten? Welke server? Welke gebruikers? De eigenlijke servertaak wordt waargenomen door de genoemde zoekmachines en wie daar gebruik van maakt weet je niet.

Todo, eh, niet oplossen maar uitzoeken:
--- wat staat hierover in de gebruiksvoorwaarden voor de Google- en Yahoo-API?
--- door zoekmachines geindexeerde webpagina's van een ander waarin een ingetrokken postcode voorkomt kan je niet zelf laten verwijderen, dat impliceert een een of andere ‘skiplist’ met updates?
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Dec 22, 2008 1:16    Post subject: Reply with quote

Quote:
je kan bij Google en Yahoo heel goed een straat- en een plaatsnaam via een postcode opvragen ..

Opvragen van straatnamen op de manier zoals hiervoor beschreven: dat kan om te testen ook mondjesmaat rechtstreeks buiten zo'n API om, maar bijvoorbeeld Google wil jou om die reden wel eens op de vingers tikken:
Quote:
We're sorry...
... but your query looks similar to automated requests from a computer virus or spyware application. To protect our users, we can't process your request right now.

We'll restore your access as quickly as possible, so try again soon. In the meantime, if you suspect that your computer or network has been infected, you might want to run a virus checker or spy ware remover to make sure that your systems are free of viruses and other spurious software.

If you're continually receiving this error, you may be able to resolve the problem by deleting your Google cookie and revisiting Google. For browser-specific instructions, please consult your browser's online support centre.

We apologise for the inconvenience and hope we'll see you again on Google.

Wikipedia - Google search

Voor geautomatiseerd opvragen hebben ze dus die API's ingericht, daar kan je bijvoorbeeld al rechtstreeks vanuit de browser terecht ..
.. met behulp van een klein beetje javascript, als test:
Code:
<html>
  <head>
    <title>Straat- en plaatsnaam bij postcode via Google</title>
    <script>
      function cbPostcodeLookup(a, b, c, d) {
        url = b.results[0].url;
        url = url.substring(26)
        path = url.split("/")
        alert(path.join("\n"));
      }
    </script>
    <script
      src="http://www.google.com/uds/GwebSearch?v=1.0&callback=cbPostcodeLookup&context=0&rsz=small&hl=nl&q=site:super-zoeker.nl%201093.sp" type="text/javascript">
    </script>
  </head>
  <body>
  </body>
</html>

Webformulieren kunnen ook een straatnaam gaan ophalen via een zgn. 'proxy', bijvoorbeeld dit minimale voorbeeld bij Yahoo die dan in aangepaste vorm straat- en plaatsnaam uit een teruggeven zoekresultaat van Google of Yahoo zeeft en vervolgens gaat vertalen naar een van de gangbare formaten waarin het naar de aanvragende browser teruggestuurd kan worden. Voor een gebruiker die niet beter weet lijkt het daarna alsof ze net als daarvoor rechtstreeks van een serviceprovider als AdresXpress of Webservices.nl komen. Of van 6PP natuurlijk. Anders dan de twee andere aanbieders levert deze de gegevens ook terug in het zgn. JSON-formaat, 6PP heeft een voorbeeld daarvan op de website:
Code:
{"result": [{"city": "Hilversum", "street": "Oude Amersfoortseweg", "postcode": "1212AB"}]}

In een nieuwe indirect-zoeken-opzet zou de voorgaande regel dan het zoekresultaat van Google zijn geweest, ontdaan van de volgende ballast:
Code:
{"responseData": {"results":[{"GsearchResultClass":"GwebSearch","unescapedUrl":"http://www.nederland-in-beeld.nl/Noord-Holland/Hilversum/Oude Amersfoortseweg.html","url":"http://www.nederland-in-beeld.nl/Noord-Holland/Hilversum/Oude Amersfoortseweg.html","visibleUrl":"www.nederland-in-beeld.nl","cacheUrl":"http://www.google.com/search?q=cache:mCQ64TqleaIJ:www.nederland-in-beeld.nl","title":"Hilversum > Oude Amersfoortseweg luchtfoto's / foto's | Nederland  ... ","titleNoFormatting":"Hilversum > Oude Amersfoortseweg luchtfoto's / foto's | Nederland ...","content":" ...  Huisnummers 143 t/m 179 - oneven ( 1212AB ), Huisnummers 154 t/m 186 - even (  1212AK), Huisnummers 181 t/m 223 - oneven (1212AC), Huisnummers 188 t/m 206  ... "}],"cursor":{"pages":[{"start":"0","label":1}],"estimatedResultCount":"1","currentPageIndex":0,"moreResultsUrl":"http://www.google.com/search?oe=utf8&ie=utf8&source=uds&start=0&lr=lang-nl&hl=nl&q=site:nederland-in-beeld.nl+1212AB"}}, "responseDetails": null, "responseStatus": 200}

Na de query:
Code:
h**p://ajax.googleapis.com/ajax/services/search/web?v=1.0&hl=nl&q=site:nederland-in-beeld.nl+1212AB

Als gezegd, behalve straat- en plaatsnaam is langs deze weg ook een huisnummerreeks bij een postcode op te vragen. De "dekkingsgraad" van Google en Yahoo is op dat punt even groot. Suppletie van hetzelfde complementaire percentage ontbrekende gegevens ligt even wat anders, naar schatting 5% procent van de huisnummerreeksen die in het postcodebestand zitten en die nog niet door Google of Yahoo geindexeerd zijn, moet in dat geval rechtstreeks opgehaald worden bij en zorgvuldig verdeeld over het aantal websites dat daadwerkelijk huisnummerreeksen in menu's en formulieren hanteert. Want een complete huisnummerreeks bij een postcode vindt je niet meer zomaar met wat 'crawlen'.

Hoe goed je in je recht staat als je voor deze, relatief kleine, aanvulling van de ontbrekende gegevens louter straatnamen verzamelt - indirect gekoppeld aan de postcodes die je bij een groot aantal door zoekmachines geindexeerde bronnen hebt aangetroffen - en of en hoeveel minder dat wordt als je je tot een veel kleiner aantal rechtstreekse bronnen met huisnummerreeksen zou beperken, wie zal het zeggen.

Wat dat aanvullingen bijelkaar zoeken aangaat, als het op scherpslijpen aankomt heeft zoeken op postcode via een straatnaam, anders dan een straatnaam bij een postcde, waarschijnlijk de voorkeur. Immers, een straatnaam is "publieker" bezit dan een postcode, al is het nog oppassen geblazen als een ander die verzameld en geordend heeft, en zoals in een postcodetabel, in relatie met elkaar gebracht, dan vallen ze - mogelijk - in hun geheel weer onder de Databankenwet.


Last edited by Weerman on Sat Jun 13, 2009 13:59; edited 2 times in total
Back to top
View user's profile Send private message
Jan Peter



Joined: 17 Jun 2007
Posts: 66

PostPosted: Sun Dec 28, 2008 18:57    Post subject: Reply with quote

6PP vertelt niet op de website, hoe ze de aangeboden postcodes valideren.
Hoe weten ze bijvoorbeeld dat hun database voor exact 78,22% volledig is?
Dat kunnen ze alleen exact berekenen, als ze de volledige database gebruiken als referentie.

Voor het opvragen van een postcode bij Google of Yahoo, heb je overigens al een lijst nodig met alle bestaande postcodes.
Ik neem aan dat je niet alle mogelijke combinaties van 1000AA t/m 9999ZZ wilt gaan opvragen bij Google.

Hoe los je dat op Weerman?
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Dec 29, 2008 1:04    Post subject: Reply with quote

He Jan Peter

Kan nu geen verbinding maken met kvdb.net, 6PP dus, maar ik zag van de week dat hij die volledigheids-mededeling niet meer heeft staan, in de cache van Google ook niet meer.

Over het opvragen van een postcode bij Google of Yahoo:

het idee is eigenlijk dat je niet meer een hele lijst gaat zitten opvragen. Iedereen doet dat incidenteel zelf voor de postcode die hij of zij op dat moment aan het invullen is.

Is ie er onverhoopt niet, die postcode, dan gaat dat software-gevalletje dat daarvoor gemaakt zou zijn, hem ergens anders ophalen. Jij kan eventueel terugvallen op het abonnement dat je al had? Mogelijke besparing, 95%. Als je niet door de ondergrens zakt, want in ieder geval bij Webservices.nl vervalt het minimum aantal vooruitbetaalde keren opvragen dat na een jaar resteert.

Wel in bulk opvragen valt in deze opzet onder Plan-B: iemand als Kees van den Broek van 6PP zou bij zichzelf te rade kunnen gaan en zeggen, als dat werkt dan ga ik de vast te stellen lacunes in de dekking van beide zoekmachines opvullen.

In dat geval kan je daar op verschillende manieren naar kijken:

a) het lijkt erop dat het dan zou gaan om een ondergeschikt gedeelte van de gehele verzameling, die van zichzelf in alle opzichten is losgekoppeld van kopiëren en herpubliceren. Net als het bij het onderhoud van een eigen database mag je daarbij de hulp inroepen van een postcodebestand?

b) stel, jij bent het daar niet mee eens. Ik zei het al in het voorgaande deel, het is misschien zuiverder om vanuit een straatnamentabel naar postcodes te gaan vragen als je in bulk wil gaan webschrapen?

Straatnamentabel? Alle ogen zijn hier gericht op Kwatta, dwz. het vrij te geven Nationaal Wegenbestand. Per 1-1-2009 zoals toegezegd halen we dan weliswaar niet, dit is van begin deze maand:
Quote:
De minister van Verkeer en Waterstaat zal geen verzoeken om toestaan
hergebruik NWB in behandeling nemen c.q. de behandeling van ingediende
verzoeken aanhouden, zolang de bestuursrechter nog niet beslist heeft op
het beroep van Falkplan-Andes BV tegen de beslissing op bezwaar van de
minister waarin hij het NWB openbaar maakte en hergebruik vooralsnog
niet toestond.
Nog niet is bekend wanneer de bestuursrechter het beroep zal behandelen.

Via het NWB krijg je ook huisnummer informatie, zij het niet gekoppeld aan de postcodedelen van een straat maar aan de hele straat of aan een NWB-deel van die straat.

c) als je inschat dat je je uitgangspositie juridisch nog verder moet optuigen dan kan je wel degelijk mijn recept voor een synthetische postcodetabel gebruiken. Een stuk langer dan je wil maar gekoppeld aan een 4-positie-postcodetabel slinkt die al tot de helft van het potentiele totaal.

Waar ik ook achter ben inmiddels, in bulk opvragen leidt al snel tot een bijvangst aan postcodegegevens die die waar je naar vroeg overtreft, dat gaat heel hard. Als je je zoals gezegd zou willen beperken tot een straatnaam bij een postcode, dan zou ik daar niet al te veel tegenop zien, een deels virtuele en dus langere tabel afgaan bij het opvragen.

d) heb je voor je juridische bijstand iets van een oorlogskas zoals onze held hier, twee keer failliet inmiddels, dan jas je je hele tabel door eSort, een bulkmail-applicatie en tevens een zeer democratische want gratis postcodetabel van TNT Post. Aan de ander kant komen daaruit dan een groot aantal rolcontainers met vanwege een ongeldige postcode afgekeurde poststukken. Daarmee ram je TNT Post midscheeps. Argument: er kan geen sprake zijn van databankenwet aanspraken, want het is puur de lijst met postcodes die zij nodig heeft om post te sorteren, niet verrijkt met straatnamen of zo, niet zeuren.

Samenvattend:

je moet het dus uit elkaar trekken, allereerst is daar een "argeloze" manier van opvragen: "site:nl+1212ab", dat is het. Zonder voorwetenschap, zoals de schrijfwijze van een langere straatnaam bijvoorbeeld. Uit de eerste 8 alinea's zoekresultaten van de Google-API is dan al heel goed af te leiden hoe een straatnaam met spaties is samengesteld, de meeste stemmen gelden, als het ware. Waar ik het nog niet over gehad heb, die resultaten daarvan zou je nog door de clients-out-there bijvoorbeeld naar 6PP kunnen laten doorseinen. Net echt, daarvoor een dure term verzinnen? Distributed scraping?

Anderzijds de niet-publieke basis van een eventueel door jou ter beschikking te stellen aanvulling op de gaten in de grote postcode-wolk die van Google en Yahoo komt. Als je zover zou willen gaan.


Last edited by Weerman on Mon Dec 29, 2008 1:14; edited 3 times in total
Back to top
View user's profile Send private message
Weerman



Joined: 11 Mar 2006
Posts: 429

PostPosted: Mon Dec 29, 2008 1:06    Post subject: Reply with quote

Quote:
Introductie postcode

In 1977 introduceert PTT de postcode. De postcode maakt het mogelijk om zowel op plaatsnaam als op wijk automatisch te sorteren. Tegenwoordig zijn de sorteermachines zo geavanceerd dat ook op huisnummer wordt gesorteerd.

TNT Post - Iconen Van De Post


Ze doen er daar op die pagina nu wel zonnig over maar post sorteren was lange tijd voornamelijk handwerk. En wat niet hielp, ook voor de introductie van de postcode was het kennelijk een hele toer om de klanten van de PTT bij de les te houden. Voorbeelden van het gebruik van wat was het ook alweer, aanvoegende wijs?, gebiedende wijs, respectievelijk uit 1966 en 1975:


    __

In dezelfde trant werd in 1977/1978 ook het gebruik van de postcode bij het publiek geïntroduceerd. Want dat hebben we geweten, zij hadden er vanaf nu graag de postcode bij. Via affiches, huis-aan-huisbrieven, tv-spotjes en folders worden we er maar eens goed met de neus ingewreven:



Voor deze "uitingen", alsook voor de omslag van een gloednieuw"Postcode"-boek :


    __

.. en een tegelijkertijd uitgebrachte "Postcode"-zegel:



.. werd een eigen lettertype ontworpen:



Had je het adres voorzien van een postcode, bleef het afgestempelde poststuk evengoed nog zeuren:



"Gebruik hem goed", "Gewoon even doen", na deze campagne is het mooi geweest en gaan ze de klant echt achter z'n vodden zitten:


    __

Bij VPRO/Geschiedenis hebben ze onder andere een link naar dit filmpje over de stand van de techniek toen, 1979, een jaar nadat de postcode is ingevoerd:



    Video: Proef met automatische sorteermachines
    Polygoon Hollands Nieuws, 1979, zw/w

Voor een groot deel nog "handbedrijf" in de z.g.n. "arbeids-onaangename uren", aldus de 'voice-over' van het Polygoon-journaal. De resultaten waren ernaar:

Quote:
Vanaf het begin van de 20ste eeuw tot aan de privatisering van de PTT moest de overheid geld toeleggen op de postbezorging. Ondanks de mechanisatie en de invoering van de postcode in 1977 bleef de PTT over het algemeen verliesgevend.

VPRO/Geschiedenis - Het Postkantoor verdwijnt - Na meer dan 200 jaar - za 8 maart 2008


De "Post" zou uiteindelijk het tij weten te keren:

Quote:
Staatsbedrijf werd winstgevend postbedrijf op wereldmarkt

Postcode
Door de in maart 1977 verplichte postcode werd automatische sortering mogelijk hetgeen essentieel was voor een efficiënt automatisch verwerkingsproces. Vijf jaar na de introductie bleek ruim 90 procent van de post voorzien te zijn van de onmisbare postcode, die daarmee de opmaat vormde naar het vaarwel zeggen van de rode verliescijfers.

Document-Manager - Interview 12-dec-2008


De onmisbare postcode.

Zou je niet kunnen volhouden dat TNT Post nu "schatplichtig" is aan ons, de sukkels die jaar na jaar zorgen dat hun post voorzien is van die postcode?


Last edited by Weerman on Thu Feb 18, 2010 17:36; edited 1 time in total
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic    Foondump.nl Forum Forum Index -> Geo Forum All times are GMT + 2 Hours
Goto page Previous  1, 2, 3, 4, 5, 6, 7  Next
Page 4 of 7

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum


Powered by phpBB © 2001, 2005 phpBB Group