<div dir="ltr">Thanks, Tim. I'll take another stab at it this week if I have time. I'm hesitant to try the wider search approach because the list of plant species I have is pretty diverse and I don't think it could conveniently be split into a few taxonomic groups. I don't think it would make sense to try to download all 250M plant occurrences at the kingdom level either.<br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Mon, Apr 8, 2019 at 3:23 AM Tim Robertson <<a href="mailto:trobertson@gbif.org">trobertson@gbif.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">





<div lang="DA">
<div class="gmail-m_2016082289480115046WordSection1">
<p class="MsoNormal"><span lang="EN-GB">Hi Ben,<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">Thanks. Apparently even 300 is too long.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">For background info the issues related to 1) limits on length allowed for HTTP GET (internally there is a GET call) and 2) the workflow engine managing the context for the download imposes a limit.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">Being an asynchronous service, if you polled the API you’d also see the error.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">I’m afraid you either need to reduce the size, or take the approach I suggested of a wider search (e.g. a higher taxon) and then post filtering.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">I hope this helps.<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">Thanks,<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB">Tim<u></u><u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<p class="MsoNormal"><span lang="EN-GB"><u></u> <u></u></span></p>
<div style="border-color:rgb(181,196,223) currentcolor currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12pt;color:black" lang="EN-US">From:
</span></b><span style="font-size:12pt;color:black" lang="EN-US">Benjamin Feinsilver <<a href="mailto:benjamin.feinsilver@gmail.com" target="_blank">benjamin.feinsilver@gmail.com</a>><br>
<b>Date: </b>Monday, 8 April 2019 at 05.07<br>
<b>To: </b>Tim Robertson <<a href="mailto:trobertson@gbif.org" target="_blank">trobertson@gbif.org</a>><br>
<b>Cc: </b>"<a href="mailto:api-users@lists.gbif.org" target="_blank">api-users@lists.gbif.org</a>" <<a href="mailto:api-users@lists.gbif.org" target="_blank">api-users@lists.gbif.org</a>><br>
<b>Subject: </b>Re: [API-users] Requesting Occurrence Data for Large List of Species<u></u><u></u></span></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-US"><u></u> <u></u></span></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal">Hi Tim,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I received an error message (via email) when attempting to post 300 taxon keys:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">"We are sorry, but an error has occurred processing your download."<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Please see attached query file.<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Curl command:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">curl --include --user username:password --header "Content-Type: application/json" --data @query_1.json
<a href="http://api.gbif.org/v1/occurrence/download/request" target="_blank">http://api.gbif.org/v1/occurrence/download/request</a><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">I received a HTTP status code "201 Created."<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><u></u> <u></u></p>
</div>
<div>
<p class="MsoNormal">Ben<u></u><u></u></p>
</div>
</div>
</div>
<p class="MsoNormal"><u></u> <u></u></p>
<div>
<div>
<p class="MsoNormal">On Wed, Apr 3, 2019 at 3:52 AM Tim Robertson <<a href="mailto:trobertson@gbif.org" target="_blank">trobertson@gbif.org</a>> wrote:<u></u><u></u></p>
</div>
<blockquote style="border-color:currentcolor currentcolor currentcolor rgb(204,204,204);border-style:none none none solid;border-width:medium medium medium 1pt;padding:0cm 0cm 0cm 6pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<p class="MsoNormal"><span lang="EN-GB">Hi Benjamin,</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB">Download will be best.</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB">However, there are limits and you will not be able to push 3000 in.</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB">You could either split it into groups of e.g. 300, or use a higher taxon and then implement a post-filter to throw away those not in your list (the latter is
 how I would do it).</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB">I am sorry for this nuisance, and this is a known issue that we do aim to address:
</span><a href="https://github.com/gbif/portal-feedback/issues/1768" target="_blank"><span lang="EN-US">https://github.com/gbif/portal-feedback/issues/1768</span></a><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-US">Thanks,</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-US">Tim</span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-US"> </span><u></u><u></u></p>
<p class="MsoNormal"><span lang="EN-GB"> </span><u></u><u></u></p>
<div style="border-color:currentcolor;border-style:solid none none;border-width:1pt medium medium;padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12pt;color:black">From:
</span></b><span style="font-size:12pt;color:black">API-users <<a href="mailto:api-users-bounces@lists.gbif.org" target="_blank">api-users-bounces@lists.gbif.org</a>> on behalf of Benjamin Feinsilver <<a href="mailto:benjamin.feinsilver@gmail.com" target="_blank">benjamin.feinsilver@gmail.com</a>><br>
<b>Date: </b>Wednesday, 3 April 2019 at 09.33<br>
<b>To: </b>"<a href="mailto:api-users@lists.gbif.org" target="_blank">api-users@lists.gbif.org</a>" <<a href="mailto:api-users@lists.gbif.org" target="_blank">api-users@lists.gbif.org</a>><br>
<b>Subject: </b>[API-users] Requesting Occurrence Data for Large List of Species</span><u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<div>
<p class="MsoNormal">Hello,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">If I have a list of around 3,000 species, and I would like to request occurrence data for each species, is it more efficient to use the Search or Download API?<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">If using the Download API, could I include the list of species in an external query file and use the "in" predicate? For example:<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"><code><span style="font-size:10pt">{</span></code><span style="font-size:10pt;font-family:"Courier New""><br>
<code>  "creator":"userName",</code><br>
<code>  "notification_address": ["<a href="mailto:userName@example.org" target="_blank">userName@example.org</a>"],</code><br>
<code>  "predicate":</code><br>
<code>  {</code><br>
<code>    "type":"in",</code><br>
<code>    "key":"SCIENTIFIC_NAME",</code><br>
<code>    "values":["cat1","cat2","cat3"]</code><br>
<code>  }</code><br>
<code>}</code></span> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Thanks,<u></u><u></u></p>
</div>
<div>
<p class="MsoNormal"> <u></u><u></u></p>
</div>
<div>
<p class="MsoNormal">Ben<u></u><u></u></p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>

</blockquote></div>