<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body text="#000000" bgcolor="#FFFFFF">
<p>Hi Ben,</p>
<p>We've been able to make some changes to our download system, which has increased the limit to beyond 300 species.  The actual limit is unclear, since it depends on the length of the query in characters.  (It also runs particularly slowly.)<br>
</p>
<p>I've rerun your two failed downloads, you should have received an email notification for each of them.  I can see this is probably too late, and you've already worked on splitting to multiple download -- apologies for the delay here.</p>
<p>Cheers,</p>
<p>Matt</p>
<div class="moz-cite-prefix">On 08/04/2019 21:06, Benjamin Feinsilver wrote:<br>
</div>
<blockquote type="cite" cite="mid:CAMvLk_Sy_0-5VD4Z_oqNTdepYLxH1fWcMbmOa0CcESXWuFB2dA@mail.gmail.com">
<div dir="ltr">Thanks, Tim. I'll take another stab at it this week if I have time. I'm hesitant to try the wider search approach because the list of plant species I have is pretty diverse and I don't think it could conveniently be split into a few taxonomic
 groups. I don't think it would make sense to try to download all 250M plant occurrences at the kingdom level either.<br>
</div>
<br>
<div class="gmail_quote">
<div dir="ltr" class="gmail_attr">On Mon, Apr 8, 2019 at 3:23 AM Tim Robertson <<a href="mailto:trobertson@gbif.org" moz-do-not-send="true">trobertson@gbif.org</a>> wrote:<br>
</div>
<blockquote class="gmail_quote" style="margin:0px 0px 0px
          0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">
<div lang="DA">
<div class="gmail-m_2016082289480115046WordSection1">
<p class="MsoNormal"><span lang="EN-GB">Hi Ben,</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">Thanks. Apparently even 300 is too long.</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">For background info the issues related to 1) limits on length allowed for HTTP GET (internally there is a GET call) and 2) the workflow engine managing the context for the download imposes a limit.</span></p>
<p class="MsoNormal"><span lang="EN-GB">Being an asynchronous service, if you polled the API you’d also see the error.</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">I’m afraid you either need to reduce the size, or take the approach I suggested of a wider search (e.g. a higher taxon) and then post filtering.</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">I hope this helps.</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">Thanks,</span></p>
<p class="MsoNormal"><span lang="EN-GB">Tim</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<div style="border-color:rgb(181,196,223) currentcolor
                currentcolor;border-style:solid none
                none;border-width:1pt medium medium;padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12pt;color:black" lang="EN-US">From:
</span></b><span style="font-size:12pt;color:black" lang="EN-US">Benjamin Feinsilver <<a href="mailto:benjamin.feinsilver@gmail.com" target="_blank" moz-do-not-send="true">benjamin.feinsilver@gmail.com</a>><br>
<b>Date: </b>Monday, 8 April 2019 at 05.07<br>
<b>To: </b>Tim Robertson <<a href="mailto:trobertson@gbif.org" target="_blank" moz-do-not-send="true">trobertson@gbif.org</a>><br>
<b>Cc: </b>"<a href="mailto:api-users@lists.gbif.org" target="_blank" moz-do-not-send="true">api-users@lists.gbif.org</a>" <<a href="mailto:api-users@lists.gbif.org" target="_blank" moz-do-not-send="true">api-users@lists.gbif.org</a>><br>
<b>Subject: </b>Re: [API-users] Requesting Occurrence Data for Large List of Species</span></p>
</div>
<div>
<p class="MsoNormal"><span lang="EN-US"> </span></p>
</div>
<div>
<div>
<div>
<p class="MsoNormal">Hi Tim,</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">I received an error message (via email) when attempting to post 300 taxon keys:</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">"We are sorry, but an error has occurred processing your download."</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">Please see attached query file.</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">Curl command:</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">curl --include --user username:password --header "Content-Type: application/json" --data @query_1.json
<a href="http://api.gbif.org/v1/occurrence/download/request" target="_blank" moz-do-not-send="true">
http://api.gbif.org/v1/occurrence/download/request</a></p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">I received a HTTP status code "201 Created."</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">Thanks,</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">Ben</p>
</div>
</div>
</div>
<p class="MsoNormal"> </p>
<div>
<div>
<p class="MsoNormal">On Wed, Apr 3, 2019 at 3:52 AM Tim Robertson <<a href="mailto:trobertson@gbif.org" target="_blank" moz-do-not-send="true">trobertson@gbif.org</a>> wrote:</p>
</div>
<blockquote style="border-color:currentcolor
                  currentcolor currentcolor
                  rgb(204,204,204);border-style:none none none
                  solid;border-width:medium medium medium
                  1pt;padding:0cm 0cm 0cm
                  6pt;margin-left:4.8pt;margin-right:0cm">
<div>
<div>
<p class="MsoNormal"><span lang="EN-GB">Hi Benjamin,</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">Download will be best.</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">However, there are limits and you will not be able to push 3000 in.</span></p>
<p class="MsoNormal"><span lang="EN-GB">You could either split it into groups of e.g. 300, or use a higher taxon and then implement a post-filter to throw away those not in your list (the latter is how I would do it).</span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<p class="MsoNormal"><span lang="EN-GB">I am sorry for this nuisance, and this is a known issue that we do aim to address:
</span><a href="https://github.com/gbif/portal-feedback/issues/1768" target="_blank" moz-do-not-send="true"><span lang="EN-US">https://github.com/gbif/portal-feedback/issues/1768</span></a></p>
<p class="MsoNormal"><span lang="EN-US"> </span></p>
<p class="MsoNormal"><span lang="EN-US">Thanks,</span></p>
<p class="MsoNormal"><span lang="EN-US">Tim</span></p>
<p class="MsoNormal"><span lang="EN-US"> </span></p>
<p class="MsoNormal"><span lang="EN-GB"> </span></p>
<div style="border-color:currentcolor;border-style:solid
                        none none;border-width:1pt medium
                        medium;padding:3pt 0cm 0cm">
<p class="MsoNormal"><b><span style="font-size:12pt;color:black">From: </span></b><span style="font-size:12pt;color:black">API-users <<a href="mailto:api-users-bounces@lists.gbif.org" target="_blank" moz-do-not-send="true">api-users-bounces@lists.gbif.org</a>>
 on behalf of Benjamin Feinsilver <<a href="mailto:benjamin.feinsilver@gmail.com" target="_blank" moz-do-not-send="true">benjamin.feinsilver@gmail.com</a>><br>
<b>Date: </b>Wednesday, 3 April 2019 at 09.33<br>
<b>To: </b>"<a href="mailto:api-users@lists.gbif.org" target="_blank" moz-do-not-send="true">api-users@lists.gbif.org</a>" <<a href="mailto:api-users@lists.gbif.org" target="_blank" moz-do-not-send="true">api-users@lists.gbif.org</a>><br>
<b>Subject: </b>[API-users] Requesting Occurrence Data for Large List of Species</span></p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<div>
<p class="MsoNormal">Hello,</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">If I have a list of around 3,000 species, and I would like to request occurrence data for each species, is it more efficient to use the Search or Download API?</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">If using the Download API, could I include the list of species in an external query file and use the "in" predicate? For example:</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal"><code><span style="font-size:10pt">{</span></code><span style="font-size:10pt;font-family:"Courier New""><br>
<code>  "creator":"userName",</code><br>
<code>  "notification_address": ["<a href="mailto:userName@example.org" target="_blank" moz-do-not-send="true">userName@example.org</a>"],</code><br>
<code>  "predicate":</code><br>
<code>  {</code><br>
<code>    "type":"in",</code><br>
<code>    "key":"SCIENTIFIC_NAME",</code><br>
<code>    "values":["cat1","cat2","cat3"]</code><br>
<code>  }</code><br>
<code>}</code></span> </p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">Thanks,</p>
</div>
<div>
<p class="MsoNormal"> </p>
</div>
<div>
<p class="MsoNormal">Ben</p>
</div>
</div>
</div>
</div>
</blockquote>
</div>
</div>
</div>
</blockquote>
</div>
<br>
<fieldset class="mimeAttachmentHeader"></fieldset>
<pre class="moz-quote-pre" wrap="">_______________________________________________
API-users mailing list
<a class="moz-txt-link-abbreviated" href="mailto:API-users@lists.gbif.org">API-users@lists.gbif.org</a>
<a class="moz-txt-link-freetext" href="https://lists.gbif.org/mailman/listinfo/api-users">https://lists.gbif.org/mailman/listinfo/api-users</a>
</pre>
</blockquote>
</body>
</html>