Puppeteer Vision MCP Server

Automatiseer krachtige, AI-gedreven webscraping en Markdown-conversie—zelfs op interactieve of beschermde sites—met de Puppeteer Vision MCP Server.

Puppeteer Vision MCP Server

Wat doet de “Puppeteer Vision” MCP Server?

De Puppeteer Vision MCP Server stelt AI-assistenten in staat om webpagina’s te scrapen en om te zetten naar Markdown-formaat met behulp van Puppeteer, Readability en Turndown. Het biedt geavanceerde AI-gestuurde interactie om automatisch om te gaan met web-elementen zoals cookiebanners, CAPTCHAs, betaalmuren en meer, zodat robuuste inhoudsextractie mogelijk blijft, zelfs op interactieve of beschermde sites. De server biedt deze mogelijkheid via het Model Context Protocol (MCP), waardoor integratie in AI-ontwikkelworkflows eenvoudig is. Zo kunnen taken als geautomatiseerde webscraping, inhoudssamenvatting en data-invoer naadloos door LLM’s worden uitgevoerd. De server is eenvoudig inzetbaar via npx, vereist minimale configuratie en ondersteunt zowel stdio als SSE-communicatie voor flexibele integratie.

Lijst van prompts

Er worden geen prompt-sjablonen genoemd in de repository of documentatie.

Lijst van resources

Er worden geen specifieke MCP-resources vermeld of beschreven in de repository of documentatie.

Lijst van tools

  • scrape-webpage: Scrapt een webpagina op een opgegeven URL, gebruikt AI om te interageren met en interactieve elementen (zoals cookiebanners of CAPTCHAs) te omzeilen, extraheert de hoofdinhoud via Readability en zet het resultaat om naar Markdown. Parameters omvatten:
    • url (string, verplicht): De webpagina die gescrapet moet worden.
    • autoInteract (boolean, optioneel, standaard: true): Of interactieve elementen automatisch afgehandeld moeten worden.
    • maxInteractionAttempts (nummer, optioneel, standaard: 3): Maximaal aantal AI-interactiepogingen.
    • waitForNetworkIdle (boolean, optioneel, standaard: true): Wacht tot het netwerk inactief is voordat er gescrapet wordt.

Toepassingen van deze MCP Server

  • Geautomatiseerde webscraping voor kennisinvoer
    Ontwikkelaars kunnen leesbare, goed opgemaakte Markdown uit willekeurige webpagina’s halen, zodat actuele inhoud eenvoudig in AI-workflows, databases of kennisbanken kan worden opgenomen.
  • Omzeilen van interactieve barrières
    De AI-gestuurde interactie kan automatisch CAPTCHAs, cookiebanners en andere interactieve obstakels omzeilen, waardoor naadloze inhoudsextractie mogelijk is bij sites die automatisering normaal blokkeren.
  • Samenvatting en inhoudsanalyse
    De geëxtraheerde Markdown kan in LLM’s worden gevoerd voor samenvatting, sentimentanalyse of classificatie, waardoor onderzoek en dataverwerking worden gestroomlijnd.
  • Real-time browserautomatisering
    Ontwikkelaars kunnen de tool in zichtbare (niet-headless) modus draaien voor debugging, demonstraties of wanneer visuele bevestiging van browseractiviteit vereist is.
  • Integratie in LLM-orkchestratiepijplijnen
    Als MCP-server kan deze gebruikt worden als component in orchestrators zoals Windsurf, Claude, Cursor en Cline, waardoor AI-agenten kunnen interageren met het live web.

Hoe stel je het in

Windsurf

  1. Vereisten: Installeer Node.js en npm.

  2. Omgeving instellen: Maak een .env-bestand aan of exporteer de benodigde omgevingsvariabelen, waaronder OPENAI_API_KEY.

  3. Configuratie bewerken: Zoek het configuratiebestand van Windsurf op.

  4. Puppeteer Vision MCP toevoegen: Voeg het volgende JSON-fragment toe:

    {
      "mcpServers": {
        "web-scraper": {
          "command": "npx",
          "args": ["-y", "puppeteer-vision-mcp-server"],
          "env": {
            "OPENAI_API_KEY": "YOUR_OPENAI_API_KEY_HERE"
          }
        }
      }
    }
    
  5. Opslaan/herstarten: Sla het bestand op en herstart Windsurf.

  6. Verifiëren: Controleer de logs of de UI om te bevestigen dat de MCP-server draait.

API-sleutels beveiligen:
Bewaar geheimen in omgevingsvariabelen (bijv. .env):

"env": {
  "OPENAI_API_KEY": "${OPENAI_API_KEY}"
}

Claude

  1. Vereisten: Zorg dat Node.js en npm geïnstalleerd zijn.

  2. Omgeving instellen: Maak .env aan of exporteer OPENAI_API_KEY en andere variabelen.

  3. Configuratie bewerken: Open de MCP-configuratie van Claude.

  4. Voeg de MCP-server toe:

    {
      "mcpServers": {
        "web-scraper": {
          "command": "npx",
          "args": ["-y", "puppeteer-vision-mcp-server"],
          "env": {
            "OPENAI_API_KEY": "YOUR_OPENAI_API_KEY_HERE"
          }
        }
      }
    }
    
  5. Herstart Claude: Pas de wijzigingen toe en herstart het platform.

  6. Verifiëren: Bevestig een succesvolle start.

Cursor

  1. Vereisten: Installeer Node.js en npm.

  2. Omgeving: Stel .env in met de OpenAI API-sleutel.

  3. Cursor-configuratie bewerken: Voeg de MCP-server als volgt toe:

    {
      "mcpServers": {
        "web-scraper": {
          "command": "npx",
          "args": ["-y", "puppeteer-vision-mcp-server"],
          "env": {
            "OPENAI_API_KEY": "YOUR_OPENAI_API_KEY_HERE"
          }
        }
      }
    }
    
  4. Opslaan & herstarten: Sla de wijzigingen op en herstart Cursor.

  5. Controleer logs: Controleer of de server draait.

Cline

  1. Vereisten: Installeer Node.js en npm.

  2. Omgeving: Stel in of exporteer OPENAI_API_KEY.

  3. Configuratie: Voeg toe aan de MCP-configuratie van Cline:

    {
      "mcpServers": {
        "web-scraper": {
          "command": "npx",
          "args": ["-y", "puppeteer-vision-mcp-server"],
          "env": {
            "OPENAI_API_KEY": "YOUR_OPENAI_API_KEY_HERE"
          }
        }
      }
    }
    
  4. Herstart Cline: Pas toe en herstart.

  5. Bevestigen: Controleer of de server bereikbaar is.

Opmerking: Beveilig API-sleutels via omgevingsvariabelen en zet nooit geheimen direct in configuratiebestanden.

Hoe gebruik je deze MCP in flows

MCP gebruiken in FlowHunt

Om MCP-servers in je FlowHunt-workflow te integreren, voeg je het MCP-component toe aan je flow en verbind je deze met je AI-agent:

FlowHunt MCP flow

Klik op het MCP-component om het configuratievenster te openen. In het systeem-MCP-configuratiegedeelte voeg je de details van je MCP-server in met dit JSON-formaat:

{
  "puppeteer-vision": {
    "transport": "streamable_http",
    "url": "https://yourmcpserver.example/pathtothemcp/url"
  }
}

Zodra geconfigureerd, kan de AI-agent deze MCP nu gebruiken als tool met toegang tot alle functies en mogelijkheden. Vergeet niet “puppeteer-vision” te vervangen door de daadwerkelijke naam van je MCP-server en de URL te vervangen door de URL van jouw MCP-server.


Overzicht

SectieBeschikbaarheidDetails/Opmerkingen
OverzichtAanwezig in README.
Lijst van PromptsGeen prompt-sjablonen gevonden.
Lijst van ResourcesGeen expliciete MCP-resources beschreven.
Lijst van Toolsscrape-webpage tool, gedetailleerd in README.
API-sleutels beveiligenInstructies voor .env en omgevingsvariabelen gegeven.
Sampling Support (minder belangrijk bij evaluatie)Geen vermelding van sampling support.

| Roots Support | ⛔ | Geen vermelding van Roots. |


Op basis van het bovenstaande biedt de Puppeteer Vision MCP Server een robuuste en doelgerichte webscraping-tool met sterke documentatie en beveiligingsinstructies, maar mist het meerdere tools, prompt-sjablonen, resources en geavanceerde MCP-functies zoals roots of sampling. Het one-tool, one-purpose ontwerp zorgt voor hoge betrouwbaarheid voor het beoogde gebruik, maar beperkt de uitbreidbaarheid.

Onze mening

MCP Score: 5/10
Deze MCP-server is goed gedocumenteerd, nuttig voor het specifieke doel en eenvoudig op te zetten, maar het ontbreken van prompt-sjablonen, expliciete resources en geavanceerde MCP-functies (roots, sampling) beperkt de veelzijdigheid en ecosysteemintegratie.

MCP Score

Heeft een LICENSE
Heeft minstens één tool
Aantal Forks5
Aantal Stars12

Veelgestelde vragen

Wat is de Puppeteer Vision MCP Server?

Het is een MCP-server waarmee AI-agenten webpagina's kunnen scrapen en omzetten naar Markdown met behulp van Puppeteer, Readability en Turndown. Hij kan automatisch omgaan met en barrières op het web omzeilen (zoals CAPTCHAs en cookiebanners), waardoor robuuste inhoudsextractie mogelijk is voor AI-workflows.

Wat zijn de belangrijkste toepassingen?

Geautomatiseerde webscraping voor kennisinvoer, omzeilen van interactieve barrières, samenvatting en inhoudsanalyse, real-time browserautomatisering en naadloze integratie in LLM-orkchestratiepijplijnen.

Hoe stel ik Puppeteer Vision MCP in met mijn orchestrator?

Configureer het in de MCP-serverconfiguratie van je orchestrator, waarbij je het commando en de omgevingsvariabelen (inclusief je OpenAI API-sleutel) specificeert. Gedetailleerde instructies worden hierboven gegeven voor Windsurf, Claude, Cursor en Cline.

Hoe gaat de server om met interactieve elementen zoals cookiebanners of betaalmuren?

Hij gebruikt AI-gestuurde automatisering om te interageren met, af te wijzen of web-elementen zoals cookiebanners, CAPTCHAs en betaalmuren te omzeilen, zodat inhoudsextractie mogelijk is, zelfs van beschermde of interactieve sites.

Is mijn API-sleutel veilig?

Ja. Bewaar API-sleutels altijd in omgevingsvariabelen of `.env`-bestanden. Zet nooit geheimen direct in configuratiebestanden.

Welke tools biedt deze MCP-server?

De belangrijkste tool is `scrape-webpage`, die een opgegeven URL scrapt, interactie heeft met web-elementen indien nodig, en de hoofdinhoud als Markdown uitvoert.

Aan de slag met Puppeteer Vision MCP

Versnel je AI-workflows met geavanceerde webscraping en inhoudsextractie. Zet de Puppeteer Vision MCP Server in enkele minuten op en begin live webcontent in je AI-pijplijnen te verwerken.

Meer informatie