Discussion:
[shell-script] Pegar dados de Formulario
'Ernander (Nander)' ernander@gmail.com [shell-script]
2017-08-09 17:29:02 UTC
Permalink
Boa tarde pessoALL.

Estou com uma tarefa pra poder fazer e queria fazer em Shell.

Nessa http://www.caixa.gov.br/atendimento/Paginas/encontre-a-caixa.aspx
temos como pegar o endereço das Agencias da CAIXA por cidade e estado. Nao
so das Agencias mas como correspondentes, lotericas e etc.

Fazer de um a Um eh um Trampo demorado. por isso venho pedir, Humildemente,
a ajuda dos senhores. Nao estou conseguindo pegar os dados dos COMBOBOXES
para poder fazer um FOR e pegar os dados.


Alguem pode me dar uma LUZ???


Att
Reinaldo Gil Lima de Carvalho reinaldoc@gmail.com [shell-script]
2017-08-09 17:39:50 UTC
Permalink
Nesse caso, shell é um meio, sendo necessário conhecer HTTP e um utilitário
como o curl para simular os POSTs feitos a cada seleção do combobox. Você
precisa mais de ajuda em HTTP do que em shell.

Você pode usa Firebug (extensão do firefox) para analisar o POST e o
comando curl para refazer o POST.

Reinaldo Gil Lima de Carvalho
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Boa tarde pessoALL.
Estou com uma tarefa pra poder fazer e queria fazer em Shell.
Nessa http://www.caixa.gov.br/atendimento/Paginas/encontre-a-caixa.aspx
temos como pegar o endereço das Agencias da CAIXA por cidade e estado. Nao
so das Agencias mas como correspondentes, lotericas e etc.
Fazer de um a Um eh um Trampo demorado. por isso venho pedir,
Humildemente, a ajuda dos senhores. Nao estou conseguindo pegar os dados
dos COMBOBOXES para poder fazer um FOR e pegar os dados.
Alguem pode me dar uma LUZ???
Att
[As partes desta mensagem que não continham texto foram removidas]
'Ernander (Nander)' ernander@gmail.com [shell-script]
2017-08-09 17:55:21 UTC
Permalink
Justamente!

E eu to meio perdido nessa!

Se alguem puder me dar o caminho das pedras....
Post by Reinaldo Gil Lima de Carvalho ***@gmail.com [shell-script]
Nesse caso, shell é um meio, sendo necessário conhecer HTTP e um utilitário
como o curl para simular os POSTs feitos a cada seleção do combobox. Você
precisa mais de ajuda em HTTP do que em shell.
Você pode usa Firebug (extensão do firefox) para analisar o POST e o
comando curl para refazer o POST.
Reinaldo Gil Lima de Carvalho
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Boa tarde pessoALL.
Estou com uma tarefa pra poder fazer e queria fazer em Shell.
Nessa http://www.caixa.gov.br/atendimento/Paginas/encontre-a-caixa.aspx
temos como pegar o endereço das Agencias da CAIXA por cidade e estado.
Nao
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
so das Agencias mas como correspondentes, lotericas e etc.
Fazer de um a Um eh um Trampo demorado. por isso venho pedir,
Humildemente, a ajuda dos senhores. Nao estou conseguindo pegar os dados
dos COMBOBOXES para poder fazer um FOR e pegar os dados.
Alguem pode me dar uma LUZ???
Att
[As partes desta mensagem que não continham texto foram removidas]
Marcos Braga braga.marcos@gmail.com [shell-script]
2017-08-09 19:10:44 UTC
Permalink
Ermander,

A dica do Reinaldo é boa.., também há a alternativa de ativar o modo
"desenvolvedor" do Chrome e verificar os comandos que são lançados no http
e usá-los no shell para coletar o que precisa.

É um trabalho moroso no começo, mas que dá para chegar ao outro lado sem
muita "trapaça".


Abcs, Braga
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Justamente!
E eu to meio perdido nessa!
Se alguem puder me dar o caminho das pedras....
2017-08-09 14:39 GMT-03:00 Reinaldo Gil Lima de Carvalho
Post by Reinaldo Gil Lima de Carvalho ***@gmail.com [shell-script]
Nesse caso, shell é um meio, sendo necessário conhecer HTTP e um utilitário
como o curl para simular os POSTs feitos a cada seleção do combobox. Você
precisa mais de ajuda em HTTP do que em shell.
Você pode usa Firebug (extensão do firefox) para analisar o POST e o
comando curl para refazer o POST.
Reinaldo Gil Lima de Carvalho
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Boa tarde pessoALL.
Estou com uma tarefa pra poder fazer e queria fazer em Shell.
Nessa http://www.caixa.gov.br/atendimento/Paginas/encontre-a-caixa.aspx
temos como pegar o endereço das Agencias da CAIXA por cidade e estado.
Nao
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
so das Agencias mas como correspondentes, lotericas e etc.
Fazer de um a Um eh um Trampo demorado. por isso venho pedir,
Humildemente, a ajuda dos senhores. Nao estou conseguindo pegar os dados
dos COMBOBOXES para poder fazer um FOR e pegar os dados.
Alguem pode me dar uma LUZ???
Att
[As partes desta mensagem que não continham texto foram removidas]
--
*Marcos Braga*
*DBA Oracle*
OCP 12c, 11g and 10g
OCE RAC and Linux

ºvº Free Software isn't free
/(_)\ is *Freedom*
^ ^
Cleiton Alves cleitondebian@gmail.com [shell-script]
2017-08-09 22:21:26 UTC
Permalink
É..... nesse caso eu recomendo usar Python mesmo ,sendo que existe
bibliotecas prontas para isso
Post by Marcos Braga ***@gmail.com [shell-script]
Ermander,
A dica do Reinaldo é boa.., também há a alternativa de ativar o modo
"desenvolvedor" do Chrome e verificar os comandos que são lançados no http
e usá-los no shell para coletar o que precisa.
É um trabalho moroso no começo, mas que dá para chegar ao outro lado sem
muita "trapaça".
Abcs, Braga
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Justamente!
E eu to meio perdido nessa!
Se alguem puder me dar o caminho das pedras....
2017-08-09 14:39 GMT-03:00 Reinaldo Gil Lima de Carvalho
Post by Reinaldo Gil Lima de Carvalho ***@gmail.com [shell-script]
Nesse caso, shell é um meio, sendo necessário conhecer HTTP e um utilitário
como o curl para simular os POSTs feitos a cada seleção do combobox. Você
precisa mais de ajuda em HTTP do que em shell.
Você pode usa Firebug (extensão do firefox) para analisar o POST e o
comando curl para refazer o POST.
Reinaldo Gil Lima de Carvalho
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Boa tarde pessoALL.
Estou com uma tarefa pra poder fazer e queria fazer em Shell.
Nessa
http://www.caixa.gov.br/atendimento/Paginas/encontre-a-caixa.aspx
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
temos como pegar o endereço das Agencias da CAIXA por cidade e estado.
Nao
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
so das Agencias mas como correspondentes, lotericas e etc.
Fazer de um a Um eh um Trampo demorado. por isso venho pedir,
Humildemente, a ajuda dos senhores. Nao estou conseguindo pegar os
dados
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
dos COMBOBOXES para poder fazer um FOR e pegar os dados.
Alguem pode me dar uma LUZ???
Att
[As partes desta mensagem que não continham texto foram removidas]
--
*Marcos Braga*
*DBA Oracle*
OCP 12c, 11g and 10g
OCE RAC and Linux
ºvº Free Software isn't free
/(_)\ is *Freedom*
^ ^
--
Att:
Cleiton Alves
Eldimar Souza eldimax@gmail.com [shell-script]
2017-08-10 19:23:35 UTC
Permalink
Eu uso robÃŽ em imacros pra coletar dados de determinados sites,inclusive
fazendo login(não funciona em captcha), dai uso extensões como xpath para
capturar o id da tabela, dai o imacros captura o conteúdo da tabela e salva
em txt, (ou csv, xls)...Procure nas extensões para firefox por iMacros, e
veja se não te atende, eu uso muito pra automação de captura de dados em
sites e preenchimentos de caixas de texto
Post by Cleiton Alves ***@gmail.com [shell-script]
É..... nesse caso eu recomendo usar Python mesmo ,sendo que existe
bibliotecas prontas para isso
Post by Marcos Braga ***@gmail.com [shell-script]
Ermander,
A dica do Reinaldo é boa.., também há a alternativa de ativar o modo
"desenvolvedor" do Chrome e verificar os comandos que são lançados no http
e usá-los no shell para coletar o que precisa.
É um trabalho moroso no começo, mas que dá para chegar ao outro lado sem
muita "trapaça".
Abcs, Braga
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Justamente!
E eu to meio perdido nessa!
Se alguem puder me dar o caminho das pedras....
2017-08-09 14:39 GMT-03:00 Reinaldo Gil Lima de Carvalho
Post by Reinaldo Gil Lima de Carvalho ***@gmail.com [shell-script]
Nesse caso, shell é um meio, sendo necessário conhecer HTTP e um utilitário
como o curl para simular os POSTs feitos a cada seleção do combobox. Você
precisa mais de ajuda em HTTP do que em shell.
Você pode usa Firebug (extensão do firefox) para analisar o POST e o
comando curl para refazer o POST.
Reinaldo Gil Lima de Carvalho
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Boa tarde pessoALL.
Estou com uma tarefa pra poder fazer e queria fazer em Shell.
Nessa http://www.caixa.gov.br/atendimento/Paginas/encontre-
a-caixa.aspx
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
temos como pegar o endereço das Agencias da CAIXA por cidade e
estado. Nao
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
so das Agencias mas como correspondentes, lotericas e etc.
Fazer de um a Um eh um Trampo demorado. por isso venho pedir,
Humildemente, a ajuda dos senhores. Nao estou conseguindo pegar os
dados
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
dos COMBOBOXES para poder fazer um FOR e pegar os dados.
Alguem pode me dar uma LUZ???
Att
[As partes desta mensagem que não continham texto foram removidas]
--
*Marcos Braga*
*DBA Oracle*
OCP 12c, 11g and 10g
OCE RAC and Linux
ºvº Free Software isn't free
/(_)\ is *Freedom*
^ ^
--
Cleiton Alves
--
Eldimar Jaconias de Souza
Analista de Suporte Pleno
Tel: (61) 9228-9214 / 3048-1034

"O que fazer, pra onde ir senhor se só tu tens as palavras de Vida Eterna"

ºvº "Software Livre: não é pelo dinheiro.
/( _ )\ É uma questão de consciência."
^ ^
'Ernander (Nander)' ernander@gmail.com [shell-script]
2017-08-10 19:35:40 UTC
Permalink
Opa valeu as Ideias...
Post by Eldimar Souza ***@gmail.com [shell-script]
Eu uso robÃŽ em imacros pra coletar dados de determinados sites,inclusive
fazendo login(não funciona em captcha), dai uso extensões como xpath para
capturar o id da tabela, dai o imacros captura o conteúdo da tabela e salva
em txt, (ou csv, xls)...Procure nas extensões para firefox por iMacros, e
veja se não te atende, eu uso muito pra automação de captura de dados em
sites e preenchimentos de caixas de texto
Post by Cleiton Alves ***@gmail.com [shell-script]
É..... nesse caso eu recomendo usar Python mesmo ,sendo que existe
bibliotecas prontas para isso
Post by Marcos Braga ***@gmail.com [shell-script]
Ermander,
A dica do Reinaldo é boa.., também há a alternativa de ativar o modo
"desenvolvedor" do Chrome e verificar os comandos que são lançados no http
e usá-los no shell para coletar o que precisa.
É um trabalho moroso no começo, mas que dá para chegar ao outro lado sem
muita "trapaça".
Abcs, Braga
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Justamente!
E eu to meio perdido nessa!
Se alguem puder me dar o caminho das pedras....
2017-08-09 14:39 GMT-03:00 Reinaldo Gil Lima de Carvalho
Post by Reinaldo Gil Lima de Carvalho ***@gmail.com [shell-script]
Nesse caso, shell é um meio, sendo necessário conhecer HTTP e um
utilitário
como o curl para simular os POSTs feitos a cada seleção do combobox. Você
precisa mais de ajuda em HTTP do que em shell.
Você pode usa Firebug (extensão do firefox) para analisar o POST e o
comando curl para refazer o POST.
Reinaldo Gil Lima de Carvalho
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
Boa tarde pessoALL.
Estou com uma tarefa pra poder fazer e queria fazer em Shell.
Nessa http://www.caixa.gov.br/atendimento/Paginas/encontre-a-
caixa.aspx
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
temos como pegar o endereço das Agencias da CAIXA por cidade e
estado. Nao
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
so das Agencias mas como correspondentes, lotericas e etc.
Fazer de um a Um eh um Trampo demorado. por isso venho pedir,
Humildemente, a ajuda dos senhores. Nao estou conseguindo pegar os
dados
Post by 'Ernander (Nander)' ***@gmail.com [shell-script]
dos COMBOBOXES para poder fazer um FOR e pegar os dados.
Alguem pode me dar uma LUZ???
Att
[As partes desta mensagem que não continham texto foram removidas]
--
*Marcos Braga*
*DBA Oracle*
OCP 12c, 11g and 10g
OCE RAC and Linux
ºvº Free Software isn't free
/(_)\ is *Freedom*
^ ^
--
Cleiton Alves
--
Eldimar Jaconias de Souza
Analista de Suporte Pleno
Tel: (61) 9228-9214 / 3048-1034
"O que fazer, pra onde ir senhor se só tu tens as palavras de Vida Eterna"
ºvº "Software Livre: não é pelo dinheiro.
/( _ )\ É uma questão de consciência."
^ ^
andrelucio.fc@yahoo.com [shell-script]
2017-08-14 17:38:47 UTC
Permalink
Opa, Nander.

Normalmente quando eu preciso realizar um scraping de dados na web, eu utilizou o wget com a opção --post-data para realizar o post.


Esse link tem um exemplo de como fazer isso utilizando o campo select do form:

https://stackoverflow.com/questions/4161514/downloading-data-from-an-option-select-web-form https://stackoverflow.com/questions/4161514/downloading-data-from-an-option-select-web-form



Agora, eu acho que realizar a obtenção de dados desse site da caixa será mais complicado.
'Ernander (Nander)' ernander@gmail.com [shell-script]
2017-08-15 00:47:07 UTC
Permalink
Estou tentando. Valeu a Ajuda!
Post by ***@yahoo.com [shell-script]
Opa, Nander.
Normalmente quando eu preciso realizar um scraping de dados na web, eu
utilizou o wget com a opção --post-data para realizar o post.
https://stackoverflow.com/questions/4161514/downloading-
data-from-an-option-select-web-form
Agora, eu acho que realizar a obtenção de dados desse site da caixa será
mais complicado.
Continue reading on narkive:
Loading...